상세글 보기

[Refresh] Open Class - 링크드인, 인재의 수요와 공급

2016.11.30


최근 SNS의 트렌드는 조회 수나 좋아요 등의 대중적인 인기가 아닌 전문성과 특유의 취향을 가진 사람들의 그룹이 사랑받는 추세로 넘어가고 있습니다. 그 예가 비즈니스 인맥 관리 서비스 링크드인(LinkedIn)입니다. 오늘의 화자로 나선 메터마크의 김형진 엔지니어는 링크드인에서 시니어 소프트웨어 엔지니어와 데이터 사이언티스트로 일하며 인맥 확장과 인재의 수요와 공급을 가능케 한 플랫폼의 핵심을 체득했습니다.



강연자 김형진 엔지니어 모습



링크드인의 뛰어난 추천 기능


비즈니스 네트워크 플랫폼이자 기업용 인맥 관리 서비스 링크드인. 무려 4억6천7백만 이상의 가입자가 인맥 네트워크를 형성하고 이름을 알리는 명함이자 다이내믹한 이력서로 사용하고 있는데요. 자신의 전공, 학교 등을 올려 동문을 찾기도 하고 이력서를 올려 구인 구직을 동시에 진행할 수도 있어 각광받고 있습니다. 김형진 엔지니어는 링크드인이 많은 사용자를 끌어들일 수 있었던 것은 여타의 소셜네트워크 서비스보다 정교하고 다양한 추천 기능 때문이라고 말합니다.


“링크드인은 구직자가 관심 있어 할 만한 채용공고를 보여주고 구인 중인 기업회원에게는 알맞은 구직자를 추천해줍니다. 인맥에 도움이 될 만한 정보도 어렵지 않게 볼 수 있죠.” 그중에서도 김형진 엔지니어가 강조한 추천 기능은 친구 추천(people you may know), 역량 및 추천(skills and endorsements), 추천채용공고(jobs you may be interested in), 뉴스추천(new recommendation)입니다. “링크드인의 추천 기능은 마치 마녀의 수정구슬처럼 가입자의 속마음을 꿰뚫어 냅니다. 사용자에게 어떤 정보를 줬을 때 보이는 반응을 예측하고, 그 예측을 바탕으로 사용자에게 더 관련성 높은 정보를 추천하는 거죠.”



현대카드캐피탈 오픈클래스 강연 진행 모습



BIG DATA @ LINKEDIN


그렇다면 어떻게 정교한 예측과 추천이 가능할까. 김형진 엔지니어는 비밀의 핵심은 링크드인의 ‘빅데이터 시스템’에 있다고 강조합니다. “링크드인은 인공지능 기술인 머신 러닝 알고리즘을 포함해, 하둡, 키 밸류 스토어, 타 오픈소스에 기반을 둔 빅데이터 생태계를 적극적으로 활용합니다. 이러한 빅테이터 생태계는 가입자가 성실하게 입력한 고급 데이터를 기반으로 적절한 정보를 추천해 줍니다.”


덧붙여 링크드인이 빅데이터를 분석해 수준 높은 서비스를 제공하기까지의 매우 복잡한 과정을 거쳤다고 설명합니다. “모든 추천 알고리즘은 과거의 데이터를 통해 모델을 트레이닝하는 과정을 거쳐야 했습니다. 사용자의 행동을 관찰하면서 행동에 대해 스코어를 매긴 뒤 데이터가 쌓이면 모델을 트레이닝하면서 과거 데이터의 오류를 줄여나가는 방식이죠. 조건에 대한 확률을 일일이 계산해 미래 반응을 예측하는 겁니다.”



강연중인 김형준 엔지니어 모습



링크드인의 4가지 대표 기능 중 어떤 업무에 대한 최적의 인재를 필터링하는데 결정적인 역할을 하는 ‘역량 및 추천(skills and endorsements)’을 가능하게 한 건 대용량 데이터를 처리하는 기술인 하둡(hadoop). “하둡을 완성하기까지 눈물겨운 시간들이 있었습니다. 여러 개의 컴퓨터를 하나로 묶어 대용량 데이터를 처리해야 하기 때문에 복잡한 과정을 거쳐야 했죠. 각 작업의 워크플로우가 수 백, 수 천 개에 이를 정도로 복잡해, 그중 하나만 잘못되어도 전체 추천 시스템의 신뢰성이 현저하게 떨어질 수 있기 때문에 많은 공을 들여야 했습니다.”


링크드인은 4년간의 연구와 개발을 거친 끝에 이를 관리하는 워크플로우 관리 툴인 아즈카반을 고안하는데 성공했고, 엄청난 양의 빅데이터를 분석할 수 있게 되었습니다. 4억 명이 넘는 사용자에게 만족할 만한 결과물을 보여주기 위한 링크드인의 열정과 노력이 엿보이는 부분입니다.



강연중인 김형진 엔지니어 모습



링크드인은 실패를 두려워하지 않는다


“링크드인은 하둡을 도입하면서 시행착오와 해법 마련, 안정화 그리고 도전을 끊임없이 반복하는 구조를 반복했습니다.” 김형진 엔지니어는 ‘링크드인은 실패를 실패로 두지 않았다’고 힘주어 말합니다. 도입한 시스템에서 문제가 발견되면 문제점을 해결하면서 시스템을 계속 향상시킨 것이죠. 그 과정에서 쌓은 소중한 경험과 해법들은 아즈카반, 볼드모트, 카프카 같은 오픈소스 기술로 세상에 공개되었습니다. “솔루션에서 발견한 문제점을 없애고 다른 시스템을 구축하기보다는 오픈소스적으로 접근해서 많은 이들과 함께 고민하고 더 나은 방향으로 나아가는 방법을 선택한 것입니다.”


빅데이터 분석을 통해 혁신적인 데이터 상품을 구축하고, 실패를 두려워하지 않고 새로운 비즈니스 동력으로 이용한 링크드인은 세계의 전문가들이 사랑하는 소셜네트워크 서비스의 자리에 올랐습니다. 어떤 나라와 지역에 어떤 특징을 가진 회사와 인재의 분포 역시, 링크드인을 통하면 어렵지 않게 알 수 있습니다.



현대카드 오픈클래스 강연 현장 모습



결국 링크드인은 인재의 수요와 공급이라는 본연의 역할에 대해 알고리즘에 근거한 철저한 데이터 분석이라는 무기를 가지고 오늘의 위치에까지 올랐습니다. 또한 최근 Microsoft에 인수되었고, 또 온라인 교육사이트인 Lynda.com을 인수하며 새로운 사업들에 진출하고 있습니다. 앞으로 링크드인의 행보가 더욱 기대됩니다.



저작자 표시 비영리 변경 금지
신고