자본시장연구원 Korea Capital Market Institute

본 보고서는 빅데이터에 대한 기본적인 이해를 위해 빅데이터 개념, 분석기법, 정책적 논의, 파급효과 및 한계를 살펴보았고, 해외 자본시장의 빅데이터 도입 현황을 빅데이터 도입 효과, 빅데이터 기업 및 분석기법 사례, 빅데이터 도입 특징으로 나누어 살펴보았다.

빅데이터는 기존 데이터베이스 시스템으로는 저장, 처리, 분석하기 어려운 크기의 정형, 반정형, 비정형 형식을 가진 실시간 데이터를 처리하는 기술이다. 즉 빅데이터는 규모(volume), 다양성(variety), 속도(velocity) 측면에서 기존 데이터 기술과 확연히 다르다고 평가받는다. 빅데이터 기술의 핵심은 데이터 분산저장과 분산처리에 있다. 이 때문에 빅데이터 기술은 대용량 데이터를 저장하고 관리할 수 있으며, 분산저장된 데이터를 빠른 속도로 처리하고 분석할 수 있다. 따라서 빅데이터는 데이터 자체의 특성에도 의미가 있지만 데이터를 수집하고 저장하고 분석하는 기술에 더 큰 의의가 있다. 빅데이터 기술은 최근 실시간 데이터 처리기술의 진전으로 일괄처리 방식(batch-processing)에서 실시간처리 방식(real-time processing)으로 진화하고 있다.

빅데이터 분석의 궁극적인 목적은 경제주체의 의사결정 효율성을 높이는 데 있다. 전통적인 분석기법은 과거 데이터에 초점이 맞추어져 있기 때문에 이에 대한 통계적 의미를 찾는 데 집중하였으나, 빅데이터 분석기법은 빠르게 생성되는 데이터의 특성을 살려 예측분석에 초점을 맞추는 것으로 조사된다. 또한 빅데이터 분석은 정형뿐만 아니라 비정형 형식의 대규모 데이터를 분석하기 때문에 기존 데이터 분석과 달리 인과관계(causation)보다는 상관관계(correlation)에 초점을 두고 있다. 이 때문에 명확한 분석목적을 수립하고 이에 맞는 분석기법을 선택하는 것이 빅데이터 분석에서는 매우 중요할 수 있다. 

빅데이터가 경제 전반의 효율성을 높일 수 있으려면 빅데이터 자체의 유통이 활성화되어야 한다. 이 때문에 각 국에서는 빅데이터 유통의 활성화를 위해 공공데이터 개방 정책, 민간데이터 공유 정책, 빅데이터 윤리 정책을 적극적으로 추진하고 있다. 참고로 이러한 정책적 논의는 이전에도 존재했으나 전 세계적으로 빅데이터의 중요성이 크게 부각되면서 새로운 관점에서 재논의되거나 강화되고 있는 추세이다. 

먼저 각 국에서는 정부, 공공기관 등이 보유하고 있는 공공데이터를 민간에게 개방하기 위해 공공데이터 포털을 개설하고, 공공데이터 활용의 성공사례를 민간에게 적극적으로 전파하고 있다. 공공데이터가 민간의 새로운 상품 및 서비스 개발에 중요한 역할을 할 것으로 기대하고 있기 때문이다. 각 국의 공공데이터 개방 정책은 대체적으로 2013년 6월 G8 정상회담이 채택한 공공데이터 선언문(Open Data Charter)에 기초하고 있으며, 법과 제도 안에서 민간이 공공데이터를 자유롭게 이용할 수 있도록 허용하고 있다. 

또한 각 국에서는 공공데이터뿐만 아니라 민간이 보유한 데이터가 원활하게 공유되도록 관련 정책을 적극적으로 추진하고 있다. 다만 개인정보가 포함된 민간데이터가 무분별하게 공유될 경우 개인의 사생활이 침해될 수 있기 때문에 민간데이터 공유 정책은 아직까지 개인정보 보호에 초점을 맞추고 있다. 그러나 복잡한 개인정보에 대한 동의절차가 빅데이터의 경제적 가치를 훼손시킬 수 있다는 우려가 지속적으로 제기되고 있으며, 최근에는 개인정보 비식별화와 Open API가 민간데이터 유통을 활성화시킬 수 있는 새로운 대안으로 제시되고 있다.

빅데이터 윤리의 정립도 개인정보가 포함된 빅데이터가 원활하게 유통되기 위해 매우 중요한 정책적 과제로 대두되고 있다. 빅데이터 기술 자체는 옳고 그르거나 좋고 나쁘다고 판단할 수 있는 대상이 아니기 때문에 빅데이터를 어떻게 활용하느냐는 사람과 기업의 가치기준에 따라 달라질 수 있다. 빅데이터 윤리 문제는 주로 개인의 사생활 보호와 함께 데이터 불법유출, 개인정보 조작, 부당한 차별과 관련된다. 각 국에서는 이러한 문제가 발생되지 않도록 데이터관리자인 기업에게 적정한 데이터 관리체계(data governance) 및 보안체계(data security)를 구축하도록 요구하고 있다. 또한 빅데이터에 포함된 개인정보가 부당한 차별수단으로 활용되지 못하도록 기업윤리 기준을 제고하고 있다. 

빅데이터는 자원 창출이 아닌 자원 배분의 방법으로 경제성장과 생산성 향상에 기여할 것으로 평가된다. 향후 빅데이터가 글로벌 경제 전반의 생산성을 약 1% 향상시킨다면 전 세계 GDP는 2030년까지 15조달러가 증가할 것으로 추정된다. 이는 앞으로 15년내 글로벌 경제에서 미국 경제가 하나 더 생기는 것과 같은 효과이다. 그러나 빅데이터에 대한 긍정적인 시각과 평가만 존재하는 것은 아니다. 과거 데이터 마이닝(data mining)과 같이 빅데이터도 그 유용성이 제대로 증명되지 못할 수 있다는 회의적인 시각도 존재한다. 최근에는 구글의 독감 트렌드, 2016년 미국 대선 결과 등에서와 같이 빅데이터 활용의 실패 사례도 꾸준하게 보고되고 있다. 그럼에도 불구하고 빅데이터는 데이터 마이닝과 같이 하나의 현상에 머물지 않고 하나의 조류로 자리잡아 가는 추세이다. 또한 최근 보고된 빅데이터 분석의 실패 사례도 빅데이터의 유용성 자체를 부정하기 보다는 빅데이터 구축과 분석에 더 엄격한 접근이 필요하다는 점을 강조한다는 점을 유의할 필요가 있다.

자본시장에서의 빅데이터 활용 논의는 복잡한 시장과 데이터 구조 때문에 다른 금융권역에 비해 활발하지 못했던 것으로 조사된다. 그러나 최근들어 실시간 빅데이터 기술의 발전 등으로 자본시장에서도 빅데이터 활용방안에 대한 논의가 활발해지고 있다. 

자본시장에서 빅데이터 도입은 새로운 수익창출 기회를 확장시키고, 리스크관리 및 법규준수의 효율성을 증진시키며, 시간과 비용을 대폭 절감시킬 수 있는 것으로 기대된다. 자본시장에서 빅데이터가 중요하게 부각되는 이유중 하나는 자본시장 자체가 수많은 데이터를 직접 생성하고 그 데이터에 의해 민감하게 반응하기 때문이다. 따라서 자본시장은 어느 산업보다 빅데이터에서 의미있는 정보를 추출할 수 있고 이를 통해 새로운 수익기회를 창출할 가능성이 매우 높은 것으로 평가받는다. 예를 들면, 상장기업 분석, 투자전략 수립, 알고리듬 매매, 매매 tick 또는 로그에 대한 빅데이터 분석을 통해 더 효과적인 트레이딩 전략을 수립할 수 있고, SNS 및 뉴스에 대한 빅데이터 분석을 통해 더 정확한 주가예측을 할 수 있다. 또한 빅데이터는 금융투자회사의 리스크관리 및 법규준수에 획기적인 변화를 가져올 것으로 평가받는다. 빅데이터의 실시간 처리능력과 예측 분석기법이 기존 데이터 분석과는 달리 리스크관리의 예측력과 효율성을 높여줄 것으로 기대되기 때문이다. 예를 들면, 빅데이터는 스트레스테스트, 시장감시, 사기탐지, 자금세탁방지, 고객알기정책, 규제보고 등에 활용될 수 있다. 마지막으로 분산저장과 분산처리 기술에 기반한 빅데이터 기술은 자본시장에서 데이터 분석시간과 데이터 관리비용을 대폭 단축 또는 절감시킬 수 있는 것으로 평가받는다. 

단기적으로 보면 자본시장에서 빅데이터 도입에 따른 편익은 비용에 비해 크지 않을 것으로 예상된다. 자본시장은 사회, 경제, 정치, 문화 변수뿐만 아니라 기후변화에도 민감하게 영향을 받기 때문에 정형뿐만 아니라 비정형 데이터에 대한 분석 수요가 이전부터 높아왔다. 또한 자본시장은 불특정 다수의 시장참여자가 동시에 실시간으로 다양한 형식의 데이터를 생산하고 축적하기 때문에 시장과 데이터 구조가 매우 복잡하다. 그만큼 자본시장에서 빅데이터 기술을 적절하게 활용하기 위해서는 복잡한 시장과 데이터 구조를 먼저 이해할 필요가 있다. 따라서 자본시장에서 빅데이터를 효과적으로 활용하는 것은 매우 난해한 작업이 될 수 있다. 해외에서나 국내에서도 자본시장에서 빅데이터에 대한 논의가 은행 및 보험권역에 비해 상대적으로 활발하지 못한 것도 이 때문일 수 있다.

중장기적으로 보면 자본시장에서 빅데이터의 유용성은 매우 높을 것으로 판단된다. 기존 데이터 기술로는 자본시장의 복잡한 시장과 데이터 구조를 이해하고 활용하는 데 상당한 한계가 존재했지만, 빅데이터 기술은 이를 효과적으로 극복하는 데 일조할 것으로 판단된다. 해외 자본시장의 빅데이터 기업과 분석기법 사례에서 그 근거를 찾아볼 수 있다. 

첫째, Xignite, Quandle과 같은 빅데이터 유통플랫폼은 금융투자회사 등 자본시장 참여자의 빅데이터에 대한 접근성을 완화시킬 수 있다. 자본시장 참여자가 개별적으로 빅데이터를 직접 구축하고 이를 분석할 수 있는 역량을 갖추는 데는 많은 자원과 시간이 소요될 수 있다. 빅데이터 유통플랫폼은 이를 대신할 수 있고, 자본시장 참여자가 이를 활용하는 것이 더 효율적일 수 있다.

둘째, 자연어처리와 기계학습으로 구성된 알고리듬 기술은 자본시장 참여자가 자본시장의 복잡한 시장과 데이터 구조를 학습해야 하는 부담을 완화시킬 수 있다. Kensho, Alphasense와 같은 조사분석 검색엔진이 대표적인 사례이다. 이들 검색엔진은 검색자의 요구에 따라 시장 및 기업에 대한 유의미한 분석보고서를 자동으로 작성하여 제공한다. 이와 같은 빅데이터 기술을 적극 활용하면 자본시장 참여자는 시간과 자원을 크게 절약할 수 있다.

셋째,  Dataminr, StockTwits과 같은 빅데이터 기업의 감성분석은 자본시장의 복잡한 시장구조 때문에 과거에 활용하지 않거나 추출하기 어려웠던 정보를 유의미하게 생산할 수 있다는 가능성을 보여주고 있다. 이들 빅데이터 기업은 트윗정보를 자연어처리 및 감성분석을 통해 자본시장의 투자동향과 투자심리를 파악할 수 있게 하고, 자본시장 참여자가 이전보다 더 합리적이고 시의적절하게 의사를 결정할 수 있도록 돕는다. 이를 통해 자본시장의 효율성은 더 제고될 수 있을 것으로 기대된다. 

넷째, 최선집행을 최우선 전략으로 삼는 Deep Value와 같은 알고리듬 전문 빅데이터 기업은 자본시장의 복잡한 시장구조를 빅데이터 기술로 극복할 수 있다는 가능성을 보여준다. 빅데이터 기술은 기존 데이터 기술과 달리 알고리듬의 유효성 검증뿐만 아니라 분산되어 있는 다수의 자본시장 데이터를 알고리듬에 반영하는 데 소요되는 시간을 크게 단축시킬 수 있기 때문이다.

다섯째, Scaled Risk와 같은 빅데이터 기업은 빅데이터 기술이 자본시장에서 가중되고 있는 리스크관리 및 법규준수 부담을 완화시킬 수 있다는 가능성을 보여준다.  

본 보고서는 빅데이터에 대한 기본적인 이해와 해외 자본시장의 빅데이터 도입 현황에 대한 조사결과를 토대로 다음과 같이 국내 자본시장에 주는 시사점을 제시하고자 한다. 

첫째, 금융투자업계는 단기적인 관점에서 빅데이터 도입에 따른 편익이 비용에 비해 크지 않더라도 중장기적인 관점에서 빅데이터 전략을 수립하고 향후 데이터 환경 변화에 적극 대응할 수 있는 역량을 갖출 필요가 있다. 또한 금융투자회사 각자가 보유하고 있으나 활용하지 못하는 데이터를 자체적으로 파악하고 이를 활용하는 노력도 지속할 필요가 있다.

둘째, 자본시장 유관기관 및 금융투자업계는 자본시장에 특화된 빅데이터 전문기업이 출현할 수 있도록 지원할 필요가 있다. 해외 자본시장의 경우에도 자본시장에 특화된 빅데이터 전문기업의 출현으로 자본시장에서 빅데이터 활용이 촉진되었기 때문이다. 또한 금융투자업계는 빅데이터 관련 업체들이 자본시장에 빅데이터 기술을 전파할 수 있도록 이들 업체들과 긴밀한 협업체계를 구축해 나가는 노력도 병행해야 한다.

셋째, 자본시장 유관기관 및 금융투자업계는 자본시장 참여자가 이용할 수 있는 빅데이터 유통플랫폼을 공동으로 구축하는 노력을 지속할 필요가 있다. 국내 자본시장의 환경을 고려할 경우 빅데이터 유통플랫폼이 민간에서 자생적으로 출현하는 것을 기대하기 어렵다고 판단되기 때문이다. 

넷째, 자본시장 유관기관 및 금융투자업계는 빅데이터와 관련된 법제도적 환경을 제대로 이해하고, 공공데이터 활용, 데이터 공유, 개인정보 보호, 비식별화 기술, 빅데이터 윤리 등에 대해서도 꾸준한 관심을 갖고 빅데이터 환경 변화에 적극적으로 대응할 수 있어야 한다.

끝으로 빅데이터에 대한 다양한 시각과 평가가 존재하지만 자본시장에서 빅데이터의 중요성과 유용성은 무시될 수 없다고 판단된다. 특히 최근 인공지능에 대한 관심이 높아지는 추세에서 빅데이터의 역할은 매우 광범위해지고 있다. 빅데이터가 인공지능의 가장 기초적인 요소이기 때문이다. 또한 빅데이터는 자본시장의 경쟁력을 가늠하는 하나의 잣대가 되고 있다. 따라서 국내 자본시장도 국제적인 경쟁력을 향상시키고 유지하기 위해 빅데이터 기술과 역량 개발에 지속적으로 노력할 필요가 있다.