자본시장연구원 Korea Capital Market Institute

본 보고서는 금융위기 이후 우리나라 증권업의 수익성 악화 원인을 규명하기 위해 증권업 경쟁도의 변화를 살펴보고 증권업의 성장성과 수익성이 악화되는 가운데에서도 증권사들의 자발적 청산이나 매각을 통한 증권업 구조변화가 쉽게 일어나지 않는 현상을 이론모형과 실증분석을 통해 규명하고 나아가 진입규제 정책을 위한 시사점을 제시하는 것을 목적으로 한다.

국내 증권업은 금융위기 이후 순영업수익과 자기자본수익률 등의 지표 면에서 수익성이 감소하고 있다. 수익성 악화의 원인 중 하나로 증권업 내 ‘과당경쟁’이 지목되고 있다. 위탁매매업에 치우친 국내 증권사들의 동조화 현상에 설상가상으로 지나친 수수료경쟁으로 인해 수익성이 감소하고 있다는 지적이다.

그러나 ‘과당경쟁’과 ‘과소경쟁’의 판별 이전에 국내 증권업의 실질경쟁도 변화가 최근 어떠한 방향으로 변화하고 있는지에 대한 연구가 선행되어야 할 것이다. 통상적으로 사용하는 HHI(Hirfindahl-Hirschman Index)나 상위사 대형사들의 시장점유율 지표로는 일반적으로 회자되는 주장과 달리 증권업 경쟁도가 높아진다고 보기 어렵다. 오히려 최근 몇 년간 HHI 동향에 따르면 증권업 내 경쟁압력이 낮아지고 있다.

이에 최근 산업조직론에서 연구된 Panzar & Rosse(1987)의 H-통계량을 이용하여 금융위기 이후 실질경쟁도 심화 여부를 확인하였다. 또한 Boone(2008)이 제시하는 새로운 방법으로 지표를 계산하여 실질 경쟁압력 변화를 재차 검증하였다. 추정결과, 2008년 글로벌 금융위기 이전과 이후 시기를 구분할 때 H-통계량은 국내 증권업이 독점 상태를 벗어나 완전경쟁 상태에 진입하였음을 가리킨다. 지표의 연속성에 대한 의문에도 불구하고 Boone 지표도 금융위기를 기점으로 하여 경쟁압력이 상승하고 있음을 나타내고 있다.

따라서 기존 경쟁도 지표를 통해 실증적으로 파악하기 힘들었던 ‘경쟁압력 상승’이라는 주장은 개별 증권사 차원의 재무제표를 활용하는 새로운 방법론을 이용하여 설득력 있게 뒷받침된다.

수익성 악화와 경쟁심화에도 불구하고 증권사의 자발적 퇴출과 M&A는 활발하지 않다는 사실은 여전히 의문점으로 남는다. 최근 10여 년 동안의 연혁을 살펴보면 국내 증권사의 청산이나 매각을 통한 자발적 퇴출 사례는 많지 않다. 2000년대 초 이후 20여 건의 증권사 M&A가 있었지만 대부분 부실화된 대기업 그룹 또는 금융그룹의 계열 증권사의 매각이나 사업 포트폴리오 구축 차원의 증권사 인수가 많아 증권업의 성장성과 수익성 자체에 판단을 둔 M&A 거래는 많지 않은 편이다.

이렇듯 업황의 악화에도 불구하고 증권사의 자율적인 퇴출이 쉽게 일어나지 않는 현상은 실물옵션 이론(Real Option Theory)을 통해 설명할 수 있다. 실물옵션 이론에서는 실물투자 기회를 주식에 대한 미국식 콜옵션(American call option)과 동일한 성격을 갖는 것으로 이해한다. 실물옵션 이론은 불확실성(uncertainty)과 매몰비용 같은 비가역성(irreversibility)이 존재하는 경우, 실물옵션가치 내의 진입옵션(option to invest) 및 퇴출 대기옵션(option of waiting to exit)의 존재로 인하여 진입·퇴출의 지연효과, 즉 이력현상(hysteresis)이 나타나며, 매몰비용이 클수록 지연효과가 강함 을 보여주고 있다. 한편, 증권업은 명성 및 브랜드 구축, 마케팅 및 고객확보 비용 등 매몰비용이 특징인 산업이며 수익 변동성이 높아 실물옵션 이론의 적용가능성이 높은 산업이다.

증권사의 진입·퇴출 지연효과를 설명하기 위해 Dixit(1989) 모형을 바탕으로 검량분석(calibration)을 수행하며 모형의 모수 및 과거 국내 증권업 M&A의 경영권 프리미엄 추정치를 산출한다. 이러한 분석은 모수 추정의 오차가능성에도 불구하고 증권업 구조변화 가능성에 대한 유용한 시사점을 제공할 것으로 판단된다. 

이러한 모수 추정치를 바탕으로 증권업의 성장성, 수익성 및 변동성 각각의 측면에서 자발적 청산 및 M&A 가능성을 살펴본다. 먼저, 성장성 측면에서 증권업 가치를 추정하기 위해 순영업수익의 평균 성장률에 대한 가정에 따라 다음의 4가지 경우로 분류한다. 이들은 각각 (1) 금융위기 이후인 2010년부터 2014년까지의 최근 5년간 증권업 순영업수익 성장률 평균을 가정하는 기본 case, (2) 2003년부터 2014년까지 증권업 순영업수익 성장률의 평균을 가정하는 성장지속 case, (3) 증권업 자기자본이익률(ROE)과 주식자본비용이 같은 상황인 장기균형 case, (4) 2010년부터 2014년까지 21개 상장 증권사 평균 PBR 0.76이 의미하는 시장 컨센서스 case이다. 각 경우에 대하여 매몰비용과 변동성 기본 추정치를 중심으로 자발적 청산 유발 순영업수익 감소폭, 증권업 가치, 순챠터가치, 라이센스가치 및 매각을 위한 요구 프리미엄 수준을 산출하고 이러한 모수 추정치에 대한 민감도 분석을 수행한다.

분석 결과, 금융위기 이후 나타난 증권업 성장성과 수익성의 악화가 지속될 경우(기본 case) 자발적 청산을 통한 퇴출은 일어나기 어렵지만 매각을 통한 자발적 퇴출은 일어날 가능성이 높다. 증권업의 장기 성장성이 과거 15년간 평균치로 개선되거나(성장지속 case) 장기균형에 접근하면(장기균형 case) 자발적 청산은 물론 매각을 통한 자발적 퇴출도 일어나기 어려운 것으로 분석된다. 

마지막으로 주식시장 가치평가 지표에 반영된 증권업 성장성에 대한 시장의 예상을 가정할 경우(시장 컨센서스 case) 자발적 청산은 어렵지만 매각을 통한 자발적 퇴출 가능성이 다소 존재한다.

증권업 수익성 변화에 대한 민감도 분석을 시장 컨센서스 case에 대하여 수행한 결과, 향후 비용 구조가 과거 15년 평균보다 개선되면 M&A 매도자 요구 프리미엄이 경영권 프리미엄보다 높아 M&A를 통한 자발적 퇴출은 일어나기 힘든 것으로 나타났다. 

한편 증권업 순영업수익의 변동성 변화에 대한 민감도 분석을 시장 컨센서스 case에 대하여 수행한 결과, 향후 변동성이 현재 수준보다 감소하게 되면 자발적 매각이 발생할 가능성이 높아짐을 보여주고 있다. 이는 다른 조건이 같다면 변동성이 높아질수록 퇴출 대기옵션가치가 증가하며 M&A 매도자의 요구 프리미엄이 증가하기 때문이다. 향후 자본시장 기관화에 따르는 주식시장 변동성 감소와 거래대금 감소는 궁극적으로 위탁매매 수수료수입 의존도가 높은 우리나라 증권사들의 자발적 퇴출 관련 의사결정에 많은 영향을 미칠 것으로 분석된다.

본 보고서의 분석 결과는 증권업 진입규제 정책에 대하여 시사점을 제공하고 있다. 증권업 업황의 대폭적인 호전이나 증권사의 체질개선이 이루어지지 않는 한 증권업은 향후 자발적인 구조변화의 압력이 강해질 것으로 전망되며 국내 증권업 경쟁도는 이미 높은 수준이므로 전면적 진입규제 완화보다는 기존 증권사 대비 효율적인 상품 및 서비스를 제공할 수 있거나 차별화가 가능한 특화 증권사 육성을 염두에 둔 부분적 진입규제 완화가 필요하다. 경쟁을 통한 효율성 제고는 전면적 진입규제 완화보다 사업모델의 개발자 우선권 보호 및 특허화 같은 상품 및 서비스 경쟁정책을 통하여 달성할 필요가 있다. 마지막으로, 시장 자율의 M&A와 같은 구조변화 노력을 유도하고 지원하는 방향으로 정책적 노력을 경주해야 한다.