최근 한 신문사에서 이재명이 인용한 보고서가 엉망진창이라는 내용의 기사를 작성하였다. 기자는 한국 관련 구체적 기술 단 한 단락에 그쳤으며 사실관계에 오류가 있다고 지적하였다. 심지어 단독이다. 이재명이 제시한 보고서는 스웨덴 민주주의 연구소 V-dem의 보고서였다. V-dem 보고서는 V-dem 민주주의 지수를 토대로 작성된다.

V-dem 지수란, 민주주의의 다양성(Varieties of Democracy)의 약자로, 전 세계 국가들의 민주주의 수준을 종합적으로 평가하는 지표이다. 오늘은 민주주의 지표 V-dem에 대해 알아보고, 해당 지표가 학계로부터는 어떤 평가를 받는지, 한계는 무엇인지 살펴보고자 한다.


V-dem 민주주의 지표는 패널 데이터다. 패널 데이터는 정치학을 비롯한 다양한 사회과학 연구에서 사용되는 중요한 도구이다. 패널 데이터는 특정 시점의 여러 개체의 데이터를 모은 횡단면 데이터, 특정 개체에 여러 시점에서 관측한 시계열 데이터를 결합함으로써 구성된다. 정리하자면, 패널 데이터는 여러 개체의 데이터를 여러 관측 시점에서 모은 데이터이다. 최근 mbc에서 수행했던 총선 패널 조사는 개인 단위에서의 변화를 확인하기 위해 패널 데이터를 이용한 사례이다.

<MBC 패널조사. 개인 단위 패널 데이터의 예시다.>

국가 단위 패널 데이터의 데이터 수집 과정에는 어려움이 존재한다. 국가 간 데이터들은 수집 방식의 차이 때문에 단순 비교로는 데이터들의 비교 가능성을 보장하기 어렵다. 한국에서 빅맥이 5500원이고 일본의 빅맥이 800엔이라고 가정해보자. 5500이 800보다 크니 한국의 빅맥이 비싸다고 단순히 결론 내리는 것은 화폐 가치의 차이를 고려하지 못한다. 마찬가지로 실업률을 계산할 때도 국가마다 실업자를 정의하는 방식이 다르기에 결과를 단순 비교하기 어렵다.

이러한 어려움을 극복하고 데이터의 비교 가능성을 높일 수 있는 데이터를 개발하고자 연구자들은 노력해왔다. 지니계수의 경우 프레드릭 솔트(Frederick Solt)의 표준화 세계 소득 불평등 데이터베이스(Standardized World Income Inequality Database)와 피케티 등이 만든 세계 불평등 데이터베이스(World Inequality Database)가 대표적이다.

<V-dem의 한국 '자유민주주의' 지수 시계열 데이터이다>

마찬가지로 민주주의 지수를 측정하기 위한 패널 데이터들도 존재한다. Polity IV, Freedom House, 이코노미스트 민주주의 지수 등이 대표적이고, 오늘 다루고자 하는 V-dem도 여기에 해당한다. 스테판 린드버그 교수가 주도하는 V-dem은 선거 민주주의, 자유 민주주의, 참여 민주주의, 숙의 민주주의, 평등적 민주주의라는 5가지 항목을 분류 기준으로 나누어 국가들의 민주주의 지수를 평가한다. (이들에 대해서는 기회가 있을 때 다루어보고자 한다. 각각의 민주주의가 정치철학의 이념형으로 나타나는 방식과 실증적인 지표로서 나타나는 방식을 비교해보는 것도 흥미로울 것이다.)


그렇다면 V-dem은 어떤 방식으로 데이터를 만드는가? 국가별로 5명의 전문가로부터 데이터를 수집하는 등 3700명 이상의 전문가 풀을 사용한다. 그럼에도 불구하고 편향성의 문제가 존재한다는 점에서 V-dem은 전문가가 다른 전문가들에 비해 얼마나 신뢰도 있는지, 반응 척도 인식이 얼마나 다른지 등을 알고리즘으로 추정한다. 가상의 사례를 만들고 전문가들로 하여금 이를 평가하게 함으로써 평가 척도의 차이를 파악하는 앵커링 비네트(Anchoring Vignette) 방식이 사용된다. 반복적 과정을 통해 오류를 최소화한다.

이로 인해 연구자들은 V-dem이 민주주의에 대한 개념 정의, 측정 척도, 데이터 집계 과정의 이론적 정당화 등에서 다른 지수들을 능가한다는 평가(Boese 2019), 베이지안 모형을 사용하고 해당 지역을 상세히 아는 다수의 전문가를 동원함으로써 오차를 줄인다는 평가(Coppedge et al 2017), 여타 지수들에 비해 상세하고 정밀한 지표들을 제공한다는 평가(Lindberg 2015)를 내리기도 한다.


물론 정치체의 사실적, 형식적 측면의 구분이 제대로 다루어지지 않았다는 사소한 한계가 존재한다(Bosse 2019). 또한 측정자들의 편견이나 체계적 편향이 존재하는 것도 사실이다.(Coppedge et al 2017; Elff & Ziaja 2018) 그럼에도 V-dem만큼 민주주의에 대한 방대한 정보를 제공하는 체계적이고 명확한 데이터는 찾기 어렵다(Bosse 2019; Coppedge et al 2017; Vaccaro 2021). 이러한 이유로 V-dem은 오늘날에도 다양한 민주주의 연구에서 활용되고 있다(Bizzarro et al. 2018; Mechkova et al. 2017; Persson & Povitkina 2017).

<Nord et al. 2024 V-dem의 보고서에 실린 그래프다. 한국이 역U자 형태를 보이며 민주주의 퇴행을 경험하고 있는 대표적 사례로 지목되었다.>

V-dem의 보고서에서 한국을 묘사하는 부분에 사실관계가 틀린 내용들이 포함되었다는 언론사의 지적은 타당하다. 그러나 한국에 대한 구체적인 내용에 나타난 오류들이 보고서 전체를 무시할 근거가 되어서는 안 된다. 특히 보고서가 기초로 한 V-dem의 민주주의 지수는 과학적인 연구를 통해 도출된 결과물이다. 보고서의 틀린 사실관계를 지적하는 것보다 중요한 것은 한국의 민주주의 지수가 하락하고 있다는 경고 신호에 주목해야 한다는 점이다.


(V-dem 보고서는 홈페이지에서 볼 수 있다. https://v-dem.net/)


참고문헌
Bizzarro, F., Gerring, J., Knutsen, C. H., Hicken, A., Bernhard, M., Skaaning, S. E., ... & Lindberg, S. I. (2018). Party strength and economic growth. World Politics, 70(2), 275-320.
Boese, V. A. (2019). How (not) to measure democracy. International Area Studies Review, 22(2), 95-127.
Coppedge, M., Gerring, J., Lindberg, S. I., Skaaning, S. E., & Teorell, J. (2017). V-Dem comparisons and contrasts with other measurement projects. V-Dem working paper, 45.
Elff, M., & Ziaja, S. (2018). Method factors in democracy indicators.
Lindberg, S. I. (2015). Ordinal Versions of V-Dem's Indices: For Classification, Description, Sequencing Analysis and Other Purposes. V-Dem Working Paper, 20.
Mechkova, V., Luhrmann, A., & Lindberg, S. I. (2017). How much democratic backsliding?. J. Democracy, 28, 162.

Nord, Marina, Martin Lundstedt, David Altman, Fabio Angiolillo, Cecilia Borella, Tiago Fernandes, Lisa Gastaldi, Ana Good God, Natalia Natsika, and Staffan I. Lindberg. 2024. Democracy Report 2024: Democracy Winning and Losing at the Ballot. University of Gothenburg: V-Dem Institute.
Persson, T. A., & Povitkina, M. (2017). “Gimme shelter”: The role of democracy and institutional quality in disaster preparedness. Political Research Quarterly, 70(4), 833-847.
Vaccaro, A. (2021). Comparing measures of democracy: statistical properties, convergence, and interchangeability. European Political Science, 20(4), 666-684.