언론과 조사기관이 스스로 초래한 결과이긴 하지만, 요즘 여론조사에 대한 불신의 소리가 높다. 여론조사에 불만이 많은 것은 언론에 발표되는 조사결과가 체감하는 것과는 너무나 동떨어져 있기 때문일 것이다.
사람들이 여론조사를 불신하는 가장 큰 이유로 드는 것은 낮은 응답률이다. 20% 정도의 응답률로 어떻게 제대로 된 여론을 반영한다고 볼 수 있느냐는 것이다. 물론 일리 있는 지적이긴 하지만 낮은 응답률은 어쩔 수 없는 면이 있다.
가장 큰 문제는 낮은 전화번호부 등재율
언론에 보도된 바에 따르면 우리나라의 전화번호부 등재율은 57.2%에 지나지 않는다. 40% 이상의 사람들이 여론조사에 참여할 기회가 원천적으로 봉쇄되어 있는 것이다.
언론이 발표하는 여론조사 결과는 전화번호부에 등재되지 않은 사람의 정치적 성향이 전화번호부에 등재된 사람의 그것과 같다는 것을 전제로 하고 있다.
하지만 양자의 성향이 같은지의 여부는 불분명할 뿐 아니라 일본의 사례를 보면 양자의 성향이 다를 가능성이 오히려 더 높다.
일본은 여론조사가 상당히 발달된 나라이다. 여론조사의 역사도 길 뿐 아니라 신문사들은 조사의 정도를 높이기 위한 노력을 아끼지 않았다. 이런 일본의 여론조사가 몇 년 전 개망신을 당한 적이 있었다. 그것도 두 차례 씩이나.
1998년 참의원선거와 2000년 총선거에서 신문사의 여론조사 예측은 모조리 빗나갔다. 아사히신문과 요미우리신문을 위시한 신문사의 여론조사 모두가 민주당의 약진을 예측하지 못했던 것이다.
사후 조사를 통하여 여론조사의 예측이 완전히 틀렸던 것은 전화번호부에 등재되지 않은 사람들이 너무 많았다는 데에 원인이 있다는 것이 밝혀졌다. 등재되지 않은 비율이 너무 높아 5할 정도가 등재되지 않은 지역도 적지 않았던 것이다.
등재되지 않은 사람은 정치적 성향이 다를지도
조사에 따르면 등재되지 않은 사람들 가운데에는 지지하는 정당이 없는 무당파층이 유난히 많았다. 그리고 집권여당인 자민당을 지지하는 사람들이 특히 적다는 것도 알 수 있었다. 이것은 당시 실시되었던 조사에서 자민당의 지지도가 과도하게 높게 평가되었다는 것을 의미했다. 또한 무당파층들은 정치적 이슈에 따라 민주당에 투표할 가능성이 높을 수 있다는 것을 조사결과는 시사하고 있었다.
일본의 신문사들은 두 차례의 여론조사 실패를 계기로 전화조사 방법을 완전히 바꾸었다. 전화번호부에 기초하는 명부식 조사에서 컴퓨터로 난수를 발생시켜 샘플을 추출하는 RDD(Random Digital Dialing)로 전환시켰던 것이다. 그리고 지금은 모든 여론기관에서 실시하는 전화조사는 RDD를 기본으로 하고 잇다.
RDD는 컴퓨터의 난수를 발생시켜 전화번호를 추출하기 때문에 전화번호부에 등재되어있지 않은 가정도 얼마든지 조사대상이 될 수 있다. 비용과 시간이 많이 들지만 명부식 전화조사보다는 보다 정확한 여론을 반영할 수 있음은 물론이다..
RDD방식이 구체적으로 어떠한 절차를 밟아 실시되는지 일본경제신문사의 조사기관인 닛케이리서치의 조사방법을 통해 살펴보자.
1. 일본에서 사용되고 있는 유선전화의 모든 국번(약 1만8천개)를 조사한다
2. 각 국번 아래의 4자리의 가입자 번호(0000~9999)를 상정한다
3, 그 결과 약 1억8천만개의 전화번호의 집합이 이루어진다
4. 이 집합에서 1만8천개의 번호를 무작위로 추출한다 보통 각 국번에서 1개의 전화번호를 선정한다.
5. 1만8천개의 번호에 컴퓨터로 신호를 보내 실제로 사용되고 있는 번호인지를 확인한다. 사용되지 않는 번호는 자동적으로 삭제되어 실제로 전화를 걸게 되는 번호는 6천수백개 정도로 압축된다.
6. 전화를 걸어 회사의 전화번호는 제외시킨다. 이 단계를 거치면 약 3천여개의 유권자가 있는 세대로 압축된다.
7. 3천여 세대 가운데 대개 2천세대가 조사에 협력을 해주는 경향이 있어, 응답률은 50~60%가 되는 것이 보통이다.
이에 비해 우리나라는 우선 인구 비례에 따라 지역별로 할당을 한다. 그리고 할당된 지역의 전화번호부나 전화번호부CD를 이용하여 전화번호를 추출하여 전화를 건다. 전화를 걸어 목표한 샘플수, 가령 1천이 되면 조사는 완료되는 식이다.
랜덤을 완전히 포기한 우리나라 여론조사
최종적인 조사대상을 선택하는 데에도 차이가 있다. 우리나라에서는 First Call 혹은 임의법이라는 방식이 사용되는 것이 보통이다. 이것은 전화를 받은 사람이 할당된 조건에 맞으면 그 사람을 조사대상으로 하고 맞지 않으면 할당조건에 맞는 사람을 바꾸어달라는 방식이다. 비용과 시간을 핑게로 무작위 추출을 완전히 포기하고 있는 것이다.
이에 비해 일본에서는 최종적인 대상을 난수를 발생시켜 선정한다. 가족 가운데 유권자 수를 물어 보아 난수를 발생시킨다. 가령 5명의 유권자가 있는 가정일 경우 3이라는 숫자가 나온다면 그 가정에서 3번째로 나이가 많은 사람이 조사대상이 된다.
또한 조사대상인 3번째로 나이가 많은 사람이 집에 없다면 귀가시간을 물어 통화가 가능할 때 전화를 다시 건다. 몇 차례 전화를 걸어도 도저히 통화가 이루어지지 않을 경우, 그 번호는 불응답으로 처리되고, 또한 다른 번호로 대체하지 않는다.
조사에서 가장 중요한 것은 언제 조사가 이루어지는가 하는 조사시간대의 문제이다. 닛케이리서치의 경우 원칙적으로 주말의 3일간을 이용하여, 9시부터 21시30분 사이에 이루어진다. 늦게 귀가하는 샐러리맨들을 조사대상에 포함시키기 위해서임은 물론이다.
자영업자와 주부중심의 여론조사
우리나라의 경우 단 하루 그것도 몇 시간 만에 조사가 이루어질 뿐 아니라 조사는 대개 오후 8시 쯤에 끝난다. 8시 이전에 집에 와 있을 샐러리맨이 얼마나 있을까? 이러다보니 우리나라의 전화조사에서는 주부와 자영업자가 차지하는 비율이 너무 높을 수밖에 없는 것이다. 아무리 가중치를 주어 보정을 해도 한계가 있을 수밖에 없다.
우리보다 훨씬 정교한 조사시스템을 자랑하는 일본이지만, RDD도입이 10년이 채 못 된 지금 전화조사에 대한 회의론이 대두되고 있다. 주된 이유는 휴대폰의 보급으로 유선전화 자체를 설치하지 않는 가정이 너무 많아졌기 때문이다. 그 결과 전화조사라는 것 자체를 다시 생각해보아야 한다는 지적이 많다.
우리나라의 경우 여론조사가 정국을 주도하는 데에 비한다면 조사의 정확도를 높이기 위한 노력은 거의 이루어지지 않았다. 통계학에는 “Gabbage in, Gabbage out”이라는 유명한 말이 있다. 어떤 세련된 분석을 하든 쓰레기가 들어가면 쓰레기가 나올 수밖에 없다는 말이다. 한마디로 말해 우리가 보는 여론조사 결과는 쓰레기일 수밖에 없다는 말이다.
12월 12일이 지나면 투표일까지 여론조사 결과는 발표할 수 없다. 여론조사결과를 볼 수 있는 것도 보름 남짓 남았다. 이제 쓰레기에는 질렸다. 적어도 앞으로 보름 동안이라도 쓰레기가 아닌 반짝반짝 빛나는 보석 같은 조사결과를 보고 싶다.
