통계적 시민(합성패널) 기반 확률론적 시뮬레이션 엔진

1 서론: 전통적 여론조사의 한계

여론은 다차원적 변수가 유기적으로 상호작용하는 복잡계(Complex System)이다. 그러나 전통적 여론조사 보도는 특정 시점의 스냅샷에 불과하며, 조사-발표 간 시차(time lag), 응답률 저하에 따른 대표성 훼손, 조사방식별 체계적 편향 등이 노이즈로 작용한다.

본 모델은 이러한 한계를 극복하고자 다음의 방법론적 전환을 시도한다:

• 불확실성의 명시적 정량화: 신뢰구간(Credible Interval)과 승리확률 분포로 표현
• 시계열 동태성 반영: 칼만 필터 기반 잠재 지지율(latent support) 추세 추정
• 다중 데이터 소스 통합: 이질적 조사들의 가중 결합 및 house effect 보정
• 반사실적 시나리오 분석: 투표율 변동 등 가상 조건의 구조적 영향 시뮬레이션

2 합성 패널: 통계적 시민 모델

합성 패널은 거시 인구구조 데이터와 미시 여론 데이터를 수학적으로 정합(calibration)하여 재구성한 통계적 시민 모델(Statistical Citizen Model)이다. 이는 실제 유권자 집단을 확률론적으로 복제하여, 가상 공간에서 반복 실험이 가능한 시뮬레이션 단위로 기능한다.

각 합성 패널 유닛은 다음의 다차원 속성 벡터를 보유한다:

합성 패널 속성 구조:
  Θᵢ = (D, B, P)

  D: 인구통계 레이어 — 연령, 성별, 지역, 직업, 소득 분포
  B: 행동 속성 레이어 — 지지 정당, 정치 성향, 이슈 민감도, 과거 투표 이력
  P: 반응 확률 함수 — P(vote=c | Θᵢ, context) ∈ [0,1]

집합적 행동 시뮬레이션:
  전체 합성 패널 N명에 대해 각 개인의 조건부 투표 확률을 계산하고,
  이를 집계하여 전체 득표율 분포 π = (π₁, π₂, ..., πₖ)를 도출

이러한 개별 반응 확률(individual response probability)의 정밀한 설계는 단순 산술 평균으로 포착할 수 없는 하위집단 간 이질성(heterogeneity)과 조건부 행동 패턴을 모델링하는 기초가 된다.

3 데이터 수집 및 전처리

데이터 출처

중앙선거관리위원회 여론조사공표심의위원회(NESDC) 공식 등록 여론조사를 수집한다. 각 조사의 메타데이터(표본크기, 조사방식, 응답률, 조사기관)를 함께 기록하여 이후 가중치 산정 및 편향 보정에 활용한다.

전처리 파이프라인

• 표본크기 정규화: 유효 표본크기(effective sample size) 산출
• 시나리오 분리: 다자대결, 양자대결, 정당지지도 문항 구분
• 결측치 처리: 무응답/모름 비율에 따른 유효 지지율 재산정
• 시계열 정렬: 조사 종료일(end_date) 기준 시간순 정렬

4 통계 모델

4.1 Beta-Binomial 모델 (양자대결)

2인 대결 구도에서는 Beta 분포를 사용하여 단순화된 모델을 적용한다. 한 후보의 득표율 π가 결정되면 상대 후보는 자동으로 1-π를 얻는다. 이는 계산 효율성을 높이고 해석을 직관적으로 만든다.

적용 예시 (서울시장):
  후보 A 지지율: π ~ Beta(α_A, α_B)
  후보 B 지지율: 1 - π (자동 결정)
  당선 확률: P(π > 0.5) = 후보 A 당선 확률

4.2 Dirichlet-Multinomial 모델 (다자대결)

K명의 후보에 대한 지지율 벡터 π = (π₁, ..., πₖ)는 Dirichlet 분포를 켤레 사전분포(conjugate prior)로 하는 다항분포 모델로 추정한다. 복수의 여론조사를 시간 가중치와 함께 순차적으로 업데이트하는 베이지안 학습(Bayesian learning)을 적용한다.

사전분포 (Prior):
  π ~ Dirichlet(α₀),  α₀ = (α_prior, ..., α_prior)  [약정보 사전분포]

우도 함수 (Likelihood):
  y ~ Multinomial(N, π)

사후분포 (Posterior):
  α_post[c] = α_prior + Σᵢ wᵢ × Nᵢ × p̂ᵢ[c]

  - wᵢ: i번째 조사의 시간 가중치
  - Nᵢ: i번째 조사의 유효 표본크기
  - p̂ᵢ[c]: i번째 조사에서 후보 c의 관측 지지율

약사전 α (Weak Prior Alpha)의 역할

Dirichlet 분포의 α 파라미터는 각 후보에 대한 사전 믿음의 강도를 결정한다. "약사전(weak prior)"이란 α를 작게 설정하여 사전 믿음을 최소화하고, 실제 여론조사 데이터가 결과를 주도하도록 하는 설정이다.

α 조절의 실제 효과:

  α 작게 (0.5~1)  → 후보 간 차이 확대, 여론조사에 민감
  α 크게 (5~10)   → 후보 간 차이 축소, 보수적 추정

Reble 기본 설정:
  α_prior = 1 (약사전)
  → "어떤 후보가 이길지 미리 가정하지 않는다"
  → 순수하게 여론조사 데이터로 판단

5 몬테카를로 시뮬레이션

사후분포로부터 N회(5,000~50,000)의 독립적 표본을 추출하여 가상 선거를 반복 시행한다. 각 시뮬레이션에서 득표율 벡터 π⁽ʲ⁾를 샘플링하고, 최다 득표 후보를 결정한다. 이를 통해 점추정이 아닌 분포 기반의 추론이 가능해진다.

몬테카를로 샘플링:
  for j = 1 to N:
    π⁽ʲ⁾ ~ Dirichlet(α_post)       // 또는 Beta(α₁, α₂) for 양자대결
    winner⁽ʲ⁾ = argmax_c π⁽ʲ⁾[c]

결과 통계량:
  E[π[c]] = mean(π⁽¹⁾[c], ..., π⁽ᴺ⁾[c])           — 기대 득표율
  CI₉₅[c] = [quantile(2.5%), quantile(97.5%)]    — 95% 신뢰구간
  P(win|c) = Σⱼ 𝟙(winner⁽ʲ⁾ = c) / N              — 승리 확률

6 시간 가중치 (Time Decay)

최근 여론조사가 현재 지지율을 더 잘 반영한다는 가정 하에, 지수 감쇠(exponential decay) 시간 가중치를 적용한다.

파라미터 설명:
  λ: 반감기 파라미터 (기본값 5일)
     - λ가 작을수록 최신 데이터에 집중
     - λ가 클수록 전체 기간의 평균에 가까움
  T_ref: 기준 시점 (최종 조사일 또는 선거일)
  tᵢ: i번째 조사의 종료일

예시:
  λ = 5일, 10일 전 조사 → w = exp(-10/5) = 0.135 (13.5% 가중치)
  λ = 5일, 5일 전 조사  → w = exp(-5/5)  = 0.368 (36.8% 가중치)
  λ = 5일, 1일 전 조사  → w = exp(-1/5)  = 0.819 (81.9% 가중치)

7 투표율 효과 모델링

투표율에 따라 각 후보의 득표율이 변동할 수 있다. 일반적으로 투표율이 높아지면 부동층과 청년층의 참여가 증가하고, 투표율이 낮으면 고정 지지층의 비중이 상대적으로 높아진다.

투표율 효과 모델:
  turnoutEffect = {
    55%: { 민주당 후보: -1~2%p, 보수 후보: +1~2%p },  // 저투표율
    60%: { 기준선 },                                   // 평균 투표율
    65%: { 민주당 후보: +1~2%p, 보수 후보: -1~2%p }   // 고투표율
  }

적용 방식:
  시뮬레이션 시 선택된 투표율 시나리오에 따라
  각 후보의 사후분포 평균(α_post)을 조정

이 효과는 지역별 특수성을 반영하여 조정된다. 예를 들어, 보수 텃밭인 PK 지역에서도 정권심판론이 강할 경우 고투표율이 민주당에 유리하게 작용할 수 있다.

8 House Effect 보정

조사기관별 House Effect h_a는 전체 조사의 가중 평균 대비 해당 기관의 체계적 편차로 추정하며, 이를 관측 모델에서 명시적으로 분리하여 보정한다. 이는 특정 기관의 과대/과소 추정 경향이 최종 결과를 왜곡하는 것을 방지한다.

House Effect 추정:
  h_a = (기관 a의 평균) - (전체 가중 평균)

조사방식별 편향 (예시: 대구시장):
  | 방식 | 김부겸 | 추경호 | 격차 |
  |------|--------|--------|------|
  | CATI | 40.7%  | 38.5%  | 김 +2.2p |
  | ARS  | 42.8%  | 45.7%  | 추 +2.9p |
  → 약 5%p 차이 발생, 방식별 가중 보정 필요

9 칼만 필터 기반 추세 추정

여론조사는 이산적(discrete) 시점의 관측이므로, 연속적 추세를 파악하기 위해 칼만 필터(Kalman Filter)를 적용한다. 이를 통해 관측 노이즈를 필터링하고 잠재 지지율(latent support)의 동태적 변화를 추정한다.

상태공간 모델:
  상태 방정식: θₜ = θₜ₋₁ + ηₜ,  ηₜ ~ N(0, Q)  // 잠재 지지율
  관측 방정식: yₜ = θₜ + εₜ,    εₜ ~ N(0, R)  // 여론조사 결과

칼만 필터 업데이트:
  예측: θ̂ₜ|ₜ₋₁ = θ̂ₜ₋₁|ₜ₋₁
  갱신: θ̂ₜ|ₜ = θ̂ₜ|ₜ₋₁ + Kₜ(yₜ - θ̂ₜ|ₜ₋₁)
  칼만 이득: Kₜ = Pₜ|ₜ₋₁ / (Pₜ|ₜ₋₁ + R)

시뮬레이션 페이지의 "시계열 추세" 차트는 이 칼만 필터링 결과를 시각화한 것으로, 관측값(점)과 추정 추세선(실선), 그리고 불확실성 밴드(음영)를 함께 표시한다.

10 적용 사례

Reble 엔진은 2026년 지방선거 및 국회의원 보궐선거의 다양한 선거구에 적용되고 있다:

11 결론 및 한계

결론

Reble 엔진은 전통적 여론조사의 점추정 방식을 넘어, 베이지안 통계와 몬테카를로 시뮬레이션을 결합하여 선거 결과의 불확실성을 정량화한다. 이를 통해 단순히 "누가 앞서는가"가 아닌, "얼마나 확실하게, 어떤 조건에서" 앞서는지를 분석할 수 있다.

한계

• 데이터 의존성: 여론조사의 품질과 수량에 결과가 의존
• 모델 가정: Dirichlet/Beta 분포 가정이 실제와 다를 수 있음
• 외생적 충격: 선거 직전 돌발 변수(스캔들, 사건사고)는 반영 불가
• 투표율 추정: 실제 투표율은 예측 불가, 시나리오 분석으로 대체

12 참고문헌

• Gelman, A., et al. (2013). Bayesian Data Analysis. CRC Press.
• Linzer, D. A. (2013). Dynamic Bayesian Forecasting of Presidential Elections. Political Analysis, 21(2), 197-211.
• Silver, N. (2012). The Signal and the Noise. Penguin Press.
• Jackman, S. (2005). Pooling the Polls Over an Election Campaign. Australian Journal of Political Science, 40(4), 499-517.
• Shirani-Mehr, H., et al. (2018). Disentangling Bias and Variance in Election Polls. Journal of the American Statistical Association, 113(522), 607-614.

13 관련 페이지

• 부산북구갑 - 모델설명: 시나리오 분석(표 이전 모델), 결과 해석 가이드 포함

14 Reble.ai 부산북구갑의 통계적시민(패널) 예

합성 패널(Synthetic Panel)이 실제로 어떻게 구성되는지 확인할 수 있는 예시 페이지입니다. 부산 북구갑 선거구의 1,781명 합성 시민이 보유한 인구통계, 정치 지형, 후보 인지도 등의 다차원 속성을 상세히 살펴볼 수 있습니다.

• 통계적 시민 — 부산 북구갑 합성 패널 스냅샷