A/B Test 유의점

1. 훔쳐보기 문제 (Peeking Problem)

A/B Test는 통계적 가설 검정을 사용하여 두 개 이상의 대안 중 어느 것이 더 효과적인지 결정하는 실험 방법임
현업에서 자주 발생하는 유의점 중 하나가 훔쳐보기 문제(Peeking Problem)임

훔쳐보기 문제란? : 실험 도중 중간 결과를 확인하고, 실험을 중단하는 경우를 말함 계획된 실험 기간을 채우지 않고 중간 데이터만 보고 판단을 내리는 행위로, 통계적으로 신뢰할 수 없는 결론을 초래

 

훔쳐보기 문제가 발생하는 전형적인 시나리오

1 Pager로 실험 기간 7일 협의
↓
3일차에 지표 하락 확인
↓
기획자가 중간 확인 후 판단
↓
실험 조기 중단

발생 문제
: 중간에 실험을 중단하면 기존 가설 검정에 영향을 주게 되고, 보통 과대 평가된 결과를 얻게 됨
통계적 유의성이 확인된 것처럼 보여도 우연에 의한 일시적 패턴일 가능성이 있음

 

 

훔쳐보기 문제 예방하는 4가지 방법

① 사전 정의한 샘플 크기가 충분히 모일 때까지 기다리기

실험 시작 전 1 Pager에서 계산한 최소 샘플 수가 채워질 때까지 중간에 결과를 확인하지 않기

② 미리 검정력과 유의수준을 설정하고 결과 확인 시 엄격히 준수

실험 전에 Alpha(유의수준)와 Power(검정력 1-Beta)를 확정하고, 결과를 볼 때 이를 그대로 적용

③ 연구자끼리 미리 데이터를 공유하지 않고 결과 조작할 여지를 제거

실험 중 분석가가 중간 데이터를 공유하지 않아 의도적·비의도적으로 결과가 왜곡될 가능성을 차단

④ 일정 시험마다 계획적 엿보기를 허용하거나 본페로니 교정 시행

꼭 중간 확인이 필요하다면, 본페로니 교정처럼 다중 비교에 대한 유의수준 보정 방법을 사용

 

본페로니 교정 (Bonferroni Correction)이란?
통계적 검정에서 가장 일반적으로 사용되는 다중 비교 교정 방법 중 하나
검정을 여러 번 반복하면 우연히 유의한 결과가 나올 확률이 높아지는데, 이를 보정하는 방법

본페로니 교정 공식 α' = α / n 원래의 유의 수준(α)을 가설 검정의 수(n)로 나누어 수정된 유의 수준(α')을 계산

ex) 암 환자와 정상인의 유전적 차이를 비교할 때 총 10,000개의 유전자를 검정한다면, 유의수준 0.05 기준으로 평균 500개가 참인 귀무가설임에도 기가될 수 있음. 본페로니 교정을 적용하면 훨씬 보수적인 기준으로 유의성을 판별할 수 있음

10,000번 검정 시 → α' = 0.05 / 10,000 = 0.000005

 

---

2. Confounding Factor (교란 변수)

Confounding Factor는 실험 결과를 왜곡시키는 인자로, 실험 대상자의 성별, 연령, 인종 등과 같은 실험 대상자 특성 외에도 실험
결과에 영향을 미칠 수 있는 다른 인자를 말함

Confounding Factor 오류 사례 - Uber의 차량 요금 조정 실험
실험 목표	택시 요금 인하를 통한 비례적 수입 저하를 확인하는 것
예상	택시 요금 인하 → 택시 기사 수입 저하
실제	택시 요금이 낮아지자 택시 수요가 상승(Confounding Factor)하여, 오히려 택시 기사 수입이 상승하는 잘못된 결과가 초래됨
→ 목표한 수입 저하가 아닌 수요 변화라는 외부 요인이 결과를 왜곡시킴

 

Confounding Factor 문제 조치방법 3가지

① 랜덤화 그룹 분배

각 그룹에 대해 무작위로 할당하는 방법
Confounding Factor가 자연스럽게 균형을 이루게 되어 결과 해석에 도움이 됨

② 층화랜덤화 그룹 분배

특정 요소로 구분된 세부 집단에서 무작위로 할당하여 샘플의 다양성을 보장
특이집단의 특정 요소의 분포 편차가 클 때 특히 유용

③ Confounding Factor의 영향력 추정

A/B Test를 실시하기 전에, OS Type(AOS/IOS) · 신규고객 VS 기존고객 · 지역별 · 고객가치별 등으로 세분화하여 목표하는 변수에 대한 통계적 영향력을 미리 검증하고 제거

 

---

3. 초두효과(Primacy Effect) 및 신기효과(Novelty Effect)

A/B Test에서 발생할 수 있는 또 다른 유의점으로, 새로운 기능을 도입했을 때 사용자의 심리적 반응이 실험 결과를 왜곡하는 현상

초두효과 (Primacy Effect)	신기효과 (Novelty Effect)
변화를 꺼리는 현상 기존 서비스 방식과 기능에 익숙한 사용자들이 변화를 거부하는 현상 기획자 입장에서는 좋은 기능을 도입했다고 생각하지만, 유저는 익숙한 것이 사라졌다며 혼란을 느낌 특징 : 초기에는 지표가 하락하지만, 시간이 지나면서 유저가 적응하여 지표가 상승 조기에 실험을 중단하면 잘못된 결론에 이름 초기 하락 → 시간이 지난 후 상승 구간 발생	새것을 더 선호하는 현상 변화를 좋아하는 사용자들이 새로운 기능에 더 선호하는 현상 기획자 입장에서는 실험이 성공적이라 판단하고 기능을 런칭하지만, 유저는 "그냥 한번 눌러볼까?" 수준의 호기심으로 반응 특징 : 초기에는 지표가 급상승하지만, 시간이 지나면서 유저의 흥미가 사라져 지표가 하락 초기 급상승 → 이후 하락 구간 발생

 

초두효과 및 신기효과를 예방하는 방법

두 효과 모두 실험군 내에서 기존 사용자와 신규 사용자의 반응 차이가 핵심

방법 1 - 실험군 내 기존/신규 사용자 결과 동일 여부 통계 검정

실험군에서 기존 사용자와 신규 사용자가 새로운 기능에 대해 동일한 결과를 보이는지 통계적으로 검정 → 결과가 같다면 효과가 안정적으로 지속될 가능성이 높음

방법 2 - 대조군/실험군 내 신규 사용자 결과 비교 통계 검정

대조군의 신규 사용자와 실험군의 신규 사용자가 새로운 기능에 대해 다른 결과를 보이는지 통계적으로 검정 → 결과가 다르다면 기능 자체의 효과가 실제로 있다고 볼 수 있음

 

---

4. 종료된 A/B Test 후속 모니터링

A/B Test가 성공적으로 종료되었다고 해서 바로 다음 실험 백로그에만 집중하면 안됨
종료된 실험에 대한 후속 모니터링은 여러 이유에서 매우 중요

① 이전 실험의 통찰력을 새로운 실험에 적용하기 위해

종료된 A/B 테스트의 결과를 분석하여 얻은 통찰력은 향후 실험 전략 및 제품 개발에 큰 도움이 됨
결과를 모니터링하면 이러한 통찰력을 놓치지 않고 기존 실험 백로그를 향상된 실험 백로그로 발전시킬 수 있음

② 일시적 효과인지 아닌지 확인하기 위해

A/B 테스트가 종료된 것만으로는 출시 이후의 성능 변화를 예측할 수 없음
실험 런칭 이후 긍정적 효과가 지속되는지, 아니면 일시적인 효과 이후 지표가 하락하는지 지속적으로 모니터링해야 함

③ 새롭게 런칭된 기능이 다른 실험에 부정적 영향을 주는지 확인하기 위해

새롭게 런칭된 A기능이 이후에 진행되는 K기능 실험에 부정적인 영향을 주지는 않는지 확인이 필요함
종료된 A/B 테스트의 결과를 모니터링하면 실험 결과에 영향을 미칠 수 있는 외부 요인을 파악할 수 있음

 

---

5. 핵심 유의점 요약

A/B Test 진행 시 꼭 기억할 체크리스트

• 훔쳐보기 금지
  사전에 계획한 실험 기간과 샘플 수를 반드시 채울 것
  중간에 결과를 보고 실험을 조기 중단하면 과대 평과된 결과를 얻게 됨
  
• 본페로니 교정 활용
  중간 확인이 불가피하다면 다중 비교 교정(α' = α/n)을 적용해 통계적 신뢰성을 유지
  
  
• Confounding Factor 사전 제거
  실험 전에 OS, 고객 유형, 지역 등 교란 변수를 미리 조사하고 랜덤화 또는 층화랜덤화로 균형을 맞추기
  
• 초두/신기 효과 구분
  초기 지표 하락(초두효과)이나 상승(신기효과)이 일시적인지 통계 검정으로 확인한 뒤 판단
  
  
• 종료 후에도 모니터링
  실험 종료 = 끝이 아님
  효과의 지속성 확인, 후속 실험에 대한 영향 파악, 다음 실험 설계에 활용하기 위해 꾸준히 모니터링
  

 

---