A/B Test 실험 정리 계획

1. A/B Test 실험 사이클

A/B Test는 한 번으로 끝나는 게 아니라 반복되는 사이클로 운영됨
실험을 시작하기 전에 1 Pager라는 실험 계획서를 작성하고, 실험 시작 → 통계 검증 → Review → 다음 실험 계획서 작성의 순환 구조로 돌아감

 

---

2. 1 Pager - 실험 계획서 작성법

1 Pager는 A/B Test를 시작하기 전에 작성하는 한 장짜리 실험 계획서임.
팀 내에서 실험의 목적과 방향을 공유하고, 실험 후 결과를 해석하는 기준이 됨

ex) 최종 결제 구간에서 본인이 받은 전체 할인 금액을 노출시킨다.

항목	설명	예시
Target User	타겟 고객은 누군인가?	마지막 결제 구간에서 결제 선택에 신중을 기하는 고객
Obervation	데이터적으로 관찰되는 현상은 무엇인가?	결제 구간에서 구매까지 퍼널 전환율이 떨어짐을 확인 결제 버튼의 이탈률이 다른 구간보다 높음을 확인
Problem Statement	현상으로써 발생되는 문제는 무엇인가?	고객이 받은 전체 할인 금액을 정확히 인지하지 못해 좋은 금액으로 구매하고 있다는 느낌을 주지 못해 이탈
Benchmarks	적용하려는 기능과 유사하게 벤치마킹할 것이 있는가?	A사 모바일 앱의 결제 화면
Hypothesis	기능 개선을 위한 가설 설립	결제 페이지에서 고객이 받은 전체 할인 금액을 노출시키면 구매전환이 늘어날 것이다
Experiments Group	실험을 위한 집단 구분	A(대조군) : 기존 결제 페이지 B(실험군) : 기존 결제 페이지 + 전체 할인받은 금액 노출
Metric	실험 성과를 평가할 수 있는 정량적 지표 설계	Input Metrics : 결제 페이지 유입 수, 최종 결제 금액 도달 수 Output Metrics : 전환율 (결제 페이지 → 결제 완료 페이지)
Trade-off	기능 도입으로 인해 발생되는 문제 상황 및 예의주시가 필요한 부분	동일 카테고리 상품 중 더 좋은 기능보다 더 저렴한 상품을 구매하여 전체 매출에 negative할 수 있음
Andon	실험 진행 중 심각한 문제 발생 여부를 파악할 수 있는 기준 정의	구매전환율이 3일 연속 하락 서비스의 주요 OEC에 심각한 부정적 역할

Andon이란?
Andon은 토요타 생산 방식에서 유래한 개념으로 조립 라인의 작업자가 문제를 발견했을 때 전체 라인을 멈출 수 있는 비상 정지 시스템을 말함. A/B Test에서 Andon은 실험 진행 중 심각한 이상 징후가 감지되었을 때 실험을 즉시 중단할 수 있는 기준을 사전에 정의해두는 것

Obervation과 Problem Statement를 잘 구분해야됨
: 비를 맞음 - obervation, 감기에 걸림 - problem statement

 

---

3. 최소 샘플 사이즈 결정

A/B Test를 설계할 때 가장 중요한 것 중 하나가 얼마나 많은 샘플을 모아야 하는지 결정하는 것
샘플이 너무 적으면 결과를 신뢰할 수 없고, 너무 많으면 시간과 비용이 낭비됨
최소 샘플 사이즈를 계산하려면 4가지 정보가 필요

mu0 (Base Value) 기준값 실험하고자 하는 지표의 과거 일반적인 평균 데이터. 현재 전환율, 현재 평균 매출 등 기존 기준선.	mu1 (Expected Value) 기대값 mu0(Base Value)를 얼마나 상승시킬 것을 기대하는지에 대한 값. 예: 전환율 2% → 2.2%로 개선 기대.
alpha (유의수준) Significance Level 귀무가설을 기각할 수 있는지 없는지를 판단하는 기준. 1종 오류를 허용하는 확률. 보통 0.05 사용.	1-Beta (검정력) Statistical Power 귀무가설을 올바르게 기각할 확률. 즉, 실제로 차이가 있을 때 그걸 탐지해낼 수 있는 능력. 보통 0.8 사용.

MDE(Mininum Defectable Effect)란?
: (mu0 - mu1) / mu0 
실험에서 탐지하고자 하는 최소한의 효과 크기
 MDE가 작을수록(아주 작은 변화도 잡고 싶을수록) 필요한 샘플 수가 급격히 늘어남
현실적으로 의미 있는 MDE를 설정하는 것이 중요

 

검정력 (1- Beta)

검정력은 두 분포가 얼마나 겹쳐있는지와 표본 크기에 따라 달라짐
두 분포가 많이 겹쳐있고 표본 크기가 작을수록 검정력이 낮아짐

만약 작은 크기의 샘플들로 유의미한 지표가 나왔을 때는, 1종 오류를 발생시킬 가능성이 있음

 

Alpha와 1-Beta의 관계

α 유의수준 (Alpha) 귀무가설이 사실인데도 기각하는 1종 오류를 허용하는 확률 기각역의 넓이를 결정 통상 0.05 사용

1-β 검정력 (Power) 귀무가설이 거짓일 때 이를 올바르게 기각할 확률 대립가설 분포에서 기각역에 속하는 넓이 통상 0.8 사용

샘플 사이즈를 구한다는 것은, Effect Size(mu1-mu0)가 주어졌을 때, n을 조정하면서 Alpha로 표시된 구역의 넓이가 0.05이면서 동시에 Beta로 표시된 구역의 넓이가 0.2인 값을 찾는 과정

최소 샘플 사이즈 계산식

최소 샘플 사이즈 n 계산 공식 n = (z_α + z_β)² × σ² / (μ₁ − μ₀)² σ = p₀(1 − p₀) + p_α(1 − p_α) ------------------------------------------------------------------------------------------ z_beta(0.8) = 0.84  |  z_alpha(0.95) = 1.64 σ: 두 분포의 Pooled Standard Deviation

 

---

4. 핵심 개념 요약

A/B Test를 제대로 하려면 실험 전에 1 Pager를 통해 목적과 기준을 명확히 정의하고, 통계적으로 신뢰할 수 있는 샘플 사이즈를 계산해서 실험해야 함

실험 계획서(1 Pager) 없이 시작하면 실험 후 결과를 해석하는 기준이 없어지고, 샘플 사이즈를 제대로 계산하지 않으면 아무리 좋은 실험도 통계적으로 무의미한 결과가 나올 수 있음

 

---