A/B Test 필수 통계학 개념 정리

1. A/B Test와 통계학의 관계

A/B Test의 목적은 전체 모집단 중 일부를 샘플링하여, 샘플링된 그룹(A 또는 B)을 통해 가설을 검증하는 것
이 가설 검증의 근간이 바로 통계학

모집단 전체를 사용하지 않고 샘플링하는 이유
: 현실적인 시간적, 비용적 문제 때문
서비스 전체 유저(모집단) 모두를 대상으로 실험할 수 없으니 그 일부인 표본을 추출해서 실험하고 그 결과를 모집단에 대한 추론으로 활용하는 것

 

---

2. 표본 추출 방법 (Sampling Method)

표본 추출 방법은 크게 확률표본추출과 비확률표본추출로 나뉨
확률표본추출은 모집단에서 임의로 샘플을 추출할 때, 각 개체가 선택될 확률이 동일한 방법
비확률표본추출은 모집단에서 임의로 샘플을 추출할 때, 각 개체가 선택될 확률이 동일하지 않은 방법

확률표본추출

단순임의추출 Simple Random Sampling 어떤한 임의적 개입 없이 추출하는 방식 제비뽑기나 로또처럼 완전히 무작위로 샘플을 선택	층화임의추출 (비례배분, 불비례배분) Stratified Random Sampling 모집단의 기준(성별, 연령대 등)으로 집단을 나눈 뒤, 각 집단의 비율만큼 무작위 추출 집단 내 동질적, 집단 간 이질적
체계적 추출 Systematic Sampling 단순임의추출과 비슷하게 임의적 개입이 없긴 하지만, 표본추출을 함에 있어서 일정한 체계를 가지고 있음 ex) K=5이면 5번, 10번, 15번 순서로 선택	집락 추출 Cluster Sampling 모집단을 동질적인 집단으로 구분하고, 특정 집단 전체를 표본으로 추출 집단 내 이질적, 집단 간 동질적

A/B Test에서는 확률표본추출을 더 많이 사용

 

비확률표본추출

편의표본추출 Convenience Sampling 주변 지인이나 간단히 설문할 수 있는 환경에서 편의적으로 표본을 선택하는 방법	판단표본 추출 Purposive Sampling 모집단의 의견을 잘 반영할 수 있다고 판단되는 특정 집단을 연구자가 직접 선정하는 방법
할당표본추출 Quota Sampling 조사할 인원을 미리 정확히 설정(20대 10명, 30대 10명 등)하고, 목표 샘플 수에 도달하면 조사를 중단하는 방법

 

---

3. p-value (유의확률)

A그룹 1,000명의 평균 매출이 20,000원이고, B그룹 1,000명의 평균 매출이 21,000원이라면, B가 더 낫다고 바로 결론 내릴 수 있는가?

아직 알 수 없음. 각 그룹의 매출은 표본 평균 매출이지, 실제 모집단의 평균 매출이 아니기 때문 → 통계적 검증이 필요

p-value (Probability Value): 귀무가설이 맞다고 가정할 때 관찰된 결과(또는 그보다 더 극단적인 결과)가 우연히 발생할 확률

t-value(검정 통계량)만으로 두 집단의 차이를 비교하기 어려운 상황을 확률로 해결. 즉, 표본 수와 상관없이 어떤 사건이 우연히 발생할 확률을 나타냄

p-value 계산 흐름

두 그룹 평균 차이 계산 → t-value 산출 → t분포에서 p-value 도출 → 유의수준과 비교 → 귀무가설 채택/기각

예를 들어 p-value가 0.04로 나왔다면, 귀무가설(A그룹과 B그룹 간 매출 차이가 없다)이 맞다고 가정했을 때 이런 결과가 우연히 나올 확률이 4%밖에 안 된다는 뜻. 보통 유의수준(α)을 0.05로 설정하므로, 0.04 < 0.05이면 귀무가설을 기각하고 두 그룹 간 매출 차이가 있다고 결론 내릴 수 있음.

 

---

4. 신뢰구간 (Confidence Interval)

정확한 값 하나를 말하지 않고, 모수가 포함될 것으로 예상되는 범위를 제시
ex) 30~40분 뒤 도착 예정

통계에서 신뢰구간은 표본으로부터 모수(전체 평균)가 존재할 것으로 추정되는 구간
95% 신뢰구간이라면 이 방법으로 구간을 100번 만들었을 때 95번은 실제 모수가 그 구간 안에 들어온다는 의미

95% 신뢰구간 공식 (SEM 기반) x̄ - (1.96 × σ/√n) ≤ μ ≤ x̄ + (1.96 × σ/√n)   SEM(Standard Error of Mean) = σ / √n

샘플 수가 많아질수록 신뢰구간의 길이가 짧아짐

 

---

5. t-test VS Chi-square Test - 언제 무엇을 쓸까?

A/B Test에서 가장 많이 쓰이는 두 가지 검정 방법
측정하려는 지표의 데이터의 형태에 따라 선택이 달라짐

t-test (t 검정) 연속형 변수 비교에 사용 - A/B 집단 간 매출 차이 - A/B 집단 간 시청 시간 차이 - A/B 집단 간 체중 변화 t = 두 표본 평균 차이 / 두 표본 평균 차이에 대한 불확실도 t 통계량의 불확실성을 낮추려면 충분한 샘플 수가 필요

Chi-square Test (카이제곱 검정) 범주형 변수(0 or 1) 비교에 사용 - A/B 집단 간 클릭률 차이 - A/B 집단 간 구매 전환율 차이 - 클릭 유무(0/1), 구매 유무(0/1) 성공과 실패, 두 가지 결과만 존재하는 베르누이 분포를 따르는 경우 단순 t-test를 진행할 수 없어 카이제곱 검정을 사용

카이제곱 통계량 공식 χ² = Σ (observed − expected)² / expected 자유도(df) = (Row − 1) × (Col − 1)

 

---

6. 가설 검정 (Hypothesis Test)

가설검정이란 대상 집단에 대해 어떤 가설을 설정하고 검토하는 통계적 추론을 의미
실제 A/B Test에서는 실험으로 관측된 데이터를 이용해, 처음 실험 설계에서 주장한 가설이 정말로 효과가 있는지 없는지를 판단하는 과정

 

H₀ 귀무가설	대립가설과 상반되는 가설. "효과가 없다. 차이가 없다. 동일하다." e.g.) A 그룹과 B 그룹 간 매출 차이가 없다. (μa = μb)
H₁ 대립가설	연구 및 관심의 대상이 되는 가설. "효과가 있다. 차이가 있다. 동일하지 않다." e.g.) A 그룹과 B 그룹 간 매출 차이가 있다. (μa ≠ μb)

 

양측 검정 vs 단측 검정

양측 검정(two-sided test)은 "A와 B가 다르다"는 방향을 지정하지 않은 가설
대립가설이 μa != μb처럼 단순히 다름을 검정

단측 검정(one-sided test)은 방향을 지정한 가설
"B가 A보다 크다"처럼 대립가설이 μa < μb 형태
A/B Test에서는 실험군(B)의 우수성을 검정하는 것이 목적이므로 단측 검정을 주로 사용하며, 큰 차이를 예상하기 때문에 단측 검정이 더 적절

 

---

7. 1종 오류 vs 2종 오류 (Type I & Type II Error)

p-value는 가설에 대한 의사결정에 완벽한 고정적 지표가 아님
p-value도 전체 모수가 아닌 표본으로부터 얻어서 계산된 값이기 때문에, 항상 결과에 대한 오차가 생기기 마련이고, 이 오차로 인한 오류가 발생할 가능성은 언제든 존재

	H₀ True (사실은 차이 없음)	H₀ (사실은 차이 있음)
H₀ 기각 (차이가 있다고 결론)	1종 오류 (Type I Error) False Positive α	올바른 결정
H₀ 채택 (차이가 없다고 결론)	올바른 결정	2종 오류 (Type II Error) False Negative β

1종 오류 (Type I Error) False Positive 귀무가설이 사실인데 기각하는 오류. 실제로는 차이가 없는데 차이가 있다고 잘못 결론 내리는 것. 임신하지 않은 남성에게 "임신했다"고 진단하는 것과 같음

2종 오류 (Type II Error) False Negative 귀무가설이 거짓인데 기각하지 않는 오류. 실제로 차이가 있는데 없다고 잘못 결론 내리는 것. 임신한 여성에게 "임신하지 않았다"고 진단하는 것과 같음

 

---

8. 핵심 개념 정리

모집단 vs 표본 Population vs Sample 현실적 이유로 전체 모집단 대신 일부 표본을 추출해 실험하고, 모집단에 대한 추론으로 활용	p-value 유의확률 귀무가설이 맞다고 가정할 때, 관측 결과가 우연히 나올 확률. 보통 0.05(5%)를 기준으로 판단
신뢰구간 Confidence Interval 모수가 포함될 것으로 예상되는 범위. 신뢰구간이 0을 포함하지 않으면 통계적으로 유의한 차이가 있음	검정 방법 선택 t-test vs Chi-square 매출·시청시간 등 연속형 → t-test. 클릭률,전환율 등 0/1 범주형 → 카이제곱 검정

 

---