1. 1 Pager - 실험 계획서
이번 실험은 거친배달 앱의 Main Home에서 하단 탭에만 있던 검색 기능을 홈 화면 상단에 노출시키면 검색 이용률과 구매 전환율이 높아질 것이라는 가설로 설계됨
| 1 Pager 실험 계획서 | |
| Target User | 본인이 찾고자 하는 메뉴나 제휴점이 있음에도 불구하고 하단 검색 기능을 찾지 못한 고객 |
| Observation | Main Home의 검색 이용률은 30%로 낮지만, 검색을 이용한 고객의 구매전환율은 40%로 미검색 고객(25%)보다 현저히 높음 |
| Problem Statement | 검색 기능을 찾지 못하여, 본인이 원하는 메뉴 및 제휴점을 찾지 못해 이탈함 |
| Hypothesis | 하단 검색탭을 상위로 노출시킨다면 검색 이용률은 더 높아질 것이다. |
| Experiments Group | A(대조군) : 기존 홈 화면 (검색은 하단 탭에만 존재) B(실험군) : 홈 화면 카테고리 상단에 검색창 추가 노출 |
| Metric | Input Metric : Main Home 진입 유저 수 (= Main Home UV) Output Metric : 구매 전환율 (=Order Complete UV / Main Home UV) : ARPU (= Average Revenue Per User) : 검색 이용률 (= Search Enter Click Uv / Main Home UV) |
| Experiment Period | Base Metric 30% → Expected Metric 30.6% (2% ↑) Alpha 5% / 1-Beta 80% / 최소 샘플 92,000명 Target Page UV 50,000명 기준 최소 2일 필요 → 집단 2개 (A,B), 최소 4일 |
| Trade-Off | 홈 카테고리 이용이 줄어들면서 동시에 앱 전체의 탐색 과정을 마치지 않은 채 앱을 이탈할 수 있음 |
| Andon | 구매 전화율 및 매출의 유의미한 하락 (3일 이상 지속) |
2. 실험 기본 정보 (Report Sheet)
| A/B Test Report Sheet | |
| 실험 주제 | [Main Home] 하단 검색 모듈 상위 노출 실험 |
| 실험 기간 | 2023-01-02 14:34:10 ~ 2023-01-15 14:34:28 |
| 실험 위치 | Main Home |
| 실험 목표 | 검색 클릭률 2% 상승 |
| 실험 분배 | A 50% : B 50% |
| 실험 분석가 | 거친 코딩 |
검증에 사용된 지표
| 지표 | Dimension | 공식 |
| 검색 이용률 | OS Type (AOS, IOS) | Search CVR = Unique Search user / Test User |
| 구매 전환율 | Menu Category (빵, 한식, 치킨 등) | Buy CVR = Unique Buyer User / Test User |
| OS Type (AOS, IOS) | ||
| ARPU | Menu Category | ARPU = Revenue / Test User |
| OS Type (AOS, IOS) |
3. 실험 결과 분석
① 검색 기능 이용률
검색 모듈을 상위로 노출한 B그룹이 A그룹 대비 전체적으로 유의미하게 높은 검색 이용률을 보임
p-value가 모두 0.05 미만으로 통계적으로 유의
② 구매 전환율
구매 전환율 역시 B그룹이 전반적으로 더 높게 나타남
피자 카테고리에서 10.34%로 높은 Lift를 보였고, 전체 기준으로도 유의한 차이가 확인됨
③ ARPU (Average Revenue Per User)
유저 1인당 평균 매출도 B그룹이 더 높게 나타났으며, 연속형 변수이므로 t검정(TDIST)을 사용하여 p-value 산출
4. 최종 결론
- 서비스 사용성의 긍정 임팩트 확인
검색 이용률(Output Metric)이 Significant Positive로 나타남. 검색 모듈을 상위로 노출한 기능 변화가 유저의 서비스 사용성을 통계적으로 유의미하게 향상시킴. - 서비스 정량적 성장의 긍정 임택트 확인
구매 전환율 및 ARPU(Monitoring Metric)가 Significant Positive로 나타남. 검색 기능 개선이 실제 매출과 구매 전환에도 긍정적인 영향을 미침. - 최종 판단 : B안 적용 결정
검색 이용률, 구매 전환율, ARPU 세 가지 핵심 지표 모두 B 그룹이 통계적으로 유의미한 수준에서 더 높게 나타남.
Main Home에 검색 모듈을 상위 노출하는 기능을 전체 유저에게 적용
'Study > 통계 & AB Test' 카테고리의 다른 글
| A/B Test 유의점 (0) | 2026.05.25 |
|---|---|
| A/B Test 실험 주제 2 (0) | 2026.05.24 |
| A/B Test 예제 도메인 소개 (0) | 2026.05.21 |
| A/B Test 실험 정리 계획 (0) | 2026.05.20 |
| A/B Test 필수 통계학 개념 정리 (0) | 2026.05.19 |