A/B Test 실험 주제 2

1. 1 Pager - 실험 계획서

List 페이지의 기본 정렬 기준을 변경하면 유저가 더 마음에 드는 제휴점을 발견하게 되어 구매 전환율이 높아질 것이라는 가설로 설계된 실험
4개 그룹을 동시에 비교하는 A/B/C/D 멀티 베리언트 테스트

1 Pager 실험 계획서
Target User	첫 화면의 기본 정렬(= 판매순)의 제휴점들이 마음에 들지 않아 이탈하는 고객
Observation	List 페이지의 이탈률(Churn Rate)이 50%로 전체 퍼널 중 가장 높음 MAP@K 분석 결과 현재 정렬(판매순)의 MAP@10dms 0.38로 다른 정렬 기준(최대 0.49)에 비해 낮음 또한 정렬별 CTR 분석에서 별점 높은순 CTR이 13%로 가장 높음
Problem Statement	첫 화면의 기본 정렬(= 판매순)의 제휴점 노출이 고객을 이탈시켜, 리스트 페이지의 구매전환이 떨어짐
Hypothesis	기존의 기본정렬을 다른 정렬 기준으로 바꾼다면 리스트 페이지의 구매전환이 상슬할 것이다
Experiments Group	A(대조군) : 판매순 B(실험군1) : 배달비 낮은순 C(실험군2) : 별점 높은순 D(실험군3) : 배달 빠른
Metric	Input Metric : List 진입 유저 수 (= List UV) Output Metric : MAP@10 (Mean Average Precision @ 10) : 구매 전환율 (= Order Complete UV / Main Home UV) : ARPU (= Average Revenue Per User)
Experience Period	Base Metric 20% → Expected Metric 20.8% (4% ↑) Alpha 5% / 1-Beta 80% / 최소 샘플 39,780명 Test Page UV 20,000명 기준 최소 2일 → 4개 그룹(A,B,C,D) 최소 8일
Trade-Off	추천순과 같이 플랫폼에서 제공하는 광고 비즈니스를 하기 어려운 환경이 될 수 있
Andon	구매 전환율 및 매출의 유의미한 하락 (3일 이상 지속)

 

 

---

2. 실험 기본 정보 (Report Sheet)

A/B Test Report Sheet
실험 주제	[List] 기본 정렬 필터 변경 실험
실험 기간	2023-01-16 14:34:10 ~ 2023-02-01 14:34:28
실험 위치	List
실험 목표	구매 전환율 4% 상승
실험 분배	A 25% : B 25% : C 25% : D 25%
실험 분석	거친코딩

 

---

3. MAP@K (Mean Average Percision @ K) 란?

이번 실험에서 핵심 Output Metric으로 MAP@10이 사용됨
MAP@K는 정보 검색 시스템의 품질을 평가하는 지표로, 검색 결과의 정확성과 순위를 동시에 평가

MAP@K 계산 방법 유저가 List 페이지에서 상위 K개의 제휴점 중 실제로 클릭(구매로 이어진)한 제휴점의 위치를 기반으로 계산 ex) 상위 5개 제휴점 중 2번, 3번, 5번 제휴점을 클릭했을 때 MAP@5 = ((1/2) × 1 + (2/3) × 1 + (3/5) × 1) / 3 값이 높을수록 유저가 원하는 제휴점이 목록 상위에 위치했다는 의미 즉, 정렬이 유저 취향에 맞을수록 MAP 값이 높아짐

 

---

4. 실험 결과 분석

① MAP@10 - 정렬 품질 평가

MAP@10 분석 결과, C그룹(별점 높은순)만이 A그룹 대비 유의미하게 높은 성과를 보임
D그룹(배달 빠른순)은 오히려 유의미하게 낮음

② 구매 전환율 - 카테고리별

구매 전환율에서는 전체 기준으로 어떤 그룹도 통계적으로 유의미한 차이를 보이지 않음
카테고리별로도 대부분 p-value가 0.05를 초과

③ ARPU (Average Revenue Per User) - 카테고리별

ARPU에서는 C그룹이 여러 카테고리에서 유의미하게 높은 매출을 기록했고, B그룹과 D그룹은 일부 카테고리에서 A그룹보다 낮은 매출을 보임

 

---

5. 최종 결론

• C그룹(별점 높은순) 채택 결정
  MAP@10과 ARPU 두 지표 모두에서 C그룹이 통계적으로 유의미하게 A그룹보다 우수한 성과를 보임
  별점 높은순 정렬이 유저에게 더 적합한 제휴점을 상위에 보여주고 결과적으로 매출 향상에도 긍정적인 영향을 미침
  
  
• 검색 정렬 기능의 긍정 임택트 확인
  MAP@10(Output Metric)에서 C그룹이 Significant Positive
  별점 높은순 정렬이 유저 취향에 맞는 제휴점을 더 잘 상위 노출시킴을 검증
  
  
• 서비스 정량적 성장의 긍정 임팩트 확인
  ARPU(Monitoring Metric)에서 C그룹이 Significant Positive
  별점 높은순 정렬이 전체 카테고리 및 여러 세부 카테고리에서 매출 향상에 기여

 

---