A/B Test 예제 도메인 소개

1. 예제 서비스 소개 - 거친배달

실제 A/B Test 예제를 다루기 위한 가상의 배달 주문 서비스 "거친배달"을 도메인으로 사용

App Summary
서비스명	거친배달
도메인	배달 주문 서비스
DAU	50,000명
MAU	300,000명
Growth 전략	A/B Test

DAU : Daily Active User
MAU : Monthly Active User

---

2. 유저 퍼널 구조

거친배달 앱의 전체 유저 퍼널을 총 6단계로 구성
유저가 앱을 열고 주문을 완료하기까지의 흐름이며, 각 단계마다 DAU가 줄어드는 것을 볼 수 있음
 A/B Test는 이 퍼널의 각 단계에서 전환율을 높이기 위해 설계

Main Home
DAU 50,000명
↓
List
DAU 20,000명
↓
Affiliate
DAU 10,000명
↓
Affiliate Detail
DAU 5,000명
↓
Order
DAU 4,000명
↓
Order Complete
DAU 1,500명

페이지	DAU	주요 기능	유입 경로
Main Home	50,000명	홈 첫 진입 및 탐색	앱 직전 진입
List	20,000명	카테고리 및 검색에 따른 제휴점 선택	[Main Home] 카테고리 & 검색
Affiliate	10,000명	제휴점에 포함된 메뉴 선택	[List] 제휴점 선택
Affiliate Detail	5,000명	선택 메뉴 확인 및 사이드 메뉴 추가	[Affiliate] 메뉴 선택
Order	4,000명	배달 정보 확인 및 결제하기	[Affiliate Deatil] 결제버튼 클릭
Order Complete	1,500명	주문 상태 확인	[Order] 결제하기 버튼 클릭

 

---

3. 퍼널별 실제 A/B Test 예시

실험 1. [Main Home] 하단 검색 모듈 상위 노출 실험

Main Home 페이지에서 하단에 위치했떤 검색 모듈을 상단으로 올려 노출하면 검색 사용률과 이후 퍼널 전환율이 높아질 것이라는 가설로 진행된 실험

Main Home - 검색 모듈 위치 변경 실험
A - 대조군 (기존) 카테고리 아이콘이 상단에 위치하고 검색 기능은 하단 탭바에만 존재 홈 화면에서 직접 검색창이 보이지 않음	B - 실험군 (변경) 카테고리 아이콘 위에 검색창("원하는 메뉴/가게 검색")을 추가  유저가 홈 진입 즉시 검색을 바로 시작할 수 있도록 개선

 

실험 2. [List] 기본 정렬 필터 변경 실험

List 페이지에서 기본 정렬 기준을 변경하면 유저가 더 마음에 드는 제휴점을 선택하게 되어 전환율이 높아질 것이라는 거설로 진행된 실험
4가지 버전을 동시에 비교하는 멀티 배리언트(A/B/C/D) 테스트로 설계

List - 기본 정렬 필터 변경 실험
A - 대조군 기본 정렬 : 판매순	B - 실험군 1 기본 정렬 : 배달비 낮은순	C - 실험군 2 기본 정렬 : 별점 높은순	D - 실험군 3 기본 정렬 :배달 빠른순

멀티 배리언트 테스트(Multi-variant Test)란?
: 단순히 A와 B 두 가지를 비교하는 것이 아니라, 세 가지 이상의 변형을 동시에 테스트하는 방식
어떤 변형이 가장 효과적인지 한 번의 실험으로 찾을 수 있지만, 그만큼 필요한 샘플 수도 늘어남

 

---