Yeonjoo Data Log

1. 훔쳐보기 문제 (Peeking Problem)A/B Test는 통계적 가설 검정을 사용하여 두 개 이상의 대안 중 어느 것이 더 효과적인지 결정하는 실험 방법임현업에서 자주 발생하는 유의점 중 하나가 훔쳐보기 문제(Peeking Problem)임 훔쳐보기 문제란?: 실험 도중 중간 결과를 확인하고, 실험을 중단하는 경우를 말함계획된 실험 기간을 채우지 않고 중간 데이터만 보고 판단을 내리는 행위로, 통계적으로 신뢰할 수 없는 결론을 초래 훔쳐보기 문제가 발생하는 전형적인 시나리오1 Pager로 실험 기간 7일 협의↓3일차에 지표 하락 확인↓ 기획자가 중간 확인 후 판단↓ 실험 조기 중단발생 문제: 중간에 실험을 중단하면 기존 가설 검정에 영향을 주게 되고, 보통 과대 평가된 결과를 얻게 됨통계적 ..

1. 1 Pager - 실험 계획서List 페이지의 기본 정렬 기준을 변경하면 유저가 더 마음에 드는 제휴점을 발견하게 되어 구매 전환율이 높아질 것이라는 가설로 설계된 실험4개 그룹을 동시에 비교하는 A/B/C/D 멀티 베리언트 테스트1 Pager 실험 계획서 Target User첫 화면의 기본 정렬(= 판매순)의 제휴점들이 마음에 들지 않아 이탈하는 고객ObservationList 페이지의 이탈률(Churn Rate)이 50%로 전체 퍼널 중 가장 높음MAP@K 분석 결과 현재 정렬(판매순)의 MAP@10dms 0.38로 다른 정렬 기준(최대 0.49)에 비해 낮음또한 정렬별 CTR 분석에서 별점 높은순 CTR이 13%로 가장 높음Problem Statement첫 화면의 기본 정렬(= 판매순)의 제휴..

1. 1 Pager - 실험 계획서이번 실험은 거친배달 앱의 Main Home에서 하단 탭에만 있던 검색 기능을 홈 화면 상단에 노출시키면 검색 이용률과 구매 전환율이 높아질 것이라는 가설로 설계됨1 Pager 실험 계획서Target User본인이 찾고자 하는 메뉴나 제휴점이 있음에도 불구하고 하단 검색 기능을 찾지 못한 고객ObservationMain Home의 검색 이용률은 30%로 낮지만,검색을 이용한 고객의 구매전환율은 40%로 미검색 고객(25%)보다 현저히 높음Problem Statement검색 기능을 찾지 못하여, 본인이 원하는 메뉴 및 제휴점을 찾지 못해 이탈함Hypothesis하단 검색탭을 상위로 노출시킨다면 검색 이용률은 더 높아질 것이다.Experiments GroupA(대조군) : ..

1. 예제 서비스 소개 - 거친배달실제 A/B Test 예제를 다루기 위한 가상의 배달 주문 서비스 "거친배달"을 도메인으로 사용App Summary서비스명거친배달도메인배달 주문 서비스DAU50,000명MAU300,000명Growth 전략A/B TestDAU : Daily Active UserMAU : Monthly Active User2. 유저 퍼널 구조거친배달 앱의 전체 유저 퍼널을 총 6단계로 구성유저가 앱을 열고 주문을 완료하기까지의 흐름이며, 각 단계마다 DAU가 줄어드는 것을 볼 수 있음 A/B Test는 이 퍼널의 각 단계에서 전환율을 높이기 위해 설계Main HomeDAU 50,000명↓ListDAU 20,000명 ↓AffiliateDAU 10,000명↓ Affiliate DetailDAU..

1. A/B Test 실험 사이클A/B Test는 한 번으로 끝나는 게 아니라 반복되는 사이클로 운영됨실험을 시작하기 전에 1 Pager라는 실험 계획서를 작성하고, 실험 시작 → 통계 검증 → Review → 다음 실험 계획서 작성의 순환 구조로 돌아감 2. 1 Pager - 실험 계획서 작성법1 Pager는 A/B Test를 시작하기 전에 작성하는 한 장짜리 실험 계획서임.팀 내에서 실험의 목적과 방향을 공유하고, 실험 후 결과를 해석하는 기준이 됨ex) 최종 결제 구간에서 본인이 받은 전체 할인 금액을 노출시킨다.항목설명예시Target User타겟 고객은 누군인가?마지막 결제 구간에서 결제 선택에 신중을 기하는 고객Obervation데이터적으로 관찰되는 현상은 무엇인가?결제 구간에서 구매까지 퍼널 ..

1. A/B Test와 통계학의 관계A/B Test의 목적은 전체 모집단 중 일부를 샘플링하여, 샘플링된 그룹(A 또는 B)을 통해 가설을 검증하는 것이 가설 검증의 근간이 바로 통계학모집단 전체를 사용하지 않고 샘플링하는 이유: 현실적인 시간적, 비용적 문제 때문서비스 전체 유저(모집단) 모두를 대상으로 실험할 수 없으니 그 일부인 표본을 추출해서 실험하고 그 결과를 모집단에 대한 추론으로 활용하는 것 2. 표본 추출 방법 (Sampling Method)표본 추출 방법은 크게 확률표본추출과 비확률표본추출로 나뉨확률표본추출은 모집단에서 임의로 샘플을 추출할 때, 각 개체가 선택될 확률이 동일한 방법비확률표본추출은 모집단에서 임의로 샘플을 추출할 때, 각 개체가 선택될 확률이 동일하지 않은 방법확률표본추출..

1. A/B Test란 무엇인가?A/B Test는 기존 서비스(A)와 새롭게 적용하고 싶은 서비스(B)를 통계적인 방법으로 비교하여, 새롭게 적용한 서비스가 기존 서비스에 비해 더 개선되었는지를 확인하는 방법론이다.동일한 사용자 그룹을 무작위로 나눠 서로 다른 버전의 서비스를 경험하게 한 뒤, 어떤 버전이 목표 지표(전환율, 클릭률 등)를 더 높이는지 데이터로 검증하는 실험CONTROL GROUP그룹 A (기존 서비스)변경 없이 기존 버전을 경험하는 집단비교의 기준이 됨TREATMENT GROUP그룹 B (새 서비스)새롭게 변경된 버전을 경험하는 집단개선 여부를 측정 2. 왜 A/B Test를 해야 할까? A/B Test의 핵심 목적은 단순한 상관관계를 인과관계로 끌어올리는 것상관관계 = 데이터적 관계성..

-- SQL 코드 작성 및 실행-- 코드 실행 단축키 : 코드블럭설정 -> Ctrl + Shift + EnterSELECT * FROM world.country;-- comment : 주석-- 사용 이유 : 코드에 대한 설명 작성, 실행되지 않는 코드를 설정-- ctrl + tab-- 데이터베이스 선택-- ; : SQL 쿼리의 마지막을 의미USE world;-- 선택된 데이터베이스 확인SELECT DATABASE();-- 코드 작성 방법-- 코딩 문법 : 틀리면 에러 O > 코드 실행 X-- 코딩 컨벤션 : 틀려도 에러 X > 코드 실행 O : 파이썬(PEP8)-- 컨벤션 가이드 : https://www.sqlstyle.guide-- - 의미를 갖는 특정한 문자열(SELECT,DATABASE) : 대문자..

리스트형여러개의 데이터를 하나의 변수에 저장할 수 있는 자료형[], 서로 다른 자료형도 저장 가능인덱싱, 슬라이싱 가능.append(value) --> 하나.extend(value) --> 여러개.insert(index, value) --> 중간에 넣기 가능.remove(value).pop(index)딕셔너리형{}, 중괄호 안에 key, value로 구성중복X, 변경O튜플형불변 데이터 타입, 여러 값을 순서대로 저장(), 생성 후 수정, 추가, 삭제 불가능중복O, 변경X집합형중복된 요소 자동 제거{}, 순서X csv 파일 불러오기: 데이터변수 = pd.read_csvcsv 파일 저장하기: 데이터변수.to_csv엑셀 파일 불러오기: 데이터변수 = pd.read_excel(파일경로, sheet_name = ..

2025.6.30결측치: 데이터에 값이 없는 것- NA : Not Available (유효하지 않은)- NaN : Not a Number (숫자가 아닌)- Null : 아무것도 존재하지 않음을 의미- 빈칸 : 데이터가 입력되지 않음결측치 처리 방법1. 제거: 결측치가 발생한 행, 열을 삭제하는 가장 쉽고, 단순한 방식--> 결측치가 포함된 데이터가 모두 삭제되어 데이터의 크기의 손실 발생--> 경우에 따라 결측치를 무시하고 관측치만으로 분석을 시행할 경우 통계적 편향이 생길 가능성 커짐2. 치환: 결측치를 적당한 방법으로 대체하는 것--> 평균, 중앙값, 최빈값 등으로 대체 가능, 평균값 등으로 단순 대체하는 방법은 자료의 편향성을 높이고 특성들 간의 상관관계를 왜곡할 수 있음--> 데이터에 대한 도메..