[패스트캠퍼스] 데이터분석 부트캠프 2주차 학습일지

2025.6.30

결측치
: 데이터에 값이 없는 것
- NA : Not Available (유효하지 않은)
- NaN : Not a Number (숫자가 아닌)
- Null :  아무것도 존재하지 않음을 의미
- 빈칸 : 데이터가 입력되지 않음

결측치 처리 방법
1. 제거
: 결측치가 발생한 행, 열을 삭제하는 가장 쉽고, 단순한 방식
--> 결측치가 포함된 데이터가 모두 삭제되어 데이터의 크기의 손실 발생
--> 경우에 따라 결측치를 무시하고 관측치만으로 분석을 시행할 경우 통계적 편향이 생길 가능성 커짐

2. 치환
: 결측치를 적당한 방법으로 대체하는 것
--> 평균, 중앙값, 최빈값 등으로 대체 가능, 평균값 등으로 단순 대체하는 방법은 자료의 편향성을 높이고 특성들 간의 상관관계를 왜곡할 수 있음
--> 데이터에 대한 도메인 지식이 있어야 효율적으로 정확히 결측치 대체 가능

3. 모델 기반 처리
: 결측치를 예측하는 새로운 모델을 구성해, 결측치를 채워 나가는 방식
--> 변수의 특성에 따라 KNN, PolyRegression 등의 방법을 활용해 모델에 알맞게 결측치를 제거하거나 대체

 

큰 수의 법칙(LLN)
: 표본 크기가 커짐에 따라 표본 평균은 기댓값에 수렴
--> 시행의 크기를 충분히 늘리면 사건이 발생할 확률은 수학적 확률에 수렴

 

정규분포
: 데이터가 평균을 중심으로 좌우 대칭적으로 퍼져 있는 종 모양의 연속 확률분포

중심 극한 정리(CLT)
: 임의의 분포에서 독립적으로 동일한 확률 분포를 따르는 표본을 충분히 큰 크기로 반복하여 추출했을 때, 그 표본 평균의 분포는 정규분포에 근사하게 수렴

 

이상치(Outlier)
: 특정 지정된 그룹에 분류되지 못하는 값으로, 정상 군의 상한과 하한의 범위를 벗어나 있거나 패턴에서 벗어난 수치
--> 일반적으로 -3σ 미만, +3σ 초과인 값을 이상치로 판정

 

Z-score
: 자료가 평균으로부터 표준편차의 몇 배만큼 떨어져 있는지를 나타내는 지표

- 양의 Z-score는 자료 값이 평균보다 높음
- 음의 Z-score는 자료 값이 평균보다 낮음
- 0에 가까운 Z-score는 자료 값이 평균과 비슷함을 의미
- Z-score가 3 이상이거나 -3 이하면 일반적으로 이상치로 판단

 

사분위수
: 데이터를 4등분하는 값

IQR
: 1사분위수와 3 사분위수 간의 거리 = 3 사분위수 - 1 사분위수

IQR을 활용한 이상치 범위
: 1 사분위수부터 -1.5*IQR 보다 작거나 3 사분위수부터 +1.5*IQR보다 큰 값

Box Plot (상자 도표)
: 5개의 수치적 자료를 활용해 데이터의 분포와 범위를 표현한 그래프

Z-score와 IQR을 활용한 이상치 범위 비교
: Z-score와 IQR을 활용한 이상치 범위는 완전 똑같진 않으나 전반적으로 비슷하게 형성됨

 

상관분석
: 두 변수가 어떤 선형적 관계를 갖고 있는지를 분석하는 방법

상관관계
: 한쪽이 증가하면 다른 쪽도 증가하거나 반대로 감소되는 경향을 인정하는 두 양 사이의 통계적 관계
--> 상관계수를 통해 파악

상관 계수
: 상관 계수 r은 두 변수 사이의 상관성을 나타내며 일반적으로 피어슨 상관 계수 사용
: 일반적 기준 ±0.7

상관 계수표
: 분석 대상 변수들의 상관관계를 한눈에 보여주는 표

EDA에서 상관 분석의 역할
: 인과 관계가 있을 것으로 예상되는 변수들을 선별해 분석의 우선순위를 정함 --> 시간과 비용의 효율성 증대

상관 분석에서 유의해야 할 점
: 인과관계를 가지고 있는 두 변수는 항상 강한 상관관계를 가지고 있음
: 강한 상관관계를 가지고 있다고 두 변수가 반드시 인과관계를 가지는 것은 아님
--> 상관관계가 높은 변수들을 중심으로 실험을 통해 인과 관계를 경험적으로 입증해야 함

산점도
: 데이터를 점으로 표현해 흩어져 있는 정도를 파악하는 그래프

---

자료의 종류
1. 범주형 자료 --> categorical
- 명목형 자료 -> 순서 X
ex) 혈액형
- 순서형 자료 -> 순서 O
ex) 만족도, 학력

2. 양적 자료 --> 수치로 표현 가능
- 이산형 자료
ex) 동전 던지기
- 연속형 자료
ex) 키, 몸무게

구간형 자료
: 비교 O, 비율, 절댓값 의미 X
ex) 기온, 연도

비율형 자료
ex) 키, 몸무게

확률분포표
: 확률변수의 값에 대해 확률을 표로 표시한 것
: 이산형 자료의 확률 분포를 표현하기에 적합한 방식 (범주형도 가능)

확률밀도함수
: 확률 변수의 분포를 나타내는 함수
: 주로 연속형 자료의 확률 분포를 표현할 때 사용
ex) 사람 키가 정확히 170cm일 확률은 0에 가까움 --> 이 구간 안에 있을 확률을 구하는 것

정규분포
: 평균 μ와 표준편차 σ에 대해 아래의 확률밀도함수를 가지는 분포

- 많은 분야의 연속형 데이터들이 종모양의 형태를 띤다는 것을 확인
- 실험 오차를 분석하면서 사용하기 시작

중심극한정리
: 독립적인 확률변수들의 평균은 정규분포에 가까워짐

표준화
: 다양한 형태의 정규분포를 표준 정규 분포로 변환하는 방법
: 표준 정규 분포에 대한 값을 이용해 원래 분포의 확률을 구할 수 있음

- 다양한 데이터를 균일한 기준으로 비교할 수 있음

모집단
: 조사 대상이 되는 전체 집합

모수
: 모집단에 대한 요약된 수치, 값에 대한 평균이나 비율 등

표본
: 모집단을 대표하는 모집단의 일부

통계량
: 표본에 대한 수치적 요약
: 통계량을 바탕으로 모수를 추정하는 것이 추론통계라고 할 수 있음

모평균 (μ)
: 모집단의 평균

표본평균 (x̄)
: 모집단의 일부인 표본에 대한 평균

모분산 (σ²)
: 모집단의 분산

표본분산 (s²)
: 모집단의 일부인 표본에 대한 평균

표본 추출의 목적
: 표본 데이터를 바탕으로 모집단을 추정하기 위해서, 표본이 커질수록 모평균에 가까워짐

신뢰도
: 값이 알맞은 모평균이라고 믿을 수 있는 정도 (95% or 99%)

신뢰구간
: 모평균의 추정 구간
: 신뢰도에 따라, 표본의 수에 따라 정해짐

 

기술통계
- 데이터의 간결한 요약 정보
- 수치적인 통계량 또는 시각화
- 데이터의 특징을 파악하는 관점
- EDA 단계에서 주요하게 사용

추론통계
- 모집단으로부터 추출한 샘플을 사용
- 모집단에 대한 추론이 목적
- 전체 모집단을 조사할 수 없을 때 유용
- p-value를 구하는 등의 과정을 거쳐서 모집단에 대한 가설을 검정

대표값
: 자료의 특성을 나타낼 수 있는 대표성을 띠는 수치

가중평균
: 자료의 중요도에 따라 가중치를 부여한 평균

기하평균
: 성장률 등 이전 시점에 대한 비율에 대한 평균을 구할 때 유용
ex) CAGR(평균성장률), 주가 상승률

분산
: 편자 제곱의 합을 자료의 수로 나눈 값

표준편차
: 분산을 제곱근 한 값

범위
: 관측값에서 가장 큰 값과 가장 작은 값의 차이
장점
- 계산이 쉽고 해석하기도 용이
단점
- 범위 내의 관측값 분포에 대한 정보를 알 수 없음
- 극단치가 미치는 영향이 매우 큼

왜도

왜도 < 0 왜도 = 0 왜도 > 0

 

첨도

- 편차가 큰 데이터가 많을수록 커짐
- 이상치에 영향을 많이 받음

 

2025.07.01

날짜 데이터의 계산
: 연도, 월, 일을 날짜 데이터로 합치기
=DATE(K3, L3, M3) --> 2033-11-11

시간 데이터의 분리와 합치기
: 시간 데이터도 날짜 데이터와 마찬가지로 분리하거나 합칠 수 있음
= HOUR(D3)
=MINUTE(D3)                        --> TIME(K3,L3,M3)
=SECOND(D3) 

 

데이터 분석/모델링
모델(모형) --> 함수

기술 통계학
- 요약 통계량, 그래프 표 등을 이용해 데이터를 정리, 요약하여 데이터의 전반적인 특성을 파악하는 방법
- 표, 그래프 등을 활용해 데이터를 시각적으로 표현하고 통계량 등으로 수치를 요약함

추론 통계학
- 데이터가 모집단으로부터 나왔다는 가정하에 모집단으로부터 추출된 표본을 사용하여 모집단의 특성을 파악하는 방법
- 점 추정, 구간 추정을 하거나 가설을 검정함

가설검정
- 통계적 추론의 하나로서, 모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정

귀무가설 (H₀)
- 기본적으로 참으로 추정되며 처음부터 버릴 것으로 예상하는 가설(차이가 없거나, 의미 있는 차이가 없는 경우)

대립가설 (H₁)
- 귀무가설에 대립하는 명제
- 보통 독립변수와 종속변수 사이에 어떤 특정한 관련이 있다는 결과가 도출됨
- 귀무가설을 기각하는 반증의 과정을 거쳐 참이라고 받아들여질 수 있음

가설 검정의 기준
: p-value(유의 확률)
- 귀무가설이 맞다는 전제 하에, 표본에서 실제로 관측된 통계치와 '같거나 더 극단적인' 통계치가 관측될 확률

p-value 사용 시 주의사항
- p-value는 관계나 집단들 사이에 차이가 생겨나는 것이 우연한 것인지, 변수에 의한 것인지 여부를 밝히는 것
--> 효과나 변화의 정도, 관계의 강도나 크기 등을 설명하는 것은 아님
--> 상관 계수나 결정 계수 등의 지표를 함께 활용해 분석 결과를 더 정확히 표현할 수 있음
- 유의 수준 --> 우리가 정한 기준값
- 유의 확률 --> 실제 데이터 기준으로 계산된 값

t-test
: 두 집단(또는 한 집단의 전/후)의 평균에 통계적으로 유의미한 차이가 있는지를 검정
변수 선택 --> F-검정 --> t-test --> 결과 해석

F-검정
: 두 집단의 분산에 통계적으로 유의미한 차이가 있는지를 검정
: 두 집단의 분산 차이를 검정해 각 상황에 맞는 t-test 방법을 선정하기 위해 사용
p-value값이 0.05보다 크므로 두 집단의 분산에 유의미한 차이가 없음 --> 등분산 가정 t-test
p-value값이 0.05보다 작으므로 두 집단의 분산에 유의미한 차이가 있음 --> 이분산 가정 t-test

회귀 분석의 개념
: 독립변수 x가 한 단위 변화할 때 종속변수 y가 얼마나 변화하는지에 대한 관계를 파악하는 분석
--> x의 변동량으로 y의 변동량을 얼마나 설명할 수 있는지

회귀 분석의 목적
: 두 변수 간의 관계를 파악해 우리가 알고 싶은 값을 예측하는 것

회귀 분석의 종류
: 회귀 모형의 모양에 따라 선형 회귀 분석과 비선형 회귀 분석으로, 독립변수(x)의 개수에 따라 단순 회귀 분석과 다중 회귀 분석으로 구분

단순 선형 회귀 분석
: 독립 변수가 변할 때, 종속 변숫값이 어떻게 변하는지를 가장 잘 설명해 주는 직선을 찾아 그 직선이 x와 y의 관계를 얼마나 설명하고 있는지 분석하는 방법
--> y와 x사이의 1차 방정식 구하기

단순 선형 회귀 분석의 평가와 해석
: 결정 계수, F값, Y절편(b) 및 X1(a, 기울기)의 계수 확인

---

회귀분석의 장점
- 대부분의 경우 결과를 설명하는 요인이 매우 많음
- 둘 이상의 변수 간의 관계를 보여주는 통계적 방법
- 종속변수에 영향을 미치는 독립변수의 영향력을 판단 가능

공분산
: 2개의 확률변수의 선형 관계를 나타내는 값
: 두 변수가 독립일 때 --> 공분산 = 0
: 공분산 = 0 --> 두 변수가 독립은 아닐 수 있음

2025.07.02

다중 선형 회귀 분석
: 독립 변수가 (x1),(x2),(x3) ... 등으로 2개 이상일 때 독립 변수들과 종속 변수 간의 관계를 파악하는 분석

다중 선형 회귀 분석의 평가와 해석
: 조정된 결정 계수 / F값 / Y절편 및 각 독립 변수의 p-value와 계수 확인

조정된 결정 계수
: 독립변수의 개수가 증가하면 결정계수가 커짐 --> 패널티 부여

F값
- 귀무가설 : 모든 독립변수의 계수가 0이다
- 대립가설 : 적어도 한 개 이상의 독립변수의 계수가 0이 아니다

p-value
: p값이 0.05보다 작은 변수들이 y의 변동을 설명할 수 있는 변수들

시계열 데이터 분석
: 시간의 흐름에 따라 발생된 데이터를 분석하는 기법

정상성
: 추세나 계절성을 가지고 있지 않으며, 관측된 시간에 무관한 성질

시계열 데이터의 유형
: 정상성을 가지고 있는 정상 시계열 데이터, 정상성을 가지고 있지 않은 비정상 시계열 데이터
: 차분이나 다른 방법을 활용해 비정상 시계열 데이터를 정상 시계열 데이터로 변환해 분석하기도 함

지수 평활법 (Exponential Smoothing)
: 현재 시점에 가까운 시계열 자료에 큰 가중치를 주고, 과거 시계열 데이터일수록 작은 가중치를 주어 미래 시계열 데이터를 예측하는 기법

단순 지수 평활법
: 미래의 예측 값 = 과거의 실제 값 * α + 과거의 예측 값 * (1- α)
α = 실제값을 반영할 가중치 (0~1 사이의 값)

FORECAST.ETS
: 엑셀에서 사용할 수 있는 지수 평활법 관련 예측 함수
: 비교적 뚜렷한 계절성(적어도 3번 이상 반복되어야 계절성이 있다고 판단)이 있는 데이터 예측에 사용할 수 있는 함수
= FORECAST.ETS(target_date, values, timeline, [계절성주기], [누락데이터처리], [중복시계열처리])

머신러닝 (기계학습)
: 경험과 학습을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구이며 인공지능의 한 분야
: 컴퓨터가 어떤 작업(T, task)을 하는 데 있어서 경험(E, experience)으로부터 학습하여 성능(P, performance)을 향상시키는 학문
: 지도학습, 비지도학습, 강화학습으로 구분

지도학습
: 정답이 있는 데이터를 활용해 데이터를 학습하고, 학습한 모델이 얼마나 정답을 정확하게 맞히는지 평가하는 학습
: 분류, 회귀
: KNN, Naive Bayes, SVM, Decision Tree ...

비지도 학습
: 정답이 없는 데이터를 활용해 데이터를 학습, 데이터가 어떻게 구성되어 있는지, 혹은 어떻게 분류될 수 있는지에 대한 문제 해결
: K-평균, 계층 군집 분석,  PCA

---

 

가설검정
- 독립성 검정
: 두 변수 사이에 상관관계가 있는지
- 샤피로 윌크 검정
: 표본이 정규분포로부터 추출된 것인지
: 즉, 모집단이 정규분포를 따르는지
- 카이제곱 검정
: 데이터가 특정 분포를 따르는지
-k-s검정
: 콜모고로프 스미르노프 검정
: 두 데이터가 차이가 있는지

OFFSET(첫 셀, counta(열 범위 전체)-1)
- 자료가 실시간으로 반영

SUMPRODUCT
- 합 + 곱

INDIRECT
- 동적범위, 시트 데이터 실시간으로 합치기

LEN, REPLACE
-글자수 카운트

Format
- 원하는 포멧으로 바꿔주는 VBA함수로 text와 동일한 기능

Transpose
- 행/열 변환

 

2025.07.03

강화학습
: 에이전트가 취한 행동에 대한 보상 또는 벌점을 주어 가장 큰 보상을 받는 방향으로 유도하는 방법
: 가장 큰 보상을 얻기 위해 에이전트가 해야 할 행동을 선택하는 방법을 정의하게 되는데 이를 '정책'이라고 함

데이터 시각화의 구성 요소
: 스토리, 데이터, 시각적 객체

차트를 효과적으로 디자인할 수 있는 4단계 원칙
1. 차트의 모든 데이터를 단색으로 변경 (회색)
2. 차트에서 가장 중요하고 강조해야 하는 데이터 선정
3. 차트의 메인 컬러 (1개) 선택
4. 2의 중요 데이터에만 3의 메인 컬러 적용
+ 데이터 레이블(숫자) 추가
+ 차트의 윤곽선 제거

 

VBA
: 마이크로소프트의 이벤트 반응형 프로그래밍 언어인 비주얼 베이직 6의 구현과 관련된 통합 개발 환경(IDE)
--> 생성형 AI 사용

---

방사형 차트
- 최대한 복잡하지 않게
- 5~6개 이내의 지표를 비교
- 2~3개 항목 이내의 개체 수로 비료
- 정확한 수치보다는 비교가 중요

혼합형 차트
- 유랑과 저량을 동시에 보일 때
- 유량 : 시간 개념이 있음
- 저량 : 그 시점의 수치
- 단위 맞추기
- 필요시 추세선 사용

간트 차트
- 시간에 따른 프로젝트 진행율 체킹
- 개인 계획표 관리
- 축을 뒤집는게 편함

스파크라인 차트
- 간단한 추이를 보이고 싶을 때
- 조건부서식
- 글꼴로 만들기
- 축을 뒤집는게 편함

워터폴 차트
- 금액의 증가/감소 경향 확인
- 양수 + 음수 모두 표기 가능
- 매출을 다루는 합계나 정량적인 분석, 기여도 분석

퍼널 차트
- 단계별로 좁혀짐을 표현할 때
- 마케팅/영업의 퍼널차트
- 보험 영역
- 아래로 갈수록 점점 좁아짐
- 개형을 보일 때 좋음

히트맵 차트
- 온도, 주식가격
- 증감이 잘 보이는 색상 선택 (어도비 컬러픽 등)