Data Analysis Overview

데이터 분석의 목적

1. 목적, 평가 지표 결정

무엇을 위해, 어떤 데이터를 사용하여 어떤 분석을 하고, 그 결과로 어떤 지표로 평가할지 결정한다.

 

2. 데이터 수집

내부와 외부 환경에서 데이터를 수집한다.

 

3. 데이터 가공 및 전처리

여러 데이터를 통합하여 분석에 적합한 포맷으로 가공하고 결측치 등을 처리한다.

 

4. EDA  & 시각화

데이터 분포나 경향, 개요 등을 시각화하여 확인하고 가설이나 의문, 과제 등을 정리한다.

 

5. 특징 값 추출

머신러닝 모델에 입력할 수 있는 다양한 특징 값을 작성한다.

 

6. 모델 작성, 예측 및 분류

모델의 하이퍼파라미터를 조정하면서 예측 정밀도가 높은 모델을 작성한다.

 

7. 모델 검증

작성한 모델을 이용하여 테스트 과정을 거치며 효과를 검증한다.

 

 

데이터분석 용어 정리

목적변수 : 최종적으로 예측해야 할 값
설명변수 : 예측하려는 값의 원인이 된 요소들
학습 데이터(train data) : 설명변수 + 목적 변수
테스트 데이터 (test data) : 설명변수만 있고 목적 변수가 없는 데이터
검증 데이터 (valid data) : 학습 데이터를 적당한 비율로 나누어서 학습 데이터와 구분