데이터분석(8)
-
Data Analysis Overview
데이터 분석의 목적1. 목적, 평가 지표 결정무엇을 위해, 어떤 데이터를 사용하여 어떤 분석을 하고, 그 결과로 어떤 지표로 평가할지 결정한다. 2. 데이터 수집내부와 외부 환경에서 데이터를 수집한다. 3. 데이터 가공 및 전처리여러 데이터를 통합하여 분석에 적합한 포맷으로 가공하고 결측치 등을 처리한다. 4. EDA & 시각화데이터 분포나 경향, 개요 등을 시각화하여 확인하고 가설이나 의문, 과제 등을 정리한다. 5. 특징 값 추출머신러닝 모델에 입력할 수 있는 다양한 특징 값을 작성한다. 6. 모델 작성, 예측 및 분류모델의 하이퍼파라미터를 조정하면서 예측 정밀도가 높은 모델을 작성한다. 7. 모델 검증작성한 모델을 이용하여 테스트 과정을 거치며 효과를 검증한다. 데이터분석 용어 정리목적변수 : ..
2024.05.05 -
데이터 전처리 기본기
데이터 분석에 필요한 기초문법pandas 라이브러리에서 제공하는 기초 문법들은 여러가지가 있지만,그 중 데이터 전처리에 필요한 기초 문법들 중 필수적인 문법 몇 가지만 알아보자 먼저 pandas 라이브러리를 임포트하고,예제 파일 학생들의 반 별(nclass) 과목별 점수가 나와있는 exam.csv 파일을 불러온다.import pandas as pddf = pd.read_csv('exam.csv') 1. query() query() 함수는 행 데이터를 추출할 때 사용한다.예를 들어, 데이터프레임(df) 데이터를 추출할 때 학생(id), 반(nclass)와 같은 연속적인 범주형 데이터를 추출할 수 있다. query() 괄호 안에 다양한 조건들을 넣어 원하는 조건의 데이터를 추출할 수 있다.# Case 1:..
2024.01.02