이번 포스팅에서는 시계열 데이터 전처리에서 사용되는 문법을 다뤄본다. # 파일 불러오기import pandas as pddf = pd.read_csv('gapminder.tsv', sep='\t') 1. Groupby1주차에서 배운 Groupby() 함수는 시계열 데이터에서도 유용하게 사용한다.# 바로 컬럼을 지정하여 통계치를 볼 수 있다.df.groupby('year').lifeExp.mean() 만약 컬럼을 2가지 이상 잡게 된다면?df.groupby('year')[['lifeExp', 'pop']].mean() 1주차에서 groupby() 함수는 .agg() 함수와 자주 함께 사용된다는 것을 배웠다..agg() 함수는 내가 원하는 함수를 만들어서 넣을 수 있다는 것을 명심하자!# 내가 원하는 함수를..

결측치와 누락값결측치와 누락값은 데이터 분석에서 중요한 요소로 간주된다. 결측치는 실제로 값이 없는 상황,누락값은 휴먼 에러 등으로 인해 빠진 값이다. 둘 다 " 값이 없다"는  NA, NaN과 같은 표현으로 나타낼 수 있다.  순수한 결측치 vs na값 자체가 값인 경우예를 들어, 설문조사에서 "가장 선호하는 색깔은?" 이라는 질문에 대답하지 않은 경우 해당 값은 결측치가 된다.이는 데이터에서 값이 실제로 빠져있어서 해당 위치에 아무런 정보가 없는 경우를 의미한다. 반면, 통신이나 센서 데이터에서 "na"값은 신호 강도가 부족하거나 데이터의 품질이 낮은 상태를 나타낸다.이 경우, "na"값은 특별한 상태를 나타내는 것!  결측치 & 누락값을 왜 처리하여야 하는가?데이터의 정확성과 분석 결과의 신뢰성 유..

데이터 분석에 필요한 기초문법pandas 라이브러리에서 제공하는 기초 문법들은 여러가지가 있지만,그 중 데이터 전처리에 필요한 기초 문법들 중 필수적인 문법 몇 가지만 알아보자 먼저 pandas 라이브러리를 임포트하고,예제 파일 학생들의 반 별(nclass) 과목별 점수가 나와있는 exam.csv 파일을 불러온다.import pandas as pddf = pd.read_csv('exam.csv')  1. query() query() 함수는 행 데이터를 추출할 때 사용한다.예를 들어, 데이터프레임(df) 데이터를 추출할 때 학생(id), 반(nclass)와 같은 연속적인 범주형 데이터를 추출할 수 있다. query() 괄호 안에 다양한 조건들을 넣어 원하는 조건의 데이터를 추출할 수 있다.# Case 1:..