데이터 병합데이터 병합은 DE, DA, DS 등 데이터를 다루는 직군이라면 필수적으로 알아야 하는 개념이다.SQL 쪽에서는 기본적으로 join을 이용하여 테이블 query를 추출하는데,데이터베이스 시스템에서 내부적으로 최적화되어 많은 데이터를 효율적으로 처리 가능! 반면, python은 범용 프로그래밍 언어이기 때문에 데이터 처리에 특화된 최적화가 내장되어 있지 않다. 이는 대용량 데이터를 다루거나 복잡한 데이터 조작이 필요한 경우 성능 이슈가 발생할 수 있는 것! 1. Concat()이전 포스팅에서 간단히 다룬 concat() 함수는 데이터프레임끼리 합쳐지는 것이다.그렇기 때문에 따로 어떤 join 조건은 없다. concat 함수의 매개변수에는 axis 와 ignore_index 가 있다.# axis ..

이번 포스팅에서는 시계열 데이터 전처리에서 사용되는 문법을 다뤄본다. # 파일 불러오기import pandas as pddf = pd.read_csv('gapminder.tsv', sep='\t') 1. Groupby1주차에서 배운 Groupby() 함수는 시계열 데이터에서도 유용하게 사용한다.# 바로 컬럼을 지정하여 통계치를 볼 수 있다.df.groupby('year').lifeExp.mean() 만약 컬럼을 2가지 이상 잡게 된다면?df.groupby('year')[['lifeExp', 'pop']].mean() 1주차에서 groupby() 함수는 .agg() 함수와 자주 함께 사용된다는 것을 배웠다..agg() 함수는 내가 원하는 함수를 만들어서 넣을 수 있다는 것을 명심하자!# 내가 원하는 함수를..

이상치(Outlier)이상치(Outlier)란, 보통 관측된 데이터의 범위에서 많이 벗어난 작은 값이나 큰 값을 말한다. 극단적인 값이고, 전체 데이터 범위를 넘는 값이므로 이 데이터를 무조건 제거해야 하는가?라는 질문에 대한 답을 한다면 글쎄.. 예를 들어, 백화점 고객데이터에서 일반고객과 vip고객의 데이터를 비교하면 vip 고객은 outlier일 것이다.그러나, 백화점 입장에서 보면 Outlier에 속해있는 vip고객 데이터를 더 집중해야하는 고객이라 판단하고, 이 부분에 대해 고민해야 한다. 즉, 데이터 분포가 outlier와 기존의 데이터분포로 나눠진다면과연 outlier 의미가 이상치인지 의미있는 데이터인지 의심을 해봐야 하는 것!  이상치 처리이러한 이상치가 의사결정에 큰 영향을 미칠 수 있..

보간법을 사용하여 결측치를 보간하고, sklearn-impute 라이브러리를 이용해서 회귀분석을 진행해보자 회귀분석을 통해 mse 차이 비교1) 필요한 패키지 임포트# sklearn-learn에서 일부 실험적이거나 미완성 기능 사용 시 experimental 모듈 제공# 명시적으로 활성화해야만 사용할 수 있음# Imputeation 대체 방법을 사용하는 Imputer 활성화from sklearn.experimental import enable.iterative_imputer# 결측값 예측에 회귀 모델을 반복적으로 사용하여 결측값을 대체하는 도구 임포트from sklearn.impute import IterativeImputerimport pandas as pdimport seaborn as snsimpo..

결측치와 누락값결측치와 누락값은 데이터 분석에서 중요한 요소로 간주된다. 결측치는 실제로 값이 없는 상황,누락값은 휴먼 에러 등으로 인해 빠진 값이다. 둘 다 " 값이 없다"는  NA, NaN과 같은 표현으로 나타낼 수 있다.  순수한 결측치 vs na값 자체가 값인 경우예를 들어, 설문조사에서 "가장 선호하는 색깔은?" 이라는 질문에 대답하지 않은 경우 해당 값은 결측치가 된다.이는 데이터에서 값이 실제로 빠져있어서 해당 위치에 아무런 정보가 없는 경우를 의미한다. 반면, 통신이나 센서 데이터에서 "na"값은 신호 강도가 부족하거나 데이터의 품질이 낮은 상태를 나타낸다.이 경우, "na"값은 특별한 상태를 나타내는 것!  결측치 & 누락값을 왜 처리하여야 하는가?데이터의 정확성과 분석 결과의 신뢰성 유..

데이터 분석에 필요한 기초문법pandas 라이브러리에서 제공하는 기초 문법들은 여러가지가 있지만,그 중 데이터 전처리에 필요한 기초 문법들 중 필수적인 문법 몇 가지만 알아보자 먼저 pandas 라이브러리를 임포트하고,예제 파일 학생들의 반 별(nclass) 과목별 점수가 나와있는 exam.csv 파일을 불러온다.import pandas as pddf = pd.read_csv('exam.csv')  1. query() query() 함수는 행 데이터를 추출할 때 사용한다.예를 들어, 데이터프레임(df) 데이터를 추출할 때 학생(id), 반(nclass)와 같은 연속적인 범주형 데이터를 추출할 수 있다. query() 괄호 안에 다양한 조건들을 넣어 원하는 조건의 데이터를 추출할 수 있다.# Case 1:..