Data Analysis(11)
-
Transport Layer - TCP Congestion Control
Overview of TCP Congestion ControlPacket을 주고받는 방법에는 크게 Circuit Switching과 Datagram Packet Switching이 있다. 먼저, Circuit Switching은 다음과 같은 3가지 단계로 이뤄진다.Circuit EstablishmentData TransferCircuit DisconnectCircuit을 주고받는 두 stations은 Connection Oriented이기 때문에, delay or loss의 문제가 없지만,모든 channel이 꽉 차는 Congestion(Call Blocking) 발생할 가능성이 있다. 반면, Datagram Packet Switching에서는 Connectionless한 방법으로,Each packet..
2024.06.15 -
Data preprocessing
데이터 전처리데이터 분석 전 데이터를 정제, 변형하여 분석에 적합한 형태로 만드는 과정실무에서 접하는 데이터는 messy 한 특징을 가지고 있어 유의미한 결과 도출을 위해 필수적이다. STEP 1 : 데이터 수집데이터를 수집하는 단계로, 원시 데이터를 모으고 저장하는 과정 수집 방법의 종류(데이터의 형태, 종류에 따라 수집방법 결정)1. Web Crawling2. 로그 수집3. etc. STEP 2 : 데이터 정제데이터의 불필요한 정보 or 오류를 제거하여 데이터의 신뢰도를 높이는 과정 (결측치 or 이상치 처리) 데이터 정제 절차1. 오류 원인 분석2. 정제 대상 선정 → 초기에는 모든 데이터를 대상으로 정제 진행3. 정제 방법 결정 ex) 오류 데이터 삭제, 대체, 예측값 삽입 등 데..
2024.05.05 -
Data Analysis Overview
데이터 분석의 목적1. 목적, 평가 지표 결정무엇을 위해, 어떤 데이터를 사용하여 어떤 분석을 하고, 그 결과로 어떤 지표로 평가할지 결정한다. 2. 데이터 수집내부와 외부 환경에서 데이터를 수집한다. 3. 데이터 가공 및 전처리여러 데이터를 통합하여 분석에 적합한 포맷으로 가공하고 결측치 등을 처리한다. 4. EDA & 시각화데이터 분포나 경향, 개요 등을 시각화하여 확인하고 가설이나 의문, 과제 등을 정리한다. 5. 특징 값 추출머신러닝 모델에 입력할 수 있는 다양한 특징 값을 작성한다. 6. 모델 작성, 예측 및 분류모델의 하이퍼파라미터를 조정하면서 예측 정밀도가 높은 모델을 작성한다. 7. 모델 검증작성한 모델을 이용하여 테스트 과정을 거치며 효과를 검증한다. 데이터분석 용어 정리목적변수 : ..
2024.05.05 -
void 포인터와 const 포인터
void 포인터void라는 키워드는 보통 함수 앞에서 반환형이 없을 때 쓰인다.그렇다면 (int *), (char *)형 포인터와 어떤 차이가 있을까? 다음 코드를 살펴보자int a = 100;int *b = &a;이 코드가 의미하는 바는 다음과 같다.b는 a의 주소를 저장하고 있고, b를 통해 a를 참조할 수 있는데, 그곳에는 int형 데이터가 있다. 그렇다면 void 포인터를 선언하는 코드 역시 다음과 같이 해석할 수 있을 것이다.int a = 100;void *b = &a;b는 a의 주소를 저장하고 있고, b를 통해 a를 참조할 수 있는데, 그곳에는 void형 데이터가 있다. 그러나 void는 "빈공간'. 즉 자료형을 가지고 있지 않기 때문에 컴파일러는 데이터를 참조할 수 없을 것이다.왜냐하면 자..
2023.12.26 -
[C] 메모리 할당 방법
9살 때 집에서 생일파티를 한 적이 있다. 친구들이 많이 올 것이라 예상하고, 치킨, 피자 등 여러가지 음식을 준비했으나 갑자기 친구들이 일이 생겨서 2명 밖에 오지 않았고, 그래서 음식을 다 남겼던 아직까지도 슬픈 기억이 있다.. 누군가는 이 이야기를 듣고 다음과 같이 얘기할 수 있다. 제목을 메모리 할당으로 지어놓고 갑자기 생일파티? 오늘 얘기할 메모리 할당과 연관지어 보자. 동적 할당 vs 정적 할당 정적 (Statics) 처음 내 생일 파티에 참석할 친구 수는 미리 알려져 있었다. 따라서, 생일 파티 전날에 친구 수를 확인하고, 정해진 친구 수에 맞게 음식과 접시를 미리 준비하면 된다. 파티가 시작되면 이미 준비된 음식과 접시를 사용하며, 나중에 친구가 오더라도 새로운 준비를 할 필요가 없는 것!..
2023.12.24