텍스트 유사성 분석

다음 두 문장을 비교해보자. "고양이는 쥐를 먹는다." "쥐는 고양이의 밥을 먹는다." 인간은 쉽게 차이를 구별하지만, 컴퓨터가 이해하려면? 정확한 문맥 파악을 하지 않으면 쉽지 않을것이다. 두 개의 문장이 얼마나 유사한지 어떻게 분석할 수 있을까? 바로 텍스트 유사성 분석이다. 텍스트 유사성 분석 온라인 쇼핑 플랫폼에 작성된 질문들을 보면 다음과 같은 질문들을 많이 봤을 것이다. "언제 상품을 받아볼 수 있을까요?" "상품 도착 예정일을 알려주세요." 두 문장은 다른 어휘를 사용했지만, 의미적으로는 매우 유사하다. 텍스트 유사성 분석은 어휘적 유사성과 의미적 유사성을 비교했을때 얼마나 가까운지 확인하기 위해 시행한다. 정확한 문맥 파악을 위해서 문장 임베딩은 이러한 차이에 민감해야 한다. 임베딩이 뭘까..

2023.12.19