유사도 기반 검색

좋은 인코딩을 통해 Context Vector들을 하나의 Vector Space에 투영했다면, 그 다음엔 이것을 어떻게 잘 활용할까 에 대한 고민이 뒤따른다.

 

Embedding 작업이 잘 되었다면 하나의 Vector Space안에서는 맥락이 유사한 Vector들은 가까이 위치하게 된다.

 

이를 활용해서 유사도 기반의 검색(retrieval) 서비스를 제공할 수 있다.

 

이때 유사도는 주로 거리 기반의 유클리드 거리(Euclidean distance)와 각도 기반의 코사인 유사도(cosine similarity)를 통해 측정하며,

흔히 최근접 이웃(K-Nearest Neighbors) 알고리즘을 활용하여 검색시 k개의 유사한 결과를 출력한다.