RAG
-
-
Chroma ConceptRAG 2025. 11. 9. 22:43
Chroma는 Pinecone와는 다르게 RDB와 구조가 매우 유사하다.하지만 Pinecone과 같이 하나의 Database 안에서 또 논리적으로 나눌 수 있는 Namespace 단위가 없다. 그리고 각 Record의 필드로 document라는 필드가 있는데, 해당 필드에 실제 원본 데이터가 저장된다.[Database] RDB의 데이터베이스와 똑같은 역할이다.여러 Collection(RDB 테이블 역할)을 포함하는 논리적 그룹이다. [Collection] 한 개의 테이블이라고 보면 된다.한 개의 Collection 안에 임베딩된 벡터들이 저장된다. [Item] 한 개의 임베딩 정보이다. 하나의 Item은 아래와 같은 정보를 갖는다. 1. idPK 역할로 고유 식별자이다.반드시 지정해줘야한다. 2. emb..
-
Pinecone ConceptsRAG 2025. 11. 9. 21:55
아래의 공식문서를 읽고 정리한 내용이다. https://docs.pinecone.io/guides/get-started/concepts Concepts - Pinecone DocsUnderstand concepts in Pinecone and how they relate to each other.docs.pinecone.io [Project] RDB에서의 데이터베이스라고 보면 된다.Pinecone의 테이블 단위인, 여러 Index들을 그룹화하는 단위이다. 즉, 하나의 프로젝트(DB)안에 여러 인덱스(테이블)을 만들 수 있다. 따라서 하나의 서비스나 도메인을 대표하는 데이터베이스라고 생각하면 된다.[Index] Pinecone에서 Index란 RDB에서 인덱싱에 사용되는 그 인덱스가 아니다.Pinecon..
-
-
유사도 기반 검색RAG 2025. 11. 9. 21:11
좋은 인코딩을 통해 Context Vector들을 하나의 Vector Space에 투영했다면, 그 다음엔 이것을 어떻게 잘 활용할까 에 대한 고민이 뒤따른다. Embedding 작업이 잘 되었다면 하나의 Vector Space안에서는 맥락이 유사한 Vector들은 가까이 위치하게 된다. 이를 활용해서 유사도 기반의 검색(retrieval) 서비스를 제공할 수 있다. 이때 유사도는 주로 거리 기반의 유클리드 거리(Euclidean distance)와 각도 기반의 코사인 유사도(cosine similarity)를 통해 측정하며,흔히 최근접 이웃(K-Nearest Neighbors) 알고리즘을 활용하여 검색시 k개의 유사한 결과를 출력한다.
-
Chroma vs PineconeRAG 2025. 11. 9. 20:10
서비스 규모에 따라 둘 중 하나를 선택해야함.운용중인 서비스의 성격과 규모에 따른 Trade-Off를 고려하여 선택해야한다. 아래 문서도 참고해보면 좋다. https://benchmark.vectorview.ai/vectordbs.html?utm_source=pytorchkr&ref=pytorchkr Picking a vector database: a comparison and guide for 2023In an era where semantic search and retrieval-augmented generation (RAG) are redefining our online interactions, the backbone supporting these advancements is often overlo..
-