RAG 시스템에서의 최적 TopK 값 선정 가이드 🔍

요약: RAG 시스템의 성능을 결정짓는 중요한 요소인 TopK 파라미터의 최적값 선정에 관한 가이드입니다. 쿼리 복잡성, 문서 특성, 청크 크기에 따른 권장 값과 동적 TopK 방식의 장점을 소개합니다. 적절한 TopK 값 선정으로 검색 정확도와 리소스 효율성을 모두 향상시키는 방법을 알아봅니다.

RAG 시스템에서 TopK가 뭔가요? 🤔

여러분이 도서관에서 보고서를 작성하는 상황을 상상해보세요.

• 주제에 관련된 책을 몇 권 참고해야 할까요?
• 너무 적게 가져오면 정보가 부족하고, 너무 많이 가져오면 읽는 데 시간이 오래 걸립니다.

RAG 시스템의 TopK가 바로 이런 역할을 합니다!

• 검색된 문서(청크) 중 상위 K개를 선택하는 파라미터
• 이 값이 LLM에게 제공되는 정보의 양과 질을 결정
• 결국 생성 품질, 처리 속도, 자원 효율성에 큰 영향

어떻게 동작하나요? 🎬

1. 기본 원리

def retrieve_documents(query, top_k=5):
    # 쿼리와 문서간 유사도 계산
    similarities = calculate_similarities(query, documents)

    # 유사도 기준 상위 K개 문서 선택
    top_documents = get_top_k_documents(similarities, k=top_k)

    return top_documents

2. RAG 파이프라인 내 위치

TopK 파라미터는 RAG 파이프라인에서 벡터 유사도 검색 이후, LLM 프롬프트 구성 이전에 위치합니다. 사용자 쿼리가 임베딩으로 변환되고 벡터 DB에서 유사한 문서를 찾은 후, 상위 K개만 선택하여 LLM에 전달하는 과정에서 핵심적인 역할을 합니다.

최적 TopK 값은 어떻게 결정될까요? 💫

마치 요리 레시피에서 재료의 양을 조절하는 것처럼, 상황에 맞게 조절해야 합니다!

1. 쿼리 복잡성에 따라 달라져요

    단순 사실 확인: "대한민국의 수도는?" → TopK = 1-3
    분석 필요 질문: "한국 경제 성장의 주요 원인은?" → TopK = 5-10
    복합적 질문: "AI가 일자리에 미치는 영향과 대응책은?" → TopK = 10-20

2. 문서 품질도 중요한 요소

   • 고품질, 밀도 높은 문서 → 적은 TopK 값으로도 충분
   • 품질이 낮거나 관련성이 적은 문서 → 더 높은 TopK 필요

3. 청크 크기와의 관계

   • 작은 청크 (100-300 토큰) → 더 높은 TopK 필요 (5-10)
   • 큰 청크 (500-1000 토큰) → 더 낮은 TopK로도 충분 (3-5)

4. 검색기(retriever) 성능의 영향

   • 고성능 임베딩 모델 사용 시 → 더 적은 TopK로도 좋은 결과
   • 일반 검색 모델 사용 시 → 더 높은 TopK로 보완 필요

정적 TopK vs 동적 TopK 🏆

정적 TopK: 한 가지 사이즈로 모든 것을 해결하려는 접근법

# 모든 쿼리에 동일한 TopK 값 적용
retriever = VectorStoreRetriever(
    vectorstore=vector_db,
    search_type="similarity",
    search_kwargs={"k": 5}  # 고정된 TopK 값
)

동적 TopK: 상황에 맞게 유연하게 조절하는 스마트한 방식

def get_dynamic_top_k(query):
    # 쿼리 복잡성 분석
    query_complexity = analyze_query_complexity(query)

    if query_complexity == "simple":
        return 3
    elif query_complexity == "medium":
        return 5
    else:  # complex
        return 10

# 쿼리별로 다른 TopK 값 적용
retriever = VectorStoreRetriever(
    vectorstore=vector_db,
    search_type="similarity",
    search_kwargs={"k": get_dynamic_top_k(query)}
)

실제 연구 결과에 따른 추천 값 📊

쿼리 유형	문서 품질	청크 크기	권장 TopK 값
단순 사실 확인	높음	큼 (800+)	1-3
단순 사실 확인	중간/낮음	작음 (300-)	3-5
분석 필요 질문	높음	큼 (800+)	3-7
분석 필요 질문	중간/낮음	작음 (300-)	5-10
복합 질문	높음	큼 (800+)	7-15
복합 질문	중간/낮음	작음 (300-)	10-20

최근 연구에 따르면 동적 TopK 방식은 정적 방식보다 성능과 효율성 면에서 약 15-20% 향상된 결과를 보여주었습니다. 특히 복잡한 질의에서는 그 차이가 더욱 두드러졌습니다.

동적 TopK 구현 예시 💻

from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain.llms import OpenAI

class DynamicTopKRetriever:
    def __init__(self, vector_store):
        self.vector_store = vector_store
        self.llm = OpenAI(temperature=0)

    def analyze_query_complexity(self, query):
        # LLM을 사용하여 쿼리 복잡성 평가
        prompt = f"""
        다음 질문의 복잡성을 평가해주세요:
        "{query}"

        1에서 10까지의 척도로 복잡성 점수를 매겨주세요. 
        1은 단순한 사실 확인이고, 10은 매우 복잡한 다중 문서 분석이 필요한 질문입니다.

        복잡성 점수:
        """

        response = self.llm(prompt)
        try:
            complexity_score = int(response.strip())
            return min(max(complexity_score, 1), 10)  # 1-10 범위로 제한
        except:
            return 5  # 기본값

    def get_optimal_top_k(self, query):
        complexity = self.analyze_query_complexity(query)

        # 복잡성 점수를 기반으로 TopK 결정
        if complexity <= 3:
            return 3
        elif complexity <= 6:
            return 5
        elif complexity <= 8:
            return 10
        else:
            return 15

    def retrieve(self, query):
        optimal_k = self.get_optimal_top_k(query)
        return self.vector_store.similarity_search(query, k=optimal_k)

주의할 점 ⚠️

1. 과도한 TopK는 역효과

   • 너무 많은 문서는 노이즈 증가 → 응답 품질 저하
   • 토큰 소비 증가 → 비용 증가 및 속도 저하

2. 너무 적은 TopK도 문제

   • 필요한 정보 누락 → 부정확한 응답
   • 사실 근거 부족 → 환각(hallucination) 증가

3. 시스템적 한계 고려

   • LLM 컨텍스트 창 제한 → 최대 TopK 제약
   • 검색기(retriever) 품질이 좋지 않다면 TopK 높여도 효과 제한적

실제 사용 예시 📱

# 1. 단순 질의: "대한민국의 수도는?"
retriever.get_relevant_documents(
    "대한민국의 수도는?", 
    search_kwargs={"k": 2}
)

# 2. 분석 필요 질문: "한국 반도체 산업의 경쟁력 요인은?"
retriever.get_relevant_documents(
    "한국 반도체 산업의 경쟁력 요인은?", 
    search_kwargs={"k": 7}
)

# 3. 복합적 질문: "기후변화가 농업에 미치는 영향과 대응 전략은?"
retriever.get_relevant_documents(
    "기후변화가 농업에 미치는 영향과 대응 전략은?", 
    search_kwargs={"k": 15}
)

마치며 🎁

최적의 TopK 값은 마법의 숫자가 아니라, 여러분의 RAG 시스템과 사용 사례에 맞게 조정해야 하는 중요한 하이퍼파라미터입니다. 쿼리 복잡성, 문서 품질, 청크 크기를 고려하여 적절한 값을 선택하거나, 더 나아가 동적 TopK 방식을 도입해 보세요. 지속적인 테스트와 피드백을 통해 여러분의 시스템에 가장 적합한 값을 찾아가는 과정이 중요합니다!

---

궁금하신 점 있으시다면 댓글로 남겨주세요! 😊

---

참고 문헌

1. Joshi, S. (2023). "Optimizing Retrieval Augmentation with Dynamic Top-K Tuning for Efficient Question Answering". Medium

2. Ghosh, B. (2024). "Strategies for Optimal Performance of RAG". Medium

3. MyScale. (2024). "The Ultimate Guide to Evaluate RAG System Components". MyScale Blog

4. Capota, M. et al. (2024). "Toward Optimal Search and Retrieval for RAG". arXiv

5. r/LangChain. (2024). "What are your RAG parameters e.g. top k, chunk size, chunk overlap?". Reddit

6. DataCamp. "How to Improve RAG Performance: 5 Key Techniques with Examples". DataCamp