RAG 검색 품질 올리기 — 청킹과 리랭킹

RAG를 붙였는데 답이 엉뚱하다면, 대개 문제는 모델이 아니라 검색 단계에 있습니다. 검색된 문서가 틀리면 LLM은 아무리 좋아도 정답을 만들 수 없습니다.

청킹 — 문서 유형에 따라 다르게

리랭커 — 비용 대비 효과가 크다

1차 검색(벡터/BM25)으로 20~50개를 뽑고, 리랭커로 상위 5개를 다시 정렬합니다. 리랭커는 질문-문서를 함께 보고 점수를 매기므로 정확도 향상이 큽니다.

• 1차 검색: 빠르지만 의미 손실 있음, 후보를 넓게
• 리랭킹: 느리지만 정확, 후보를 좁게
• 최종 top-k는 3~5개가 적당 — 너무 많으면 노이즈

하이브리드 검색

벡터 검색만으로는 모델명·부품번호 같은 정확 문자열 매칭에 약합니다. BM25(키워드)와 벡터를 함께 쓰고 결과를 합치는 것이 산업 문서에서 특히 효과적입니다.

고객사 매뉴얼 검색에서 하이브리드 + 리랭킹 조합으로 정답률이 눈에 띄게 올라간 사례가 있습니다. 모델 교체보다 검색 개선이 먼저입니다.

평가 없이는 개선도 없다

• 질문 30~50개에 정답 문서를 라벨링
• Recall@5, MRR 같은 지표로 변경 전후 비교
• 파라미터를 바꿀 때마다 같은 세트로 측정