RAG 정확도를 30% 높이는 하이브리드 검색 + Cross-Encoder 재순위화

왜 Dense-Only RAG는 프로덕션에서 무너지는가

Dense 임베딩은 의미적 유사도에 강하지만 정확한 제품명·코드·숫자 매칭에서 BM25 대비 Recall이 18~35% 낮다(BEIR 벤치마크 기준). 반대로 BM25는 동의어·패러프레이즈에 취약하다. 두 점수를 Reciprocal Rank Fusion(RRF)으로 결합하면 단일 방식 대비 MRR@10이 평균 22% 상승한다. 그러나 Top-K 후보가 여전히 노이즈를 포함하므로, Cross-Encoder로 (query, chunk) 쌍을 직접 스코어링해 최종 3~5개를 추려야 한다.

실패 모드: RRF 가중치를 동일하게 두면 도메인에 따라 성능이 역전된다. 법률·의학 도메인은 BM25 가중치를 0.6~0.7로 높이고, 감성·개념 질의 도메인은 Dense를 0.7로 올려야 한다. 이 파라미터를 배포 후 튜닝하지 않으면 초기 대비 Precision이 15% 이상 하락한다.

구현: 하이브리드 검색 → 재순위 → Claude 호출

import anthropic
from sentence_transformers import CrossEncoder
from rank_bm25 import BM25Okapi
import numpy as np

client = anthropic.Anthropic()
cross_encoder = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")

def reciprocal_rank_fusion(dense_hits, bm25_hits, k=60, w_dense=0.5, w_bm25=0.5):
    scores = {}
    for rank, doc_id in enumerate(dense_hits):
        scores[doc_id] = scores.get(doc_id, 0) + w_dense / (k + rank + 1)
    for rank, doc_id in enumerate(bm25_hits):
        scores[doc_id] = scores.get(doc_id, 0) + w_bm25 / (k + rank + 1)
    return sorted(scores, key=scores.get, reverse=True)

def hybrid_rag(query: str, chunks: list[str], top_k: int = 20, final_k: int = 4) -> str:
    # BM25 검색
    tokenized = [c.split() for c in chunks]
    bm25 = BM25Okapi(tokenized)
    bm25_scores = bm25.get_scores(query.split())
    bm25_hits = np.argsort(bm25_scores)[::-1][:top_k].tolist()

    # Dense 검색은 외부 벡터 DB에서 가져온다고 가정
    # dense_hits = vector_db.search(query, top_k=top_k)
    dense_hits = bm25_hits  # 예제 단순화

    fused = reciprocal_rank_fusion(dense_hits, bm25_hits)[:top_k]
    candidates = [chunks[i] for i in fused]

    # Cross-Encoder 재순위화
    pairs = [(query, c) for c in candidates]
    ce_scores = cross_encoder.predict(pairs)
    ranked_idx = np.argsort(ce_scores)[::-1][:final_k]
    context = "\n---\n".join(candidates[i] for i in ranked_idx)

    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=1024,
        system="당신은 주어진 컨텍스트만 사용해 답변하는 전문가입니다.",
        messages=[{"role": "user", "content": f"컨텍스트:\n{context}\n\n질문: {query}"}]
    )
    return response.content[0].text

레이턴시 트레이드오프: Cross-Encoder는 GPU 없이 CPU에서 Top-20 재순위화 시 약 120~180ms 추가된다. 허용 불가한 경우 Bi-Encoder 기반 경량 재순위 모델(e.g., ms-marco-MiniLM-L-2)로 교체하면 40ms 이내로 유지되나 정확도는 8~12% 낮다.

운영 체크리스트

• [ ] 청크 크기 실험: 256 토큰 청크가 512 대비 Cross-Encoder 정확도 7~15% 높음. 도메인별 실측 필수
• [ ] RRF 가중치 AB 테스트: 쿼리 유형별(키워드 vs. 자연어) 가중치를 로그 기반으로 자동 조정
• [ ] Null 결과 감지: Cross-Encoder 최고 점수 < 0.3이면 "정보 없음" 응답으로 분기, 환각 방지
• [ ] 재순위 모델 버전 고정: 모델 업데이트 시 점수 분포가 달라져 임계값 무효화됨
• [ ] 검색 레이턴시 p99 모니터링: BM25 인덱스 크기 > 500MB 시 Elasticsearch 위임 권장
• [ ] 컨텍스트 주입 토큰 상한: final_k × chunk_size가 입력 토큰의 40% 초과 시 비용·정확도 모두 저하