📰 AI 뉴스2026-05-018분
RAG 한국어 가이드 — 사내 문서 챗봇 만드는 법
Retrieval-Augmented Generation을 한국어 환경에서 구축하는 전체 흐름. 임베딩 모델 선택, 청킹, 벡터 DB, 한국어 검색 품질 개선 팁까지.
rag벡터db한국어
RAG가 뭔가
AI가 답하기 전에 외부 문서를 검색해서 근거로 삼는 구조. 사실성·최신성을 확보하는 데 핵심. 한국 기업의 90% 케이스는 파인튜닝보다 RAG가 적합.
한국어 임베딩 모델
multilingual-e5-large — 한국어 포함 다국어 임베딩, 무료, 768~1024차원 BGE-M3 — 한국어 성능 우수, 다국어·다중 검색 모드 지원 Cohere Embed v3 multilingual — API 기반, 품질 안정적 OpenAI text-embedding-3-large — 비싸지만 한국어 잘 됨
청킹 전략
- 고정 길이 (300~500토큰) — 가장 단순, 시작하기 좋음
- 문단·헤더 단위 — 문서 구조 보존, 검색 품질↑
- 재귀 청킹 — 큰 청크 → 작은 청크로 자르되 겹침 50토큰
한국어는 영어보다 토큰 효율이 낮아 청크 크기를 살짝 작게 (200~400토큰).
벡터 DB 선택
- pgvector (Postgres) — 이미 Postgres 쓰면 그대로
- Qdrant — 오픈소스, 한국어 검색 안정적
- Pinecone — 매니지드, 운영 부담 적음
- Weaviate — 하이브리드 검색(키워드+벡터) 강함
한국어 검색 품질 올리기
- 하이브리드 검색 — 벡터 + BM25 조합. 정확한 제품명·고유명사 매칭에 효과
- 재정렬(Reranking) — Cohere Rerank나 BGE Reranker로 후보 재정렬
- 메타데이터 필터 — 날짜·부서별 좁히기로 노이즈 감소
- 질의 확장 — 짧은 질문은 LLM으로 풍부하게 재작성 후 검색
실패 모드
- 답변이 검색된 청크에 없는데 만들어냄 → 시스템 프롬프트에 "제공된 문서에 없으면 모른다고 답해"
- 한국어 형태소 차이로 검색 누락 → 임베딩 모델 교체 또는 키워드 검색 병행
- 청크가 너무 작아 맥락 부족 → 청크 크기 또는 인접 청크 함께 가져오기