RAG, 벡터 검색보다 전문 검색부터 시작하라

검색증강생성(RAG)은 벡터 데이터베이스부터 구축하지 않아도 된다. AI 시스템을 만드는 라파엘 피에르(Rafael Pierre)는 사용자가 원하는 문서를 찾는 문제라면 전문 검색으로 시작하고, 검색 품질이 부족할 때만 쿼리 재작성과 임베딩을 더하자고 제안했다. 글은 데이터의 변경 속도부터 운영 비용까지 따져 여섯 가지 검색 방식을 고르는 순서를 제시한다. 해커뉴스(Hacker News) 토론에서는 전문 검색의 실용성에 공감하는 목소리와 함께, 다국어 문서나 복잡한 RAG 구축을 너무 가볍게 본다는 반론도 나왔다.

핵심 요약

  • 피에르는 RAG를 처음부터 벡터 검색으로 설계하기보다 BM25 전문 검색으로 출발해야 비용과 운영 부담을 실제 수요에 맞출 수 있다고 주장한다.
  • 대화체 질문을 검색어로 바꾸는 LLM 쿼리 재작성은 문서를 다시 임베딩하지 않고도 용어 불일치 문제를 시험할 수 있다.
  • 의미 검색이 필요하다면 BM25로 후보를 좁힌 뒤 임베딩으로 재정렬하되, 문서가 자주 바뀌는지와 추가 지연을 감수할 수 있는지에 따라 구현을 달리해야 한다.
  • 자주 읽는 문서만 미리 임베딩하는 방식과 전체 문서를 미리 임베딩하는 방식은 조회량, 문서 변경률, 응답 속도 요구가 다를 때 각각 유리하다.
  • 해커뉴스 토론은 전문 검색의 가치를 인정하면서도 다국어 검색, 긴 문서 처리, 실제 구축의 복잡성에서는 단일한 정답이 없다고 지적했다.

검색 방식을 가르는 다섯 가지 조건

RAG는 외부 자료를 찾아 AI의 답변 맥락에 넣는 검색증강생성(Retrieval-Augmented Generation)이다. 피에르는 이 과정에서 임베딩(문장을 의미를 나타내는 숫자 배열로 바꾸는 기술)과 벡터 데이터베이스를 먼저 떠올리는 관행을 문제 삼는다. 사용자가 필요한 것은 정교한 검색 구조 자체가 아니라, 찾던 문서가 결과에 나오는 일이라는 것이다.

그가 제시한 선택 기준은 데이터의 최신성, 문서 집합의 성격, 질문 방식, 검색량과 속도, 팀의 역량이다. 매일 문서의 10%가 넘게 바뀌거나 대부분의 문서가 거의 조회되지 않는다면 전체를 미리 임베딩하는 방식은 비효율적일 수 있다. 반대로 문서가 안정적이고 조회량이 많으며 빠른 응답이 중요하다면 사전 임베딩을 검토할 만하다. 키워드가 뚜렷한 질문과 대화체 질문을 같은 검색 방식으로 처리할 필요도 없다.

첫 검색은 BM25로

첫 번째 선택지는 BM25(검색어가 문서에 등장하는 양상으로 관련성을 매기는 방식)를 이용한 전문 검색이다. 엘라스틱서치(Elasticsearch)나 포스트그레스(Postgres) 전문 검색처럼 이미 쓰이는 도구로 구축할 수 있다. 송장 번호처럼 정확히 맞아야 하는 값이나 제품·개발 문서의 고유한 용어를 찾는 데 적합하다. 피에르는 결과가 나온 이유를 확인하기 쉽고, 문서를 잘게 나눌 크기나 겹치는 구간부터 결정하지 않아도 된다는 점을 장점으로 꼽는다.

그렇다고 전문 검색이 질문의 뜻을 이해하는 것은 아니다. 사용자가 쓴 단어와 문서의 단어가 다르면 관련 문서를 놓칠 수 있고, 대화하듯 묻는 질문에도 약하다. 피에르의 주장은 이 약점이 없는 척하자는 것이 아니라, 먼저 검색 결과를 살펴 실제로 부족한 부분을 확인하자는 것이다. 단순한 검색으로 해결되는 문제에 임베딩과 문서 분할, 평가 작업을 한꺼번에 들이지 말라는 순서다.

문서를 바꾸기 전에 질문을 다시 쓰기

두 번째 방식은 LLM이 사용자의 질문을 검색하기 좋은 단어로 바꾸는 것이다. 가령 문서에는 ‘디버깅’이라고 적혀 있는데 사용자는 ‘버그 고치기’라고 묻는다면, 쿼리 재작성(검색 질문을 결과가 잘 나오도록 고치는 작업)으로 두 표현의 간극을 줄인다. 하나의 질문에 여러 작업이 섞였을 때는 별도의 검색어로 나눌 수도 있다. 피에르는 GPT-4o-mini를 쓸 경우 재작성 비용을 질문당 약 0.001달러로 제시한다.

사내 용어는 이 방식이 특히 유용한 사례로 등장한다. 피에르가 든 예에서 ‘아틀라스(Atlas)’는 일반 임베딩 모델에 지도나 신화를 연상시킬 수 있지만, 실제 문서에서는 사내 데이터 처리 프레임워크의 이름이다. LLM에 아틀라스를 정확한 키워드로 보존하도록 지시한 뒤 BM25로 찾으면, 그 용어가 들어간 문서를 겨냥할 수 있다. 결과가 좋지 않을 때도 문서 전체를 다시 임베딩하는 대신 재작성 지침을 고쳐 시험할 수 있다는 것이 그의 설명이다.

BM25 후보에 의미 검색을 더할 때

세 번째 방식은 BM25로 문서 50~100개를 먼저 찾고 임베딩으로 상위 결과를 다시 고르는 하이브리드 검색(키워드 검색과 의미 검색을 결합하는 방식)이다. 키워드 일치만으로는 부족한 질문에서 의미상 가까운 문서를 위로 올리려는 설계다. 다만 피에르는 쿼리 재작성만으로 해결되지 않는다는 자료가 있을 때 도입하라고 권한다. 문서를 임베딩하기 시작하면 분할 크기와 구간이 걸치는 문맥까지 관리해야 한다.

네 번째 방식은 후보 문서를 검색 시점에 임베딩하는 것이다. 피에르의 계산에서는 질문마다 평균 500토큰인 문서 50개를 임베딩하면 비용이 약 0.0005달러이고, 하루 1,000건을 30일 처리하면 약 15달러다. 대신 질문마다 문서를 처리하므로 200~500밀리초의 추가 지연이 생긴다고 설명한다. 문서가 자주 바뀌거나 임베딩 모델을 시험하는 동안에는 최신성을 얻고 모델도 쉽게 바꿀 수 있지만, 사용자에게 보이는 응답 속도는 따져야 한다.

자주 찾는 문서만 미리 준비하기

다섯 번째 방식은 문서를 ‘핫’과 ‘콜드’로 나눈다. 자주 조회되는 핫 문서는 미리 임베딩해 빠르게 찾고, 드물게 조회되는 콜드 문서는 필요할 때 임베딩한다. 피에르는 일부 문서에 조회가 몰리고 다른 문서는 거의 읽히지 않는 접근 패턴을 전제로, 문서가 10만 개를 넘고 안정적인 내용과 바뀌는 내용이 섞였을 때 이를 검토하라고 제안한다. 조회 기록을 바탕으로 자주 찾게 된 문서를 주기적으로 핫 영역으로 올리는 구조다.

이 방식의 목표는 흔한 질문에는 빠르게 답하면서 모든 문서를 미리 처리하는 부담을 피하는 데 있다. 임베딩 모델을 교체할 때도 핫 문서부터 다시 처리하면 된다. 피에르는 문서 100만 개 중 20만 개를 핫 영역으로 둔 예시에서, 문서당 재임베딩 비용을 0.01달러로 가정하면 전체 1만 달러와 핫 영역 2,000달러를 대비한다. 실제 선택에서는 어느 문서가 자주 읽히는지, 그 패턴이 유지되는지를 먼저 살펴야 한다.

전체 사전 임베딩이 필요한 경우

여섯 번째 방식은 모든 문서를 미리 임베딩해 벡터 데이터베이스에 저장하는 것이다. 피에르는 하루 질문이 1만 건을 넘고, 50밀리초 미만 응답이 필요하며, 문서 변경률이 월 5% 미만인 안정적인 환경을 그 대상으로 제시한다. 조회가 일부 문서에만 몰리지 않고 인프라를 관리할 ML 팀도 있다는 조건이 붙는다. 규모와 속도 때문에 사전 작업을 감수하는 선택인 셈이다.

그가 든 문서 100만 개의 초기 임베딩 계산은 문서당 500토큰을 전제로 약 10달러이며, 제시한 저장량은 약 6GB다. 하지만 검색 품질을 운영하는 비용은 첫 임베딩으로 끝나지 않는다. 모델을 바꾸면 문서를 다시 처리하고, 새 결과가 기존보다 나빠지지 않았는지 검사하며, 전환 기간도 관리해야 한다. 피에르는 많은 시스템에서 이 방식을 너무 일찍 채택한다고 보고, 앞선 단순한 방법으로 해결되지 않는지부터 확인하라고 말한다.

한 질문에 세 작업이 섞였다면

글은 검색 방식 여섯 가지를 설명한 뒤 복합 질문으로 눈을 돌린다. ‘CSV 파일을 읽고, 빠진 데이터를 정리한 다음, 결과를 그래프로 그리는 법’에는 서로 이어지는 세 가지 작업이 들어 있다. 피에르는 이를 한 문장 그대로 검색하기보다 작업별 질문으로 분해하고, 각 질문에 맞는 검색 방법을 고르자고 제안한다. 단순한 작업은 BM25로, 더 복잡한 작업은 LLM 재작성과 여러 번의 검색으로 처리하는 식이다.

나뉜 검색을 병렬로 실행하면 전체 대기 시간은 각 작업 시간의 합이 아니라 가장 오래 걸린 작업에 가까워진다. 피에르의 예시에서는 복잡한 질문 전체를 비싼 방식으로 처리할 때의 0.03달러와, 분해해 필요한 부분에만 LLM을 쓸 때의 0.002달러를 비교한다. 답변도 자료 읽기, 결측값 정리, 그래프 작성 순서로 구성할 수 있다. 핵심은 모든 질문에 같은 비용을 쓰지 않고, 각 작업에 필요한 검색만 적용하는 데 있다.

검색 결과를 보고 다음 단계를 고르기

피에르가 제시한 실행 순서는 BM25를 만든 뒤 현재 검색 결과에 대한 사용자 반응을 2~4주 살피는 것으로 시작한다. 원하는 문서가 있는데 못 찾는다는 불만이 많다면 쿼리 재작성을 먼저 시험하고, 결과는 나오지만 순서나 관련성이 아쉽다면 하이브리드 검색을 비교한다. 의미 검색의 개선이 추가 지연을 감수할 만큼 크다면 문서 변경률과 조회 패턴에 맞춰 실시간 임베딩, 핫·콜드 구분, 전체 사전 임베딩 중 하나를 고른다. 문제가 없다면 더 복잡한 검색 구조를 만들지 않는 것도 결론이다.

피에르는 시스템의 60%는 전문 검색과 쿼리 재작성에서 멈추고, 25%는 부분적인 하이브리드 방식, 10%는 전체 사전 임베딩, 5%는 맞춤형 해법이 필요하다는 경험칙도 제시한다. 이 비율보다 중요한 것은 도입 순서다. 검색 품질을 재고 사용자가 어떤 문서를 놓치는지 확인해야 다음 기술의 효과를 비교할 수 있다. ‘가장 정교한 검색’을 먼저 정해 놓기보다 현재 검색이 실패하는 지점을 먼저 찾으라는 메시지다.

커뮤니티 의견

한 사용자는 대규모 RAG 시스템에서 전문 검색의 효과는 과소평가되고 임베딩은 과대평가된다고 했다. 임베딩을 도입해도 더 적절한 문서 조각을 다시 만들고 재정렬을 붙이는 운영 부담이 생긴다는 경험을 근거로 들었다. 다만 답글에서는 질문과 지식 기반의 언어가 서로 다른 다국어 검색에도 전문 검색이 통하겠느냐는 의문이 제기됐다.

다른 사용자는 RAG를 오래된 정보 검색 문제에 LLM을 결합한 것으로 봤다. 필요한 자료를 놓치지 않는 재현율과 좋은 자료를 위에 놓는 정확도가 중요하며, 검색 대상 문서의 구조를 다듬고 품질을 시험하는 작업을 AI가 대신할 수는 없다는 주장이다. 이에 문서 제목과 용어를 사용자의 질문에 맞게 고쳐 왔다는 답글도 붙었다.

글 자체가 읽기 피곤하다는 반응도 있었다. 한 사용자는 LLM이 쓴 듯한 글이 계속 늘어난다며 문장을 따라가기 어렵다고 했다. 답글에서는 여러 수식어를 자신감 있는 단정문에 섞고 모든 소제목을 큰 통찰처럼 꾸미는 문체가 피로를 준다는 의견이 나왔다.

여러 방식을 함께 써 본 한 사용자는 특정 문서 집합에 꼭 맞춘 고도로 최적화된 검색 전략을 만드는 수고가 대부분의 경우 보상받지 못한다고 했다. 예외적인 사례를 제외하면 RAG 사용처에 비해 기술적 논의가 지나치게 커졌다는 판단이다. 이는 전문 검색과 임베딩 중 어느 쪽이 이기느냐보다, 검색에 얼마나 투자할 필요가 있느냐를 먼저 묻는 관점이다.

반대로 글이 제시한 하이브리드 선택지 자체를 의심하는 의견도 나왔다. 한 사용자는 단순한 방식 두 개를 소개한 뒤 둘을 합친 방식을 양쪽의 장점을 가진 해법으로 내세우는 전개가 AI 생성 글에서 자주 보인다고 지적했다. 특히 실시간 임베딩과 재정렬 방식이 글에 적힌 형태로 타당한지 의문을 제기했다.

모든 문서를 처음에 임베딩하고 변경분만 추적하자는 더 단순한 제안도 있었다. 이 사용자는 저렴한 모델로 문서 요약과 키워드를 만들고 빅쿼리(BigQuery)에 넣는 방식을 제시했다. 답글에서는 처음부터 특정 공급자에 묶일 수 있다는 우려와 함께, PDF 보고서나 책처럼 긴 자료를 한 번에 임베딩할 수 있다고 가정해서는 안 된다는 반론이 나왔다.

임베딩을 더 적극적으로 시험해야 한다는 의견도 있었다. 한 사용자는 문서 기반 RAG 프로젝트의 상당수에서 의미 검색을 주된 방법으로 볼 만하고, 구현이 쉬우니 성능 문제를 미리 걱정하기보다 직접 확인하자고 했다. 이에 기술적인 내용을 찾을 때는 키워드 검색이 더 나았으며, 먼저 사용자 질문을 파악한 뒤 임베딩을 넓혀 가는 편이 낫다는 답글이 달렸다.

또 다른 사용자는 성숙한 루씬(Lucene) 검색 도구 위에 에이전트형 쿼리 재작성을 얹는 방식을 선호했다. 에이전트가 문서 저장소를 반복해서 검색하도록 하면 의미 검색의 장점 일부를 얻으면서도 결과를 제어하고 디버깅하기 쉽다는 이유다. 임베딩 검색은 이미 결과가 달라질 수 있는 AI 시스템에 또 하나의 불확실성을 더한다는 것이 이 사용자의 우려다.

핵심 통찰

이 글이 바꾸자고 제안하는 것은 RAG의 목표가 아니라 설계의 출발점이다. 벡터 검색을 기본값으로 두면 검색 실패가 용어 때문인지, 문서 구조 때문인지, 의미 검색이 부족해서인지 구별하기 어렵다. BM25로 기준선을 만들고 질문 재작성과 재정렬을 차례로 비교하면 추가 비용과 지연이 실제로 필요한지 판단할 수 있다. 다만 다국어 자료와 긴 문서처럼 댓글에서 제기된 사례까지 같은 순서로 해결되는지는 별개의 문제다. 앞으로 봐야 할 것은 어느 기술이 더 새롭냐가 아니라, 각 단계가 사용자의 검색 실패를 얼마나 줄이느냐다.


원본: RAG Is Simpler Than You Think

토론: Hacker News