40억 모델이 포스트그레스 쿼리 계획을 바꾸다

로한 반살(Rohan Bansal)은 40억 매개변수 AI 모델을 학습시켜 포스트그레스(Postgres)의 기본 계획보다 빠른 SQL 쿼리 실행 계획을 찾아냈다. 조인이 많은 113개 쿼리에서 총 실행 시간은 44.7% 줄었다. 핵심은 모델이 데이터베이스를 대신 실행하는 것이 아니라, 같은 쿼리를 여러 번 돌려볼 수 있는 환경에서 포스트그레스에 다른 실행 방법을 제안한다는 점이다. 성능 수치만큼이나 그 차이를 정확히 재기 위해 캐시와 측정 방식을 손본 과정이 읽을 만하다.

핵심 요약

  • 반살은 40억 매개변수 모델이 제안한 실행 계획으로 조인 중심 쿼리 113개의 총 실행 시간을 포스트그레스 기본 계획 대비 44.7% 줄였다.
  • 조인 순서와 실행 방법의 조합은 테이블이 늘수록 급증하고, 포스트그레스는 실제 행 수 대신 통계에 의존하므로 더 빠른 계획을 놓칠 수 있다.
  • 모델은 pg_hint_plan 확장 기능으로 포스트그레스의 실행 계획을 바꿨으며, 반복 실행되는 분석 쿼리에서 탐색 비용을 나눠 부담하도록 설계됐다.
  • 학습에 앞서 캐시 설정과 후보·기본 계획의 교차 측정을 다듬어, 실행 시간의 흔들림을 잘못된 보상으로 받아들일 위험을 낮췄다.
  • Hacker News에서는 반복 쿼리에 맞는 접근이라는 평가와 함께 데이터 변화, 기본 설정, 모델 유지 비용을 따져야 한다는 지적이 나왔다.

조인 순서가 실행 시간을 가르는 이유

쿼리 최적화기는 SQL의 답을 바꾸지 않으면서 그 답을 구하는 순서와 방법을 고른다. 반살은 IMDb 데이터에서 2000년대 작품을 많이 낸 일본 회사를 찾는 예를 들었다. 작품 테이블에는 약 100만 행, 작품과 회사를 잇는 테이블에는 약 200만 행, 회사 테이블에는 약 10만 행이 있다. 어떤 테이블을 먼저 연결하느냐에 따라 다음 조인으로 넘어가는 중간 결과의 크기가 달라진다.

예시에서 일본 회사가 전체 회사의 5%, 2000년대 작품이 전체 작품의 20%라고 가정하면, 회사를 먼저 걸러 연결할 때 첫 조인의 결과는 약 10만 행이다. 작품을 먼저 걸러 연결하면 약 40만 행이 다음 조인으로 넘어간다. 두 경로가 같은 답을 내더라도 중간 단계에서 처리하는 행 수는 네 배 차이 난다. 필자가 강조하는 것은 SQL 문장만 보고는 어느 경로가 빠를지 바로 알기 어렵다는 점이다.

테이블이 늘자 후보 계획은 폭증했다

조인 순서만 문제가 아니다. 각 조인에는 해시·병합·중첩 루프 같은 방식이 있고, 테이블을 읽을 때도 순차 스캔이나 여러 인덱스 스캔을 선택할 수 있다. 필자가 이 조합을 세어보니 테이블 두 개짜리 쿼리에는 96개, 세 개짜리에는 4,608개의 실행 방법이 나온다. 같은 계산법으로 12개 테이블을 연결하면 후보가 약 7.26×10²²개에 이른다.

포스트그레스가 이 후보를 모두 실행해 비교하는 것은 아니다. 동적 계획법으로 탐색 범위를 줄이고, 조인이 12개 이상인 쿼리에는 유전 알고리즘도 사용한다. 가능한 계획의 폭을 줄이더라도 각 단계에서 몇 행이 나올지 가늠해야 한다. 실제 행 수를 알려면 조인을 실행해야 하므로, 빠른 계획을 고르기 위한 최적화기는 통계로 이를 추정한다.

포스트그레스는 열의 흔한 값과 빈도, 나머지 값의 분포를 담은 통계를 참고한다. 하지만 한 테이블의 값이 다른 테이블의 행에 어떻게 퍼져 있는지는 정확히 알지 못해 균일하게 분포한다고 가정할 수 있다. 앞선 예에서 일본 회사가 전체 회사의 5%여도 작품의 50%에 관여했다면, 회사를 먼저 연결한 중간 결과는 예상한 10만 행이 아니라 100만 행이 된다. 첫 추정이 어긋나면 뒤따르는 조인 비용의 추정도 연쇄적으로 틀어질 수 있다.

기본 계획을 바꾸는 힌트, 반복 쿼리를 노리다

반살은 포스트그레스의 비용 계산 코드를 고치지 않고 다른 계획을 시험하기 위해 외부 확장 기능 pg_hint_plan을 사용했다. SQL에 주석 형태의 힌트(실행 방식에 관한 지시)를 붙여 조인 순서, 조인 방식, 스캔 방식을 제안하는 방법이다. AI 모델의 과제는 SQL의 결과를 새로 계산하는 것이 아니라, 포스트그레스 기본 계획보다 빨리 실행되는 힌트를 찾는 일이 됐다.

필자는 모델이 일회성 쿼리에서 포스트그레스 최적화기를 대체해야 한다고 보지 않았다. 모델이 계획을 만들고 후보를 여러 번 실행하는 데는 시간이 들기 때문이다. 대신 같은 분석 쿼리가 수천 번 반복된다면, 앞서 더 빠른 계획을 찾는 비용을 이후 실행에 걸쳐 나눌 수 있다고 판단했다. 이 실험의 성패를 볼 때 계획 탐색에 드는 비용과 반복 실행에서 아끼는 시간을 함께 봐야 하는 이유다.

40억 모델과 두 종류의 벤치마크

반살은 직접 학습과 추론을 해볼 수 있도록 40억 매개변수 모델을 골랐다. 사용한 모델은 엠페로(Empero)가 큐웬(Qwen) 계열 모델을 증류(큰 모델의 출력을 작은 모델 학습에 활용하는 방법)해 만든 버전이다. 모델을 감싼 도구에는 테이블 구조와 통계를 살피고, 기본 계획을 확인하고, 후보를 실행해 시간을 재는 기능 등이 들어갔다. 모델은 정해진 JSON 형식으로 계획을 제안하고, 도구가 이를 힌트로 바꿔 시험한다.

평가에는 IMDb 기반 조인 순서 벤치마크(JOB)의 113개 쿼리를 사용했다. 학습에 활용한 카디널리티 추정 벤치마크(CEB)는 같은 데이터베이스에서 만든 1만3,646개 쿼리로 구성된다. 반살은 쿼리의 조인 그래프, 즉 어떤 테이블이 어떤 테이블과 연결되는지를 비교해 학습용 CEB와 평가용 JOB의 구조가 겹치는지 확인했다. 겹치는 구조는 없었으며, 필자는 특정 데이터베이스를 잘 배우는 것과 평가 쿼리의 구조를 미리 외우는 것을 구분하려 했다.

학습 전 모델의 문제는 속도 이전에 도구를 제대로 쓰지 못한다는 것이었다. JOB 113개 중 점수 계산까지 이어진 실행 흐름은 15개뿐이었다. 모델은 필요한 테이블이 빠진 조인 순서를 만들거나, 맞지 않는 형식으로 계획을 내고, 없는 도구를 호출하기도 했다. 반살은 먼저 모델이 실행 계획을 제안하는 절차 자체를 익히게 해야 했다.

빠른 계획보다 먼저 정확한 측정

후보 계획의 실행 시간을 잘못 재면 모델은 우연히 빨랐던 계획을 학습하게 된다. 반살은 IMDb 데이터 8.5GB를 담은 포스트그레스 컨테이너 네 개를 동시에 돌리고, 각 쿼리를 예열한 뒤 20번씩 실행해 시간의 흔들림을 살폈다. 초기 설정에서는 포스트그레스의 공유 버퍼가 128MB여서 데이터 접근이 운영체제의 페이지 캐시에 자주 의존했다. 한 쿼리는 실행 시간이 빠른 묶음과 느린 묶음으로 갈려, 같은 계획을 비교해도 가짜 승패가 나올 수 있었다.

실제 후보 비교에는 후보와 기본 계획을 번갈아 세 차례 실행하고, 각각의 실행 시간 중앙값을 사용했다. 두 중앙값의 차이가 5% 미만이면 무승부로 처리했다. 반살은 같은 계획을 양쪽에 놓았는데도 승패가 나는 비율을 계산해 측정 환경을 조정했다. 공유 버퍼를 2GB로 늘리자 이 오류율은 약 4분의 1로 줄었고, 예시 쿼리의 실행 시간 변동계수도 10.3%에서 0.9%로 떨어졌다.

캐시를 조정하자 기본 계획 자체도 빨라졌다. JOB 쿼리 113개의 기본 계획 실행 시간을 모두 더한 값은 95초에서 60초로 줄었다. 반살은 이후 실험에 공유 버퍼 2GB와 작업 메모리 4MB를 사용했다. 모델의 성능 향상을 논하기 전에 비교 상대인 포스트그레스가 어떤 상태에서 실행되는지 고정한 셈이다.

시범 실행에서 지도 학습과 강화학습으로

반살은 먼저 GPT-6 아스트라(GPT-6 Astra)와 큰 큐웬 모델로 JOB 쿼리 10개를 시험했다. 후보를 한 번만 내는 경우보다 여러 후보를 차례로 시험할 때 성능이 좋아져, 도구의 결과를 보고 다음 계획을 고치는 방식에 가능성이 있다고 봤다. 이어 아스트라의 실행 흐름을 이용해 작은 모델을 지도 미세조정(SFT·정답 예시를 따라 배우는 추가 학습)했다. 이 단계에서 모델은 도구 사용법을 익혔고, JOB의 여러 쿼리에서 더 나은 계획도 내기 시작했다.

그다음 단계는 후보를 직접 실행해 얻은 속도 평가를 학습에 돌려주는 에이전트형 강화학습(RL·결과에 따른 보상으로 행동을 개선하는 학습)이었다. 반살은 여러 후보의 측정값으로 보상을 만들되, 실행 환경에 따른 측정 오차를 줄이는 데 신경 썼다고 설명한다. 실험에는 임대한 H100 두 장짜리 장비와 책상 위 장비에서 실행한 포스트그레스 컨테이너 네 개가 쓰였다. 최종적으로 40억 매개변수 모델이 JOB 113개에서 기록한 총 실행 시간 감소율은 기본 계획 대비 44.7%였다.

커뮤니티 의견

한 사용자는 8.5GB 데이터, 예열된 읽기 전용 쿼리, 메모리에 들어가는 실험 환경을 짚으며 결과를 운영 환경 전체로 넓혀 해석하지 말아야 한다고 했다. 데이터와 작업량이 변하면 더 빨랐던 계획도 달라질 수 있다는 이유다. 답글에서는 운영 데이터베이스의 복제본으로 자주 실행되고 오래 걸리는 쿼리를 시험해볼 수 있다는 의견이 나왔다.

다른 사용자는 모델이 특정 상황에서 인덱스를 놓치면 평소 잘 돌던 운영 쿼리가 갑자기 느려질 수 있다고 우려했다. 이에 대한 답글은 기존 쿼리 최적화기도 통계나 버전 변경에 따라 성능이 나빠질 수 있다고 맞받았다. 모델의 불확실성을 걱정하되, 비교 대상인 기존 계획도 언제나 일정한 성능을 내는 것은 아니라는 논점이다.

또 다른 사용자는 최적 실행 계획을 찾는 문제에 수학과 알고리즘이 깊이 얽혀 있다며, 언어 모델은 다소 둔한 도구라고 평가했다. 즉석 인덱스 생성까지 넣으면 선택지는 글에서 센 것보다 더 늘어난다는 지적도 했다. 답글에서는 일반 언어를 배운 큰 모델보다 데이터의 특징을 숫자로 직접 받는 작은 신경망이 이 제한된 문제에 더 적합할 수 있다는 의견이 나왔다.

한 사용자는 시작할 때 한 번 고른 계획을 끝까지 유지하기보다, 쿼리 실행 중 읽은 데이터를 바탕으로 계획을 고치는 방향을 제안했다. 통계가 특정 값의 데이터 분포까지 충분히 설명하지 못할 수 있기 때문이다. 다만 이미 처리한 결과를 버리지 않고 실행 도중 계획을 바꾸는 일은 복잡하다고 덧붙였다.

다른 사용자는 인덱스와 추가 통계의 구성을 문제 삼았다. 서로 연관된 열의 분포를 충분히 반영하지 못했다면 힌트로 성능을 올리는 것은 통계 문제를 가리는 처방일 수 있다는 주장이다. 데이터의 모양이 바뀌면 고정해 둔 힌트가 오히려 역효과를 낼 수 있다는 점도 지적했다.

한 사용자는 댓글에서 언급된 H100 장비 임대 약 95시간과 모델 학습용 API 비용을 들어, 계획 실행 시간만으로 경제성을 판단하기 어렵다고 했다. 포스트그레스 최적화기 역시 계획을 찾는 데 더 많은 시간을 쓸 수 있다면 개선할 여지가 있다는 것이다. 이 관점에서는 데이터가 바뀔 때마다 모델을 다시 학습하거나 점검하는 비용이 반복 실행으로 얻는 절감분보다 작은지가 관건이다.

또 다른 사용자는 모델이 random_page_cost 설정을 바꿔 쓴 점에 주목했다. 기본 계획 쪽의 이 값이 실행 환경에 맞지 않았다면 성능 차이의 일부는 모델의 계획 탐색이 아니라 설정 차이에서 왔을 수 있다는 의문이다. 비교의 공정성을 따질 때 두 계획의 실행 시간뿐 아니라 각각에 적용된 설정도 봐야 한다는 지적이다.

마지막으로 한 사용자는 일회성 쿼리보다 빠른 거래 쿼리나 정기적인 분석 쿼리가 더 중요하다는 필자의 문제 설정에 동의했다. 복잡하지만 예측 가능한 쿼리가 반복된다면 계획을 미리 개선할 이유가 있다는 주장이다. 다만 그 목적을 이루는 데 꼭 언어 모델이 필요한지는 별개라고 봤다.

살펴볼 점

이 실험은 AI가 포스트그레스의 빠른 기본 최적화기를 통째로 대신한다기보다, 반복되는 분석 쿼리에 시간을 들여 더 나은 실행 방법을 찾아두는 도구가 될 수 있음을 보여준다. 동시에 성능이 얼마나 향상됐는지 판단하려면 캐시, 측정 방식, 기본 설정을 같은 조건에서 따져야 한다는 점도 드러냈다. 앞으로 볼 것은 새 데이터나 통계 변화 뒤에도 선택한 계획이 빠른지, 그리고 모델을 학습·재평가하는 비용을 반복 실행의 절감분이 넘어서는지다.


원본: Training a 4B model to produce 81% faster query plans than Postgres

토론: Hacker News