큐원 27B 압축 실험, 4비트는 버티고 1비트는 붕괴

큐원(Qwen) 3.8 27B는 4비트로 줄여도 이번 벤치마크에서 원본에 가까운 성능을 냈지만, 1비트에서는 성능이 급격히 무너졌다. 퀘스마(Quesma)의 피오트르 미그달(Piotr Migdał)은 모델 크기를 55GB에서 17GB까지 줄인 뒤 과학 문제와 코딩 작업을 직접 풀게 하며 차이를 확인했다. GPU 메모리 때문에 로컬 AI 실행을 망설이는 사람에게는 4비트가 실용적인 선택지라는 소식이다. 동시에 더 작게 압축할 때 어디서부터 문제 해결 능력이 손상되는지도 보여준다.

핵심 요약

  • 55GB인 BF16 원본과 17GB인 4비트 모델은 이번에 측정한 주요 벤치마크에서 비슷한 결과를 내, 24GB GPU로도 해당 모델을 실행할 길을 열었다.
  • 10.7GB인 2비트 모델은 일부 점수가 떨어졌지만 코딩 작업을 계속 수행해, 크기를 더 줄일 여지가 있음을 보여줬다.
  • 6.2GB인 1비트 모델은 과학 문제에서 무작위 추측에 가까운 성적을 냈고, 오래 추론하도록 설정하면 빈 답을 내는 경우가 늘었다.
  • 토론에서는 모델 가중치뿐 아니라 KV 캐시의 압축 방식과 필요한 문맥 길이가 실제 사용성을 좌우한다는 지적이 나왔다.
  • 일부 사용자는 특정 코딩 문제에서 4비트 이상 모델 간 차이를 경험했다며, 벤치마크의 ‘차이 없음’을 모든 작업으로 넓혀 읽지 말아야 한다고 주장했다.

55GB 원본에서 6.2GB 모델까지

큐원 3.8 27B의 BF16 원본은 55GB다. BF16은 모델 수치를 비교적 높은 정밀도로 저장하는 형식으로, 이 크기는 소비자용 GPU 한 장에 모델을 올리기 어렵게 만든다. 미그달은 언슬로스(Unsloth)가 허깅페이스(Hugging Face)에 공개한 양자화 모델을 골라, 메모리를 아끼면서 실제 작업 성능을 얼마나 유지할 수 있는지 살폈다. 양자화(모델 수치를 더 적은 비트로 표현해 크기를 줄이는 방식)의 효용을 파일 크기뿐 아니라 문제 해결 결과로 확인하려는 실험이다.

비교 대상은 29GB인 8비트 Q8_0, 17GB인 4비트 Q4_K_M, 10.7GB인 2비트 UD-Q2_K_XL, 6.2GB인 1비트 UD-IQ1_S다. 같은 27B 모델이라도 선택에 따라 필요한 메모리가 크게 달라진다. 미그달은 4비트 모델이 RTX 4090 같은 24GB 카드에 들어가며, 약 6만4000토큰의 문맥을 위한 여유도 남는다고 설명했다. 문맥은 모델이 한 번에 참고할 수 있는 입력과 대화 기록의 범위다.

이 비교가 겨냥한 질문은 단순하다. 다음 토큰을 얼마나 비슷하게 예측하는지보다, 압축한 모델이 끝내 과제를 풀어내는지가 중요하다는 것이다. 예측이 달라져도 표현만 바뀌고 답의 품질은 같을 수 있다. 반대로 토큰 하나의 차이가 논리 오류를 만들거나 출력을 갑자기 끝낼 수도 있다.

토큰 예측 대신 과제를 풀게 해 봤다

미그달은 대학원 수준의 과학 문제인 GPQA 다이아몬드(GPQA Diamond), 지시 이행 시험인 IF벤치(IFBench), 에이전트형 코딩 시험인 터미널벤치(Terminal-Bench) 2.1을 사용했다. 에이전트형 코딩은 모델이 여러 단계에 걸쳐 도구를 쓰고 작업을 진행하는 형태를 가리킨다. 먼저 BF16 원본의 결과가 발표된 성적과 맞는지 확인한 뒤, 압축 정도에 따라 결과가 어떻게 달라지는지 비교했다. 원본 성적을 재현해야 양자화의 영향을 읽을 기준점도 생긴다.

실행에는 llama.cpp의 2026년 8월 16일 빌드와 모달(Modal)의 임대 GPU를 썼고, 비용은 약 3000달러였다. 더 이른 빌드는 이 모델을 지원하지 않아 해당 빌드를 선택했다. 2·4·8비트 시험에는 언슬로스의 v2 파일을, 1비트에는 v3 파일을 사용했다. 다만 언슬로스가 8월 19일 v2 파일을 교체해, 대부분의 시험에 쓰인 정확한 파일은 현재 받을 수 없다.

모델 자체와 별도로, 미그달은 모든 시험에서 F16 KV 캐시를 유지했다. KV 캐시는 앞서 처리한 문맥 정보를 저장해 다음 토큰 생성에 활용하는 메모리 영역으로, 이 설정에서는 문맥 3만2000토큰마다 약 2.3GB를 차지했다. 따라서 모델 파일이 GPU에 들어가는지만 보고 실행 가능 여부를 판단할 수는 없다. 긴 문맥이 필요한 작업일수록 캐시까지 합친 메모리 사용량을 따져야 한다.

과학 문제와 지시 이행에서 갈린 선

GPQA 다이아몬드와 IF벤치는 한 번의 요청으로 답을 평가하는 시험이다. 미그달은 추론 노력 수준을 낮음, 중간, 기본값인 xhigh의 세 단계로 나눠 실행했다. 먼저 BF16 결과가 큐원이 발표한 결과와 맞아떨어지는 것을 확인했다. 그 위에서 4비트까지는 큰 성능 차이가 보이지 않았고, 2비트에서 점수가 다소 낮아졌다.

압축 정도 못지않게 추론 노력 설정도 결과를 바꿨다. GPQA 다이아몬드에서 가장 좋은 결과를 낸 xhigh 설정에는 약 8000개의 추론 토큰이 필요했다. 더 오래 생각하도록 하는 설정이 도움이 된 셈이지만, 모든 압축 단계에서 같은 효과를 보장하지는 않았다. 1비트에서는 오히려 오래 추론하는 설정이 실패를 늘렸다.

IF벤치에서는 11GB보다 작은 2비트 모델까지도 모델 간 차이가 나타나지 않았다고 미그달은 전했다. 그는 이 시험의 문맥이 약 4000토큰으로 더 짧다는 점도 덧붙였다. 지시 이행 결과가 좋다는 사실과 긴 문맥을 쓰는 작업에서도 같을 것이라는 기대는 구분해야 한다. 두 원샷 시험은 압축의 영향을 확인하는 출발점이지만, 장시간 이어지는 에이전트 작업 전체를 대신하지는 않는다.

89개 코딩 과제에서 버틴 4비트

터미널벤치 2.1은 89개 과제로 구성된다. 미그달은 과제마다 3시간의 제한을 두고 xhigh 설정과 9만8000토큰의 문맥을 확보해 시험했다. BF16 측정값은 발표된 결과를 재현했고, 4비트 Q4_K_M도 같은 수준의 결과를 냈다. 17GB 모델이 복잡한 코딩 작업에서도 원본과 비슷하게 작동한 점이 이번 실험의 중심 결과다.

8비트 Q8_0은 실수로 시험에서 빠졌다. 미그달은 4비트와 BF16의 결과를 보면 그 사이인 8비트를 추가로 돌릴 필요가 적고 비용도 크다고 판단했다. 따라서 이 시험에서 8비트의 코딩 점수는 직접 측정한 값이 아니다. 2비트 UD-Q2_K_XL에서는 성능 하락이 눈에 띄었지만, 미그달은 여전히 유용한 수준이라며 오퍼스(Opus) 4.7 또는 제미나이(Gemini) 3.1 프로와 비교했다.

완료 여부만 같다고 작업 과정까지 같은 것은 아니다. 두 모델이 함께 해결한 과제에서 2비트 모델은 BF16과 대체로 비슷한 횟수의 작업 단계를 거쳤지만, 생성한 토큰은 약 4분의 1 더 많았다. 압축으로 아낀 메모리가 더 긴 출력과 실행 시간으로 이어질 수 있다는 뜻이다. 로컬 실행의 효율을 판단하려면 성공률과 함께 토큰 사용량도 볼 필요가 있다.

1비트에서 무너진 답변

1비트 결과는 2비트까지의 완만한 변화와 달랐다. 미그달에 따르면 가장 나은 1비트 모델조차 해당 시험에서는 쓸 만한 성적을 내지 못했고, GPQA 다이아몬드 점수는 무작위 추측 수준에 가까웠다. 가장 작은 모델은 그 기준에도 못 미쳤다. 압축이 일정 수준을 넘으면 품질이 조금씩 떨어지는 대신 급격히 붕괴할 수 있음을 보여준다.

특히 xhigh 설정에서는 낮은 추론 노력 설정보다 결과가 나빠졌다. 모델이 답을 내기 전에 추론 토큰 예산을 소진해 빈 답변으로 끝나는 경우가 더 잦았기 때문이다. 오래 생각하게 하면 압축으로 손상된 판단력을 보완할 것이라는 기대가 1비트에서는 통하지 않았다. 미그달이 추론 노력 설정을 신중하게 골라야 한다고 강조한 이유다.

언슬로스는 6.2GB인 UD-IQ1_S가 다음 토큰의 최우선 예측을 약 72% 유지한다고 소개했다. 그러나 미그달은 나머지 차이가 실제 과제에서는 결정적이었다고 봤다. 토큰 예측 일치율이 어느 정도 남아 있어도, 과학 문제를 풀고 적절한 답을 끝까지 제출하는 능력이 유지된다는 뜻은 아니다. 그가 과제별 결과를 직접 재려 한 문제의식이 가장 선명하게 드러나는 대목이다.

GPU 메모리와 실행 비용의 계산

미그달은 L40S 48GB, H100 80GB, H200 141GB GPU를 사용했다. 임대 GPU에서 여러 시험을 돌리는 비용은 가볍지 않았으며, 그는 같은 실험을 직접 해 보려는 사람에게 대략적인 기준을 주기 위해 비용을 공개했다. 자체 장비가 있다면 계산은 달라진다. 어떤 GPU가 빠른지만이 아니라 모델과 필요한 KV 캐시가 메모리에 함께 들어가는지가 핵심 제약이다.

실행 방식에도 선택지가 있다. 미그달은 한 흐름에서 잘 작동하는 다중 토큰 예측(MTP)보다 병렬 흐름 여러 개를 쓰는 편이라고 설명했다. 또 가장 저렴한 오픈라우터(OpenRouter) 제공업체의 딥시크(DeepSeek) V4 플래시 0731 출력 가격이 100만 토큰당 약 0.1달러라고 비교했다. 그 가격 차이가 대규모 실행 효율, 가격 책정 방식, 인기 중 무엇에서 비롯되는지는 가리지 않았다.

그의 실용적 결론은 필요한 문맥까지 GPU 메모리에 넣을 수 있는 모델 가운데 가장 좋은 것을 고르라는 것이다. 이번에 시험한 작업에서는 언슬로스의 4비트 Q4_K_M이 대체로 충분했고, 더 간단한 작업에는 2비트 UD-Q2_K_XL도 선택지가 될 수 있다고 봤다. 다만 실험 내내 KV 캐시는 F16으로 유지했다. 모델 가중치와 캐시를 함께 압축했을 때 결과가 어떻게 달라질지는 별도로 살펴볼 문제로 남았다.

커뮤니티 의견

한 사용자는 GPQA 다이아몬드 그래프의 윌슨 95% 신뢰구간을 실행마다 생기는 변동과 연결한 설명을 비판했다. 신뢰구간은 반복 실행 사이의 차이를 보여주는 지표가 아니라는 지적이다. 4비트와 원본의 차이를 해석할 때 그래프가 무엇을 나타내는지 정확히 구분해야 한다는 주장이다.

다음 사용자는 코딩에 4비트 모델을 쓰면서 긴 문맥을 확보하려고 8비트 KV 캐시를 선택했다고 했다. 모델과 10만 토큰을 24GB GPU 메모리에 넣을 수 있지만, 캐시 압축으로 어떤 품질을 잃는지 궁금하다는 것이다. 답글에서는 층마다 똑같이 압축할 필요는 없다는 의견과, 다른 GPU·설정에서 가중치와 캐시를 함께 압축해 긴 문맥을 사용 중이라는 경험이 나왔다.

또 다른 사용자는 낮은 비트의 모델이 토큰 예측에서는 흔들려도 더 오래 추론해 결국 과제를 마칠 수 있다고 해석했다. 성공률이 같다면 압축의 대가가 품질 저하가 아니라 토큰 수와 시간 증가로 나타날 수 있다는 관점이다. 이 사용자는 양자화별 성공률과 함께 실제 사용 토큰도 그려 봐야 한다고 제안했다.

16GB 이하 GPU 사용자가 궁금해할 3비트 시험이 빠졌다는 지적도 나왔다. 한 사용자는 4비트와 2비트 사이의 품질 변화가 어디서 시작되는지 알아야 해당 메모리 용량에서 선택할 모델을 정할 수 있다고 봤다. 답글에는 AMD GPU에서 3비트 모델을 사용 중이지만 문맥 길이가 큰 작업을 막는다는 경험이 이어졌다.

토큰 예측 지표에 쓰는 데이터 자체를 따져야 한다는 의견도 있었다. 한 사용자는 위키 문서나 일반 대화로 계산한 예측 차이와 에이전트 작업 기록으로 계산한 값이 크게 달랐다고 했다. 코딩 작업에서는 기존 모델과 다른 토큰이 훨씬 많이 나올 수 있으므로, 발표된 일치율만 보고 실제 에이전트 성능을 기대하면 지나치게 낙관적일 수 있다는 주장이다.

글의 표현과 그래프를 평가하는 의견도 있었다. 한 사용자는 불필요한 설명, 일정하지 않은 그래프 축, 모호한 표기가 결과를 읽기 어렵게 만든다고 비판했다. 답글에서는 AI가 글쓰기에 쓰였는지를 추측하기보다, 글이 흥미로운 결과를 정확하고 간결하게 전달하는지 판단해야 한다는 반론이 나왔다.

특정 코딩 문제에서는 4비트보다 높은 정밀도가 중요했다는 경험담도 나왔다. 한 사용자는 자신이 만든 실제 작업 기반 시험에서 6비트 Q6_K_XL만 해법을 찾았고 5비트 모델들은 실패했다고 했다. 성공 사례 자체가 적다는 단서를 달면서도, 4비트 이상이면 차이를 느끼기 어렵다는 통념에는 의문을 제기했다.

마지막으로 3비트의 공백을 더 넓은 소비자용 GPU 선택 문제와 연결한 의견이 있었다. 한 사용자는 16GB GPU에서 4비트 모델에 충분한 문맥까지 담기 어렵고, 오래 실행되는 범용 에이전트라면 10만 토큰에 이를 수 있다고 주장했다. 따라서 8·10·12·16GB 메모리에서 모델과 문맥을 함께 실행할 때의 성능, 그리고 다른 모델과의 비교가 더 궁금하다고 했다.

핵심 통찰

이번 실험은 로컬 모델 선택의 기준을 ‘가장 큰 모델 파일이 들어가는가’에서 ‘필요한 문맥을 확보하고도 과제를 끝내는가’로 옮긴다. 4비트는 이 시험에서 55GB 원본의 성적을 17GB로 가져왔지만, 1비트는 작은 파일과 남아 있는 토큰 예측 능력만으로 품질을 판단할 수 없음을 드러냈다. 다음에 지켜볼 것은 16GB GPU에 맞는 3비트, 긴 문맥을 위한 KV 캐시 압축, 그리고 성공률 뒤에 숨은 토큰·시간 비용이다. 특정 어려운 작업에서 더 높은 정밀도가 필요한지도 함께 확인해야 한다.


원본: Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses - Quesma Blog

토론: Hacker News