프리즘ML(PrismML)이 27B급 모델을 5.9GB에 담은 ‘테너리 본사이 2 27B(Ternary Bonsai 2 27B)’를 공개했다. 회사는 원래 모델보다 저장 크기를 9분의 1 수준으로 줄이면서 종합 평가 성능의 98.2%를 유지했다고 밝혔다. 작은 파일을 만드는 데 그치지 않고 코딩, 이미지 이해, 도구 사용까지 로컬 기기에서 실행하려는 시도다. 다만 평가 점수와 실제 작업 경험이 얼마나 일치하는지는 초기 사용자들의 시험에서 쟁점으로 떠올랐다.
핵심 요약
- 프리즘ML은 큐원3.8 27B(Qwen3.8 27B)를 바탕으로 테너리 본사이 2 27B를 만들고, 전체 모델 크기를 5.9GB로 줄여 로컬 실행 범위를 넓혔다.
- 모델은 가중치당 실효 1.76비트를 사용하면서 원래 모델 대비 종합 벤치마크 성능의 98.2%를 유지해, 압축과 성능 사이의 간격을 좁혔다.
- 엔비디아(NVIDIA) 지포스 RTX 5090에서 최대 초당 143토큰을 기록했지만, 사용자들의 실제 실행 속도와 작업 품질 평가는 기기와 환경에 따라 달랐다.
- 모델 가중치는 아파치 2.0(Apache 2.0) 라이선스로 공개됐으나, 일부 사용자는 실행에 프리즘ML의 별도 런타임이 필요하다고 지적했다.
- 토론에서는 종합 점수보다 긴 코딩 작업의 안정성, 일반적인 양자화 모델과의 비교, 하드웨어 지원 범위가 더 중요한 검증 대상으로 꼽혔다.
첫 본사이에서 두 번째 27B 모델로
프리즘ML은 첫 본사이 27B 모델을 내놓은 지 두 달 만에 후속작을 공개했다. 첫 모델이 27B급 멀티모달 모델을 로컬 기기에서 효율적으로 돌릴 수 있다는 가능성을 보여줬다면, 이번에는 실제 작업에 필요한 품질과 실행 성능을 끌어올리는 데 초점을 맞췄다고 설명한다. 기반 모델도 큐원3.8 27B로 바꾸고 추론, 코딩, 이미지 이해, 에이전트(목표를 수행하기 위해 여러 단계를 이어 가는 AI)의 능력을 강화했다고 밝혔다.
회사가 제시한 변화는 새 모델의 성능을 높이면서도 작은 메모리 사용량을 유지했다는 점이다. 복잡한 문제에 한 번에 답하는 일보다 여러 차례 도구를 호출하고 결과를 확인하는 작업에서는 작은 오류가 뒤로 갈수록 커질 수 있다. 프리즘ML이 코딩과 장기 에이전트 작업의 성능 유지를 강조하는 이유도 여기에 있다.
세 가지 가중치로 만든 5.9GB
테너리 본사이 2 27B는 모델의 가중치를 −1, 0, +1 세 값으로 나타내는 삼진 표현을 쓴다. 여기에 그룹별 FP16 스케일링(가중치 묶음마다 별도의 보정값을 적용하는 방식)을 더해 가중치당 실효 1.76비트를 사용하며, 전체 모델 크기는 5.9GB라고 밝혔다. 이런 저비트 표현은 언어 모델 전반에 적용됐다.
비교 대상인 원래의 전정밀도 모델보다 크기는 9분의 1보다도 작다. 회사가 내세우는 핵심은 단순히 저장 공간을 아낀다는 데 있지 않다. 같은 메모리 안에 더 큰 모델을 넣거나, 기존에는 모델을 올리기 어려웠던 기기에서도 추론을 실행할 여지를 만든다는 주장이다. 압축이 성능을 크게 떨어뜨리지 않는다면 모델을 배치할 수 있는 장소 자체가 달라진다.
종합 83.9점이 말하는 것
프리즘ML은 추론, 수학, 코딩, 지시 이행, 이미지 이해, 도구 사용을 아우르는 평가에서 테너리 본사이 2 27B가 종합 83.9점을 얻었다고 밝혔다. 이는 기반 모델인 전정밀도 큐원3.8 27B의 종합 성능 중 98.2%에 해당한다. 회사는 전정밀도 큐원3.6 27B도 비교 대상으로 제시했으며, 개별 평가 결과는 백서에 담았다고 안내했다.
이 수치는 이전 본사이 27B 세대의 성능 유지율 95%보다 높다. 프리즘ML은 특히 코딩 에이전트와 멀티모달 작업처럼 단계마다 오차가 누적될 수 있는 영역에서 성능을 상당 부분 보존했다고 강조한다. 회사가 말하는 ‘거의 손실 없는 압축’은 모든 작업의 결과가 같다는 뜻보다는, 여러 평가를 합친 점수에서 원래 모델과의 격차가 작아졌다는 뜻에 가깝다.
코딩과 컴퓨터 사용을 겨냥한 시연
프리즘ML은 RTX 5090에서 테너리 본사이 2 27B로 구동한 클라인(Cline) 코딩 에이전트와 컴퓨터 사용 시연을 공개했다. 회사가 제시한 활용처에는 코드를 수정하고 검증하는 반복 작업, 화면을 다루는 작업, 비공개 문서 분석, 이미지와 텍스트를 함께 살피는 디버깅이 포함된다. 민감하거나 자주 반복되는 일은 로컬 모델에 맡기고, 필요할 때만 클라우드를 부르는 혼합형 구성도 제안했다.
이런 작업에서는 답변 한 번의 품질뿐 아니라 다음 단계를 계속 이어 갈 수 있는지가 중요하다. 예컨대 코딩 에이전트는 작성한 코드를 확인한 뒤 다시 수정해야 하고, 컴퓨터 사용 작업은 화면 상태에 따라 다음 행동을 바꿔야 한다. 프리즘ML은 작은 모델 크기에도 이런 연속 작업을 수행할 능력을 남겼다는 점을 출시의 주요 성과로 내세운다.
RTX 5090의 초당 143토큰
프리즘ML이 발표한 최대 생성 속도는 RTX 5090에서 초당 143토큰, 애플(Apple) M5 맥스에서 초당 46.8토큰이다. 토큰은 모델이 텍스트를 처리하고 생성하는 단위로, 생성 속도가 높을수록 사용자가 다음 결과를 기다리는 시간이 줄어든다. 회사는 코딩 보조 도구라면 수정과 디버깅 사이의 대기 시간을, 멀티모달 에이전트라면 화면·문서·도구 호출을 오가는 시간을 줄일 수 있다고 설명한다.
전력 사용량으로는 RTX 4090에서 토큰당 0.714mWh를 제시했다. 프리즘ML은 이 수치가 전정밀도로 실행한 8B 모델보다 에너지 효율이 40% 높다고 밝혔다. 로컬에서 오래 켜 두는 보조 도구를 생각하면 속도만큼 전력도 중요한 조건이다. 회사는 같은 기기에서 더 많은 추론을 수행하고 클라우드 호출 의존도를 줄이는 방향으로 이 결과를 해석했다.
95%에서 98%를 넘긴 압축 효율
프리즘ML은 이전 세대의 95%에서 이번 98.2%로 높아진 성능 유지율이 저비트 모델의 쓰임을 바꾼다고 본다. 압축 모델을 원본의 부족한 대체품이 아니라, 배포할 때 먼저 고려할 수 있는 형태로 만들겠다는 구상이다. 같은 메모리 안에서 더 큰 모델을 쓰거나 같은 하드웨어로 더 많은 요청을 처리하는 일이 그 예다.
회사가 제시한 범위는 개인 기기에만 머무르지 않는다. 워크스테이션과 데이터센터에서도 메모리, 연산량, 전력 예산 안에 얼마나 쓸 만한 성능을 담을지가 중요해진다는 주장이다. 로컬과 클라우드 가운데 작업을 어디서 처리할지 동적으로 고르는 시스템도 이 구상에 포함된다. 모델의 절대적인 성능만이 아니라 주어진 자원에서 얻는 성능을 경쟁 기준으로 삼겠다는 것이다.
CUDA와 MLX로 넓힌 실행 기기
테너리 본사이 2 27B는 엔비디아 GPU에서 쿠다(CUDA)를 통해, 맥·아이폰·아이패드에서는 MLX를 통해 실행할 수 있다고 프리즘ML은 밝혔다. 두 환경에는 회사가 만든 저비트 전용 커널(해당 하드웨어에서 계산을 수행하는 코드)이 쓰인다. 모델은 26만2000토큰의 문맥 창을 지원하고, 텍스트와 이미지를 함께 입력받을 수 있다.
모델 가중치는 아파치 2.0 라이선스로 공개됐다. 프리즘ML은 압축 방법과 평가·측정 과정의 기술적 세부 사항을 백서에 실었다고 안내한다. 다만 가중치를 내려받을 수 있다는 사실과 원하는 실행 도구에서 곧바로 돌아간다는 것은 별개다. 실제 설치 경로와 하드웨어별 지원 상태는 로컬 배포를 시도하는 사용자에게 중요한 조건이 된다.
응용 분야에 맞춘 후속 작업
프리즘ML은 특정 분야의 데이터로 모델을 추가 학습하거나 목표 하드웨어에 맞춰 추론을 최적화하는 협업도 제안했다. 메모리, 응답 지연, 전력 제한이 엄격한 AI 제품을 겨냥한 제안이다. 한 가지 모델 파일을 공개하는 데서 끝내지 않고 사용 환경별로 모델과 실행 방식을 조정하겠다는 방향이다.
회사는 캘리포니아 공과대학교 연구진 출신 팀에서 출발했다고 소개했다. 설립 당시 코슬라 벤처스(Khosla Ventures), 세르베루스(Cerberus), 구글(Google)의 지원을 받았고 삼성(Samsung)의 지속적인 지원도 받고 있다고 밝혔다. 프리즘ML은 추론 능력을 최대한 보존하면서 신경망을 압축하는 문제를 계속 다뤄 왔다고 설명한다. 이번 공개는 그 접근이 27B급 멀티모달 모델의 배포 조건을 얼마나 바꿀 수 있는지 보여주려는 결과물이다.
커뮤니티 의견
한 사용자는 GGUF(모델 가중치를 배포하는 파일 형식)를 내려받아 시험하려면 프리즘ML의 라마닷CPP(llama.cpp) 별도 버전이 필요하다고 설명했다. 자신의 M5 프로에서는 처음에 초당 약 20토큰, 서버를 재시작한 뒤에는 44토큰이 나왔다고 했다. 실행 과정에서 기기 관련 경고도 봤다며 속도 차이의 원인은 알 수 없다고 덧붙였다. 답글에서는 해당 설치 방법이 회사의 시연 저장소 안내와 일치하는지도 확인해야 한다는 지적이 나왔다.
‘9배 더 작다’는 표현을 문제 삼는 의견도 있었다. 한 사용자는 새 모델의 크기가 원래 모델의 약 9분의 1이라고 쓰거나, 원래 모델이 새 모델보다 9배 크다고 해야 관계가 명확하다고 주장했다. 반면 속도를 설명할 때 ‘9배 빠르다’고 말하듯 크기 비교에서도 직관적으로 이해된다는 반론이 붙었다. 성능 논의에 앞서 압축 비율을 어떻게 전달할 것인지를 두고도 의견이 갈린 셈이다.
한 사용자는 새 모델을 기반 모델과 나란히 시험한 코딩 과제 사례를 거론하며 ‘거의 손실 없는 압축’이라는 표현을 신중하게 읽어야 한다고 말했다. 답글에서는 벤치마크 점수와 직접 사용한 경험 사이에 차이가 있으며, 메모리가 제한된 환경의 짧은 자유 형식 출력에는 흥미롭지만 코딩 에이전트로 쓰기는 어렵다는 평가가 나왔다. 종합 점수가 높아도 긴 작업에서 필요한 안정성이 충분한지는 별도로 봐야 한다는 관점이다.
브라우저에서 실행할 수 있다는 점에 주목한 사용자도 있었다. 그는 이전 모델과 마찬가지로 작은 크기에 비해 잘 작동하지만, 긴 과제를 주면 결과가 크게 무너진다고 평했다. 답글에는 픽셀 9 프로에서는 실행 중 오류가 났다는 경험과, M4 맥스의 사파리에서는 초당 40토큰이 나왔다는 경험이 함께 달렸다. 같은 모델이라도 기기와 작업 길이에 따라 인상이 달라졌다.
압축 방식 자체를 묻는 의견도 나왔다. 한 사용자는 실효 1.76비트라는 수치가 인상적이지만, 일반적인 큐원 저비트 양자화(가중치를 적은 비트로 표현해 모델을 줄이는 방식)와 직접 비교한 설명을 더 보고 싶다고 했다. 답글에서는 단순히 가중치를 세 값 중 하나로 반올림하는 방식과는 다르며, 변환과 그룹별 보정이 들어간다는 설명이 제시됐다. 같은 비트 수만 보고 모델 품질을 비교하기 어렵다는 뜻이다.
언슬로스(Unsloth)의 큐원 양자화 모델과 비교해 달라는 질문도 이어졌다. 한 답글은 언슬로스 방식이 파일 크기를 더 쓰는 대신 정밀도를 조금 더 확보하는 것으로 이해한다며, 프리즘ML은 다른 접근으로 크기를 줄인 것 같다고 말했다. 다른 답글은 프리즘ML의 모델 배포 페이지에 일부 언슬로스 양자화 버전과 비교한 표가 있다고 짚었다. 사용자들이 원하는 비교 대상은 전정밀도 원본뿐 아니라 실제로 내려받아 쓸 수 있는 다른 압축 모델이었다.
압축이 더 큰 모델에도 적용된다면 고성능 소비자용 하드웨어에서 쓸 수 있는 모델의 범위가 넓어질 것이라는 추측도 나왔다. 한 사용자는 이런 변화가 대형 AI 연구소의 경쟁 우위를 흔들 수 있는지 물었다. 답글에서는 코딩 같은 용도에서 연구소 모델의 성능 차이가 여전히 남아 있으며, 사람들이 클라우드 서비스를 택하는 이유도 하드웨어 부족만은 아니라는 반론이 제기됐다. 압축률을 다른 모델에 그대로 적용한 전망과 실제 경쟁 구도는 구분해야 한다는 취지다.
16GB 그래픽카드에서 큐원3.8 27B를 써 보고 싶다는 사용자는 이번 모델의 작은 크기를 반겼다. 하지만 뒤이은 답글에서는 프리즘ML의 라마닷CPP 별도 버전이 쿠다, CPU, 벌컨(Vulkan)용 커널만 제공하고 인텔 하드웨어에서 쓰려는 SYCL은 지원하지 않아, 시험한 기기에서 쓸 만한 결과를 얻지 못했다는 경험이 나왔다. 파일이 메모리에 들어가는 것과 해당 기기에서 제대로 가속되는 것은 다른 문제라는 지적이다.
살펴볼 점
본사이 2 27B는 모델을 고르는 기준을 ‘가장 성능이 높은 모델’에서 ‘내 기기의 메모리와 전력 안에서 충분히 잘 작동하는 모델’로 옮기려 한다. 5.9GB에 종합 성능 98.2%를 담았다는 수치는 그 방향을 선명하게 보여준다. 다만 로컬 AI의 쓸모는 종합 점수 하나로 결정되지 않는다. 앞으로는 긴 코딩·도구 사용 작업에서 오류가 얼마나 쌓이는지, 비슷한 크기의 다른 압축 모델과 비교해 어떤지, 여러 하드웨어에서 설치와 가속이 얼마나 매끄러운지를 함께 봐야 한다.
원본: PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
토론: Hacker News