아르고노트 랩스(argonautlabsai)가 2조8000억 매개변수 규모의 키미 K3(Kimi K3)를 M5 맥스 맥북 프로 한 대에서 구동하고, 긴 답변을 생성할 때 초당 1토큰의 속도를 기록했다. 128GB 메모리에 담기 어려운 전문가 가중치를 SSD 네 개에서 읽어 오는 방식이다. 다만 512토큰짜리 질문을 입력하면 첫 답변이 나오기까지 약 6분 18초가 걸린다. 이 실험은 거대 모델의 로컬 실행 가능성을 보여주는 동시에, 답변 생성 속도만으로는 실제 사용성을 판단하기 어렵다는 점을 드러낸다.
핵심 요약
- 아르고노트 랩스는 델타핀(Deltafin)을 확장해 전문가 가중치 1.45TB를 SSD 네 개에서 읽으며 키미 K3를 실행했고, 대용량 메모리 없이 전체 모델을 다루는 경로를 제시했다.
- 512토큰 답변의 첫 토큰 이후 생성 속도는 초당 1.00토큰이지만, 512토큰 질문의 첫 토큰 대기 시간은 약 6.3분이어서 체감 성능에는 큰 차이가 난다.
- SSD 한 개는 네 개를 썼을 때의 약 52%, 세 개는 약 90% 속도를 냈으며, 총대역폭보다 한 층에서 가장 늦게 끝나는 읽기가 성능을 좌우했다.
- 프로젝트는 전문가 가중치를 줄이지 않고 K3가 모든 출력 토큰을 확인하도록 설계해, 저장 공간과 속도보다 모델 실행의 충실도를 우선했다.
- 공개된 수치는 지정된 질문으로 각각 한 번씩 실행한 결과이며, 프로젝트는 다른 장비에서의 설치와 벤치마크 재현을 요청하고 있다.
맥북 프로 한 대와 SSD 네 개
아르고노트 랩스가 공개한 아르고드라이브 델타핀(ARGODRIVE Deltafin)은 기존 델타핀 실행 엔진에 저장장치 관련 작업과 벤치마크 패키지를 더한 포크다. 대상 모델인 키미 K3는 전문가 혼합(MoE·입력에 따라 일부 전문가를 선택해 쓰는 구조) 모델로, 전체 매개변수가 2조8000억 개에 이른다. 프로젝트는 이 가운데 1.45TB에 달하는 전문가 가중치를 M5 맥스와 128GB 메모리를 탑재한 맥북 프로 밖의 SSD 네 개에서 읽어 왔다. 원래 엔진은 가바미디어(gavamedia)가 만들었으며, 이번 작업은 그 위에 저장장치 구성과 측정 자료를 얹었다.
프로젝트가 내세우는 목표는 모델을 작게 만들어 노트북에 맞추는 것이 아니다. 키미 K3가 사용하는 16개 전문가를 유지하고, 각 출력 토큰에 대한 최종 판단을 K3에 맡기는 것이다. 작성자는 이를 일반 사용자를 위한 제품 제안보다 소비자용 하드웨어의 한계를 시험하는 실험으로 설명한다. 모델이 겨냥한 16개 노드와 총 약 4.8TB의 비디오 메모리 환경을 생각하면, 맥북 프로에서의 실행 자체가 극단적인 제약 아래 이뤄진 셈이다.
초당 1토큰, 첫 답변은 6분 뒤
측정 결과는 무엇을 속도로 부르느냐에 따라 다르게 읽힌다. 512토큰짜리 답변에서는 첫 토큰이 나온 뒤 초당 1.00토큰을 생성했고, 128토큰 답변에서는 초당 1.13토큰을 기록했다. 공개된 17토큰 질문에 대한 수치는 초당 0.96토큰으로, 프로젝트가 적은 기존 엔진의 해당 수치 0.68토큰보다 높다. 이 값들은 모두 첫 토큰 이후의 생성 속도이며, 각 조건에서 같은 질문으로 한 번씩 실행한 결과다.
질문을 읽고 첫 토큰을 준비하는 과정인 프리필(prefill·입력 내용을 처리해 답변을 준비하는 단계)을 포함하면 이야기가 달라진다. 512토큰 질문은 첫 토큰이 나오기까지 약 6.3분이 걸렸다. 프로젝트는 현재 프리필 과정에서 각 층의 전문가를 여덟 번 다시 읽는 문제를 원인으로 지목하고, 이를 고칠 계획이라고 밝혔다. 아직 수정된 구현은 없으므로, 초당 1토큰이라는 숫자를 질문 직후부터의 응답 속도로 받아들여서는 안 된다.
SSD를 늘려도 속도가 비례하지 않는 이유
저장장치를 네 개 쓴다고 한 개보다 네 배 빨라지는 것도 아니다. 같은 질문으로 비교했을 때 SSD 한 개 구성은 네 개 구성의 약 52%, 완전한 미러 두 개는 약 73%, 세 개는 약 90%의 속도를 냈다. 장치를 추가할수록 얻는 이득이 줄어든다는 뜻이다. 프로젝트는 이 결과를 단순한 총전송량보다 전문가 파일을 읽는 방식에서 설명한다.
K3의 한 층이 진행되려면 필요한 전문가 읽기 16건이 모두 끝나야 한다. 따라서 가장 늦게 끝나는 한 건이 다음 단계로 넘어가는 시간을 정한다. 토론에서 작성자는 네 SSD의 합산 대역폭 상한이 약 33GB/s였지만, 한 개에서 네 개로 늘린 결과가 4배 가속은 아니었다고 설명했다. 초기에 시도한 RAID 0도 각 읽기가 모든 드라이브에 걸치면서 가장 느린 장치를 기다려야 해 오히려 불리했다고 밝혔다.
전문가 가중치는 그대로, 초안은 검증
델타핀이 고수하는 기준은 K3의 전문가 뱅크를 약 3비트 수준으로 다시 인코딩해 저장 공간을 줄이는 다른 접근과 구별된다. 작성자는 전문가 가중치를 문샷 AI(Moonshot AI)가 배포한 바이트 그대로 사용하겠다고 강조한다. 더 작게 만든 모델이 어느 정도의 품질 손실을 가져오는지 측정되지 않았다는 것이 이 선택의 이유다. 다만 저장 준비 과정에는 상주 부분을 위한 기본 row-int8 형식도 포함되므로, 이 원칙의 초점은 전문가 가중치를 축소하지 않는 데 있다.
작은 모델이 답변 초안을 미리 추측하는 방식은 허용한다. 실제로 입력 토큰과 출력 토큰의 최종 결정권은 K3에 두고, 추측한 결과를 K3가 확인하게 설계했다. 기본 설치에 포함되는 디스파크(DSpark)는 유리한 경우 채팅과 서버 요청에 쓰이며, 실패하거나 메모리 여유가 부족하면 전체 K3만으로 계속 실행한다. 별도 선택 항목인 큐원(Qwen)은 원시 텍스트 이어 쓰기에서만 속도를 높이며, 프로젝트는 17토큰 생성 시험 한 건에서 출력 토큰 ID를 유지한 채 2.7배 빨라졌다고 밝혔다.
1.7TB 전체 설치와 필요할 때 받기
모델을 준비하는 경로도 두 가지다. 전체 설치는 약 1.7TB의 K3 모델을 디스크에 내려받는 방식으로, 프로젝트가 가장 빠른 선택지로 안내한다. 저장 공간이 부족하면 약 215GB로 시작해 필요한 전문가를 사용할 때 내려받는 스트리밍 방식을 택할 수 있다. 이 경우 처음에는 요청한 경로의 전문가가 로컬 캐시에 없어 훨씬 느리게 동작하고, 사용하면서 캐시가 쌓인다.
델타핀은 명령줄에서 채팅 형식의 질문과 원시 텍스트 이어 쓰기를 모두 지원한다. 채팅에는 K3용 대화 템플릿과 종료 표식을 적용하지만, 원시 이어 쓰기는 같은 종료 경계가 없어 생성 길이를 지정하도록 안내한다. 대화가 길어지면 새 질문뿐 아니라 기존 대화 내용도 처리해야 하므로 프리필과 캐시 부담이 커진다. 설치할 수 있다는 사실과 긴 대화를 원활하게 주고받을 수 있다는 사실은 별개다.
작은 API 서버와 공개된 측정 조건
로컬 서버는 오픈AI(OpenAI) 호환 API의 일부를 제공한다. 채팅 생성, 텍스트 이어 쓰기, 모델 목록을 호출할 수 있고 응답을 순차적으로 받는 스트리밍도 지원한다. 다만 텍스트만 처리하고 한 번에 하나씩 생성하며, 지원하지 않는 요청을 조용히 무시하는 대신 오류로 거절한다. 프로젝트는 자체 인증과 네트워크 경계를 추가하지 않는 한 서버를 로컬 접속에만 두라고 안내한다.
측정 자료에는 실행 환경 설정, 결과 로그, 전문가 파일 배치 기록이 함께 들어 있다. 공개 수치는 각각 정확히 지정한 질문으로 한 번 실행한 ‘콜드 런’이므로, 반복 측정의 평균값으로 읽을 수는 없다. 아르고노트 랩스는 독립적인 설치 성공 사례 다섯 건과 재현된 벤치마크 비교 세 건을 목표로 제시했으며, 이는 이미 확보한 보고 건수가 아니다. 다른 장비에서 비교하려면 네 SSD 배치를 그대로 가정하지 말고 모델 경로와 파일 배치를 해당 하드웨어에 맞춰야 한다.
커뮤니티 의견
한 사용자는 이 속도가 느리게 보여도 몇 년 전이었다면 매우 유용하게 받아들여졌을 것이라고 했다. 모델이 더 뛰어나지만 훨씬 느린 환경이었다면, 사람들은 질문을 보내기 전에 더 오래 준비했을 것이라는 의견이다. 현재의 빠른 대화형 AI에 익숙한 기준과 기술 자체의 가능성을 구분해 보자는 시각이다.
다른 사용자는 지금 로컬에서 2조8000억 매개변수 모델을 실행하기 어렵다는 점에서 이번 결과를 출발점으로 평가했다. 이에 자신에게는 H100 여덟 개가 ‘로컬’ 장비라는 농담 섞인 반응도 달렸다. 같은 로컬 실행이라는 말이라도 보유한 하드웨어에 따라 뜻이 크게 달라진다는 점을 짚은 대화다.
맥북 프로의 메모리를 증설할 수 없어 SSD가 필요해졌다는 지적도 나왔다. 답글은 메모리를 대량으로 늘릴 수 있는 오래된 서버를 쓰더라도, 거대 언어 모델에 필요한 연산 성능과 메모리 대역폭을 함께 얻기 어렵다고 반박했다. 또 SSD 연결 방식이 궁금하다는 질문에는 썬더볼트 5 인클로저에 4세대 SSD 한 개와 5세대 SSD 세 개를 넣었다는 설명이 붙었다.
한 사용자는 발표에서 생성 속도만 부각하면 실제 성능을 오해하기 쉽다고 했다. 답변보다 읽어야 할 입력이 긴 작업에서는 512토큰 질문을 처리하는 데만 약 6분이 걸린다는 사실이 더 중요하다는 것이다. 입력 처리는 보통 묶어서 처리해 더 빠르지 않느냐는 질문도 이어졌는데, 이번 구성의 프리필 문제가 왜 두드러지는지 묻게 한다.
모델을 모듈화해 질문마다 작은 부분만 읽으면 되지 않느냐는 제안에는, 그것이 전문가 혼합 모델의 발상이라는 답글이 달렸다. 또 긴 문맥에서 생성 속도가 떨어질 것을 우려하는 의견에 프로젝트 측은 20만 토큰 문맥을 측정하지 않았다고 답했다. 현재 구성에서 실제로 사용할 수 있는 문맥은 약 4400토큰이며, 훨씬 긴 입력에서는 생성보다 프리필이 더 큰 장애물이라는 설명이다.
더 빠른 옵테인(Optane) SSD가 도움이 될지 묻는 의견에도 회의적인 답이 나왔다. 프로젝트 측은 한 번에 읽는 전문가 파일이 17.5MB여서 접근 지연보다 파일 전송 시간과 16개 읽기 중 가장 늦게 끝나는 작업이 중요하다고 설명했다. SSD를 더 많이 붙이거나 RAID로 묶으면 속도가 그만큼 오를 것이라는 주장에도, 실제 측정에서는 장치 수를 늘릴수록 추가 이득이 줄었다는 반론이 제시됐다.
핵심 통찰
이번 실험이 바꾼 것은 거대 모델의 로컬 실행을 논의하는 기준이다. 메모리에 전부 싣지 못하는 모델도 SSD에서 전문가를 읽어 실행할 수 있지만, ‘실행된다’는 사실과 ‘대화에 쓸 만하다’는 평가는 분리해야 한다. 앞으로 볼 지점은 초당 생성 토큰보다 프리필의 반복 읽기를 줄였을 때 첫 답변 대기 시간이 얼마나 짧아지는지, 다른 장비에서도 같은 경향이 재현되는지다. 전문가 가중치를 유지한다는 원칙이 실제 사용성과 어디서 균형을 이루는지도 그 결과에 달려 있다.
토론: Hacker News