ds4, 대형 AI 모델을 로컬 작업 도구로 묶다

레디스(Redis) 창시자의 프로젝트로 소개된 드워프스타 4(DwarfStar 4, ds4)는 대형 오픈 가중치 AI 모델을 고용량 메모리 기기에서 로컬로 실행하는 추론 엔진이다. 딥시크(DeepSeek), GLM, 큐원(Qwen) 계열 모델을 다루며, 모델을 압축해 메모리에 올리고 긴 대화의 처리 상태를 SSD에 저장하는 데 초점을 맞췄다. 채팅 명령줄부터 로컬 API, 코딩 에이전트까지 한 엔진으로 묶었다는 점도 눈에 띈다. 다만 ‘로컬에서 실행된다’는 말보다 중요한 것은 어떤 모델이 어느 용량의 기기에서, 어떤 속도로 돌아가는지다.

핵심요약

  • ds4는 고용량 메모리 맥(Mac)과 쿠다(CUDA)·록엠(ROCm) 환경을 겨냥한 C 기반 추론 엔진으로, 지원 모델과 하드웨어 범위를 좁혀 최적화에 집중한다.
  • 전문가 혼합 모델의 일부를 비대칭 2비트로 양자화해 메모리 부담을 줄이면서, 중요한 공통 경로는 더 높은 정밀도로 유지한다.
  • 긴 입력의 KV 캐시를 SSD에 저장하고 재사용해, 재시작할 때마다 같은 내용을 처음부터 다시 처리하는 일을 줄인다.
  • 명령줄 채팅, 로컬 HTTP API, 지속형 코딩 에이전트가 모델 상태와 캐시를 공유해 로컬 모델을 여러 작업에 연결한다.
  • 제시된 속도는 특정 맥 구성의 추정치인 만큼, 실제 선택에는 모델별 메모리 요구량과 사용 환경을 함께 봐야 한다.

원격 서버 대신 고용량 메모리 기기

드워프스타 커뮤니티가 소개한 ds4는 거대한 오픈 가중치 모델을 원격 서버가 아닌 사용자의 기기에서 돌리는 데 출발점을 둔다. 대표 사례인 딥시크 V4 플래시는 매개변수 2840억 개 규모의 전문가 혼합 모델(MoE·입력에 따라 일부 전문가만 활성화하는 구조)이다. 보통은 원격 환경에서 서비스할 만한 크기지만, ds4는 모델의 저장 방식과 실행 방식을 조정해 고용량 메모리 기기에서 다루려 한다. 여기서 ‘로컬’은 아무 컴퓨터에서나 가볍게 실행된다는 뜻이 아니라, 큰 모델에 맞는 기기를 직접 갖추고 운영한다는 뜻에 가깝다.

엔진은 C로 작성됐고 메탈(Metal), CUDA, ROCm 환경을 대상으로 한다. 지원 범위에는 딥시크 V4·V4.1 플래시, GLM 5.x, 큐원 3.8 플래시 넥스트가 들어가며 텍스트와 비전 모델을 다룬다. 프로젝트는 MIT 라이선스로 공개됐다. 모델과 실행 환경을 모두 넓히는 대신, 선택한 대형 모델을 지정된 기기에서 작동시키는 데 초점을 맞춘 구성이 특징이다.

전문가를 줄이고 공통 경로는 지키다

핵심 기법은 비대칭 2비트 양자화다. 양자화는 모델의 수치를 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법이다. ds4는 MoE 모델에서 입력에 따라 선택되는 전문가 부분을 강하게 압축하면서, 여러 연산이 함께 쓰는 중요한 경로는 높은 정밀도로 남긴다고 설명한다. 모델 전체에 똑같은 압축률을 적용하지 않는다는 점이 ‘비대칭’이라는 이름에 담겼다.

이 설계는 모델을 작게 만드는 것 자체보다 실행 가능한 기기의 범위를 넓히는 데 목적이 있다. 다만 어떤 모델을 어떤 정밀도로 올리느냐에 따라 필요한 용량은 달라진다. 사이트는 V4 플래시 Q2를 기본 구성으로 제시하고, 128GB 기기에서는 GLM 5.3 Q2와 큐원 Q4도 들어간다고 안내한다. 같은 용량에서 딥시크 V4.1 Q2는 SSD에서 데이터를 읽어 들이며 실행하는 방식으로 제시돼, ‘메모리에 들어가는 모델’과 ‘저장장치의 도움을 받는 모델’이 구분된다.

긴 대화의 처리 상태를 SSD에 남기다

ds4는 모델 가중치만큼이나 긴 입력을 다시 처리하는 비용에도 주목한다. 대화나 문서의 앞부분을 계산해 둔 KV 캐시(이미 처리한 문맥의 중간 계산값)를 SSD에 저장하고, 입력을 식별하는 프롬프트 해시를 이용해 이어서 사용할 수 있게 했다. 프로그램을 다시 시작하더라도 같은 긴 앞부분을 처음부터 모두 처리할 필요가 없도록 하려는 설계다. 긴 자료를 반복해서 참조하는 작업에서는 모델을 실행하는 속도뿐 아니라 이전 계산을 얼마나 되살릴 수 있는지도 중요해진다.

사이트가 기능 목록에 내건 SSD 스트리밍도 같은 방향에 있다. 메모리에 모든 것을 상주시킬 수 없는 구성을 위해 저장장치를 실행 경로에 끌어들이는 방식이다. 동시에 텐서 병렬 처리, 세션 배칭, 비전 입력 등도 지원 항목으로 제시한다. 다만 각 기능의 이름만으로 모든 모델과 기기에서 같은 사용 경험을 기대하기보다는, 선택한 모델에 맞는 하드웨어 안내를 확인해야 한다.

채팅·API·에이전트가 한 상태를 공유하다

실행 인터페이스는 세 갈래다. ./ds4는 명령줄 채팅, ./ds4-server는 로컬 HTTP API, ./ds4-agent는 지속형 코딩 세션에 쓰인다. 각각 별개로 모델을 다루는 도구가 아니라 같은 모델 상태와 캐시를 공유하는 한 엔진의 인터페이스라는 설명이다. 사용자는 직접 대화하는 데서 시작해 편집기나 API 클라이언트를 로컬 서버에 연결하는 방식으로 작업을 넓힐 수 있다.

이 통합은 로컬 모델을 단순한 채팅 프로그램 이상으로 쓰려는 구성이다. 긴 문맥을 저장해 다시 불러오는 기능과 지속형 세션을 같은 스택에 넣으면, 대화와 코딩 작업이 동일한 모델 실행 기반을 사용할 수 있다. 사이트는 이를 ‘모델 받기, 실행 환경에 맞게 빌드하기, 대화하기’의 순서로 제시한다. 빠른 시작 안내와 하드웨어 표를 확인한 뒤 필요한 모델을 고르는 흐름이다.

128GB 기준 수치가 말하는 것

공개된 시작 명령은 V4 플래시 Q2 가중치를 받는 ./download_model.sh ds4f-q2 && make다. 사이트는 M5 맥스(M5 Max) 128GB, 문맥 길이 32K 조건에서 생성 속도 초당 34.4토큰, 입력을 먼저 처리하는 프리필(prefill) 속도 초당 557토큰을 제시한다. 이 값은 ds4 벤치마크 표에 근거한 추정치로 소개된다. 따라서 속도를 읽을 때는 생성과 프리필을 구분하고, 함께 적힌 기기 용량과 문맥 조건도 봐야 한다.

64GB에 대한 언급도 있지만, 이를 모든 지원 모델의 동일한 실행 조건으로 읽어서는 안 된다. 사이트는 큐원을 64GB에서 다루는 방향을 내세우는 한편, 128GB에서 들어가는 구체적인 모델·양자화 조합을 따로 적었다. 딥시크 V4.1 Q2처럼 SSD 스트리밍을 전제로 한 경우도 있다. 로컬 추론에서 모델 이름 하나보다 정밀도, 메모리 용량, 저장장치 활용 방식의 조합이 더 실질적인 선택 기준이 되는 이유다.

지원 범위를 좁힌 엔진의 선택

ds4의 구성은 모든 오픈 모델을 한 도구로 실행하려는 접근과 다르다. 대형 모델을 고용량 기기에 올리는 문제를 먼저 정하고, 그에 맞춰 전문가 압축, 캐시 저장, 실행 인터페이스를 한데 묶었다. 이 덕분에 사이트의 설명도 ‘무엇을 지원하는가’에서 끝나지 않고 ‘어떤 방식으로 계속 사용할 것인가’까지 이어진다. 반대로 지원 목록에 없는 모델이나 기기는 이 엔진을 고르는 직접적인 이유가 되기 어렵다.

특히 코딩 에이전트를 기본 스택에 포함한 점은 실행 속도만을 목표로 삼지 않았음을 보여준다. 큰 모델을 한 번 띄우는 데 그치지 않고, 로컬 API를 통해 다른 도구와 연결하고 세션을 이어가는 사용 방식을 겨냥한다. 결국 ds4의 가치는 가장 많은 모델을 나열하는 데보다, 지원 모델을 사용자의 기기에서 반복적으로 쓸 수 있도록 만드는 데 있다. 그 판단은 각자의 하드웨어에서 원하는 모델이 실제로 맞는지 확인하는 순간 구체화된다.

커뮤니티 의견

한 사용자는 프로젝트의 GitHub 페이지가 해커뉴스 독자에게 더 나은 첫 소개라고 평가했다. 답글에서는 복고풍 글꼴과 애니메이션이 있는 사이트를 모두가 좋아하지는 않더라도, 한 페이지에서 프로젝트의 성격과 요구 사항, 다운로드 경로를 파악할 수 있었다는 의견이 나왔다. 기술 설명을 어디에 어떻게 배치할지를 두고 시선이 갈린 셈이다.

다른 사용자는 ds4를 공유 라이브러리로 만든 포크를 유지하며, 외부 함수 인터페이스(FFI·다른 언어에서 라이브러리를 호출하는 방식)로 여러 언어에서 쓸 수 있게 했다고 설명했다. 이를 바탕으로 만든 Go 도구에는 작업 공간 조회·편집과 기록을 남기는 기능을 붙였고, ds4의 비전·큐원 지원도 따라 반영했다고 했다. 원래 엔진의 기능이 주변 도구로 확장되는 사례다.

또 다른 사용자는 드워프스타에서 영감을 받아 인텔(Intel) Xe-LP 내장 그래픽을 쓰는 32GB 노트북용 소형 추론 엔진을 만들었다고 소개했다. 현재 지원 모델은 양자화한 젬마 4(Gemma-4) 하나라고 밝혔다. 답글에서는 ds4의 인텔 지원과 AMD 지원이 더 좋아지길 바란다는 반응이 나와, 지원 하드웨어의 경계에 관심이 모였다.

M5 맥스 128GB에서 초기 딥시크 V4 플래시 버전부터 ds4를 사용했다는 사람은 큐원 3.8 플래시 넥스트도 빠르고 긴 문맥으로 잘 돌아간다고 평가했다. 다만 모델이 앞서 말한 내용을 가끔 잊는 듯하다며, 원인이 모델인지 함께 쓰는 에이전트 실행 도구인지 구분하기 어렵다고 했다. 실행 속도와 실제 작업 품질이 별개의 문제임을 보여주는 사용 경험이다.

한 기여자는 같은 M5 맥스 128GB에서 큐원 모델의 100만 토큰 문맥을 위한 작업을 했다고 설명했다. 답글에서는 이미 같은 기기와 모델로 100만 토큰 문맥을 사용하고 있다는 반응이 나왔다. 이어 128GB 맥북 프로의 높은 가격을 지적하는 댓글도 달려, 긴 문맥 지원뿐 아니라 이를 위해 필요한 기기의 비용에도 관심이 쏠렸다.

하드웨어 선택을 두고는 다른 접근을 권하는 의견도 있었다. 한 사용자는 고급 소비자 기기를 겨냥한 ds4와 별개로 그래픽카드에서 더 작은 큐원 모델을 돌리는 프로젝트를 소개했다. 반론은 그래픽카드 역시 고급 하드웨어라며, 작은 밀집 모델 대신 공통 매개변수는 GPU에 두고 전문가 부분은 CPU와 SSD를 활용하는 MoE 구성이 더 흥미로울 수 있다고 주장했다.

도구 호출 능력을 묻는 사용자도 있었다. 이에 대한 답글은 ds4로 실행한 모델들이 직접 만든 도구를 적극적으로 호출한다고 평가하면서도, 큐원 모델을 쓰려면 현실적으로 128GB가 필요하다는 의견을 덧붙였다. 질문이 속도 수치뿐 아니라 로컬 에이전트가 실제 작업 흐름에서 얼마나 잘 움직이는지로 옮겨간 것이다.

마지막으로 다른 LLM 실행기와 무엇이 다른지 묻는 질문에는 상반된 답이 붙었다. 한쪽은 기존 실행기를 닮았다고 비판했고, 다른 쪽은 모든 모델과 하드웨어를 포괄하기보다 소비자용 기기에서 유용한 코딩·에이전트 성능을 내도록 선택지를 좁힌 점이 차이라고 봤다. ds4를 평가하는 기준 자체가 범용성인지, 특정 구성에서의 사용성인지 갈린다.

핵심통찰

ds4가 바꾸려는 것은 ‘대형 모델을 내려받을 수 있는가’가 아니라 ‘내 기기에서 같은 모델을 작업 도구로 계속 쓸 수 있는가’다. 전문가 부분의 압축은 실행 가능한 용량을 넓히고, SSD에 남기는 캐시와 공통 엔진은 긴 입력과 반복 작업의 부담을 줄인다. 동시에 토론은 고용량 기기의 가격, 지원되지 않는 하드웨어, 에이전트의 실제 품질을 함께 짚었다. 앞으로 볼 것은 지원 모델의 숫자보다 각 메모리 구성에서의 속도와 긴 문맥의 안정성, 도구를 연결했을 때의 작업 경험이다.


원본: DwarfStar 4 (ds4): Local DeepSeek V4.1, Qwen and GLM

토론: Hacker News