1,250억 매개변수 AI를 게이밍 PC에서 돌리는 스트라타

스트라타(Strata)는 1,250억 매개변수 AI 모델을 일반 게이밍 PC에서 실행하도록 만든 오픈소스 추론 엔진이다. 개발자는 그래픽카드 메모리에 모델 전체를 올리는 대신 시스템 RAM과 SSD까지 나눠 쓰고, 자주 쓰는 부분을 그래픽카드에 남기는 방식으로 진입 장벽을 낮췄다. 설치 후에는 채팅뿐 아니라 코딩 도구와 앱도 로컬 API에 연결할 수 있다. 다만 ‘내 PC에서 돌아간다’는 성과를 평가하려면 속도와 함께 압축 수준, 메모리 사용량, 답변 품질을 봐야 한다.

핵심요약

  • 스트라타는 엔비디아와 AMD의 12GB 이상 그래픽카드를 갖춘 윈도·리눅스 PC에서 큐원3.8-플래시-넥스트를 실행하도록 설계해 대형 모델의 로컬 실행 문턱을 낮췄다.
  • 설치 프로그램은 하드웨어에 맞는 모델을 고르도록 돕지만, 약 70GB를 내려받고 시작할 때 RAM 35~55GB를 사용하는 만큼 그래픽카드 외 자원도 중요하다.
  • 그래픽카드에는 자주 쓰는 전문가를, RAM에는 전체 전문가를 두는 방식은 속도를 높이지만 압축률과 저장장치 사용량에 따라 경험이 달라진다.
  • 로컬 채팅과 OpenAI·앤트로픽 호환 API를 함께 제공해 기존 앱과 코딩 에이전트를 PC 안의 모델에 연결할 수 있다.
  • 토론에서는 빠른 출력에 대한 사용 경험과 함께 2비트 양자화의 품질, 이미지 처리 정확도, 다른 추론 엔진과의 비교를 요구하는 목소리가 나왔다.

1,250억 매개변수를 게이밍 PC로

스트라타가 실행하는 모델은 큐원(Qwen) 팀의 큐원3.8-플래시-넥스트(Qwen3.8-Flash-Next)다. 매개변수가 1,250억 개에 이르는 모델로, 스트라타는 이를 엔비디아(NVIDIA) 또는 AMD의 그래픽카드 메모리가 12GB 이상인 윈도(Windows)·리눅스(Linux) PC에서 돌리는 것을 목표로 한다. 개발자는 채팅과 코드 작성, 이미지 읽기, 앱 및 코딩 에이전트 연결을 지원하며 처리 내용이 PC 밖으로 나가지 않는다고 설명한다. 공개 저장소의 시연 영상에는 RTX 5070에서 IQ3_S 압축 모델과 128K 문맥을 사용해 복셀 탑 정원을 만드는 장면이 담겼다.

속도는 답변을 생성하는 단계와 입력을 읽는 단계를 나눠 봐야 한다. 프로젝트는 짧은 대화에서 답변이 나타나는 속도와 3만2,000토큰 분량의 문서·코드·대화 기록을 받아들이는 속도를 따로 측정했다고 밝혔다. 답변 측정에는 4,000토큰 길이의 출력이 쓰였고, 세부 결과는 별도 문서에 실었다. 개발자는 VRAM이 더 큰 RTX 3090 24GB에서는 초당 약 100~140토큰을 생성할 것으로 예상하지만, 이 수치는 해당 카드에 대한 전망치다.

설치 프로그램이 고르는 모델 크기

설치 방법은 윈도에서 START-HERE.bat를 실행하거나 리눅스에서 ./setup.sh를 실행하는 방식이다. 설치 프로그램이 그래픽카드를 확인해 맞는 엔진을 설정하고, 사용자에게 모델 종류와 크기, 문맥 길이, 이미지 입력 여부를 묻는다. 권장 답변을 선택하면 약 70GB의 모델을 내려받아 실행하며, 다운로드가 끊기면 다시 실행해 이어받을 수 있다. 설치가 끝나면 브라우저에서 127.0.0.1:8080 주소의 스트라타 앱이 열린다.

클로드 코드(Claude Code), 커서(Cursor), 코덱스(Codex), 깃허브 코파일럿(GitHub Copilot) 같은 AI 코딩 도구에 설치를 맡기는 방법도 안내한다. 저장소의 설정 지침을 전달하면 도구가 그래픽카드와 RAM, 디스크를 확인해 적합한 모델을 고르고 설치·실행하도록 하는 방식이다. 사용자가 직접 설치하든 도구를 이용하든, 핵심 선택지는 같은 모델을 얼마나 압축해 쓸 것인가다. 스트라타는 두세 장의 그래픽카드가 모델을 나눠 맡는 다중 GPU 구성도 지원한다.

첫 실행 때는 기다려야 한다. 개발자는 모델을 올리는 동안 PC가 13분간 느려지거나 응답하지 않을 수 있다고 안내한다. 이때 RAM에 3555GB를 적재하고 그 일부를 그래픽카드를 위해 고정하므로, 그래픽카드 메모리가 12GB라는 최소 조건만으로 전체 메모리 부담을 판단해서는 안 된다. 이후 다시 실행할 때는 같은 파일을 재다운로드하지 않으며, 실행 창을 닫으면 모델이 멈춘다.

빠른 압축본과 큰 압축본 사이

설치 프로그램은 RAM 용량을 기준으로 모델 선택을 권한다. 같은 모델이라도 양자화(모델의 수치를 더 적은 비트로 표현해 크기를 줄이는 방법) 수준이 달라 작은 압축본은 빠르고 큰 압축본은 상대적으로 성능을 더 보존한다. 코드 작업용인 ‘코더’ 모델은 전문가 절반을 덜어 32GB RAM에 들어가도록 했다. 프로젝트는 이 모델이 원본 모델의 SWE-bench Verified 점수 중 91%에 도달했다고 소개하면서도, 코드 외 작업과 중국어 등 CJK 텍스트에서는 약하다고 안내한다.

그런 용도에는 모든 전문가를 유지하는 Q2_0, IQ2_XS, IQ3_S를 고르라고 권한다. ‘스위프트 1.5’는 답변 전 생각하는 시간을 줄여 비슷한 품질의 답을 더 빨리 내도록 미세조정한 모델이다. 언슬로스(Unsloth)의 UD-IQ4_XS는 약 94GB를 내려받아야 하며, RAM이 약 80GB 미만이면 일부를 SSD에서 읽느라 느려진다. 원본 모델에 가장 가깝다고 소개한 실험적 UD-Q4_K_XL은 64GB RAM PC에서 대부분을 SSD로부터 읽어 초당 7~8.5토큰을 생성한다. 모델의 크기를 키우면 품질을 지킬 여지는 늘지만, 답을 받기까지 기다리는 시간도 길어지는 셈이다.

로컬 채팅에서 코딩 에이전트까지

브라우저 앱에는 채팅 화면과 모델·GPU·CPU·RAM 상태를 보여주는 모니터가 있다. 다른 앱은 http://127.0.0.1:8080/v1을 OpenAI 호환 API의 기본 주소로 지정해 연결한다. 앤트로픽(Anthropic) API를 사용하는 앱에는 /v1/messages, OpenAI Responses API를 사용하는 도구에는 /v1/responses 경로를 제공한다. 프로젝트는 이 연결 방식에서 임의의 API 키와 모델 이름을 사용할 수 있다고 안내한다.

생각하는 정도도 끄기부터 낮음·중간·높음까지 고를 수 있다. 프로젝트 설명에 따르면 끄기가 가장 빠르고, 높음은 어려운 질문에 적합하다. 이미지 입력을 쓰려면 설치 때 해당 기능을 켜야 하며, AMD 카드에서는 리눅스의 경우 프로세서를 거쳐 이미지를 읽지만 윈도에서는 아직 지원하지 않는다. 휴대전화나 다른 PC에서 접속하도록 주소를 열 때는 API 키를 반드시 설정하라고 안내한다.

기본 설정은 요청 하나에 답하는 동안 나머지 요청을 대기시킨다. 병렬 설정을 2로 바꾸면 동시에 여러 요청을 처리할 수 있지만, 12GB 카드에서는 각 답변이 느려진다. 긴 입력은 첫 메시지를 읽는 데 시간이 든다. 개발자는 처음 3만 토큰을 처리하는 데 약 1분이 걸리며 후속 메시지는 몇 초 안에 시작한다고 설명한다. 출력 속도만큼 첫 입력 처리와 동시 사용 조건이 실제 사용감을 좌우한다.

그래픽카드에는 자주 쓰는 전문가만

스트라타의 핵심은 혼합 전문가 모델(MoE·입력에 필요한 일부 전문가만 골라 사용하는 구조)의 특성을 이용해 저장 위치를 나누는 데 있다. 개발자 설명에 따르면 이 모델에는 작은 전문가 2만4,576개가 있지만, 토큰 하나를 처리할 때 필요한 전문가는 10개다. 그래픽카드에는 자주 쓰는 전문가 몇천 개를 남기고, RAM에는 전체 전문가를 보관한다. 나머지 계산에는 프로세서도 참여하며, SSD에는 큰 조회표를 둔다.

작은 보조 모델이 다음에 나올 토큰 몇 개를 먼저 추측하고 큰 모델이 이를 한꺼번에 확인하는 방식도 쓴다. 프로젝트는 이 방식으로 같은 답을 1.6~1.8배 빨리 얻는다고 설명한다. 긴 입력은 최대 8,192토큰씩 큰 덩어리로 읽어 초당 1,000토큰 이상을 처리한다고 밝힌다. 따라서 성능 수치를 읽을 때는 모델 출력 속도인지, 긴 입력을 읽는 속도인지 구분할 필요가 있다.

멈춤과 속도 저하를 다루는 법

메모리를 폭넓게 사용하는 구조는 문제 해결 방법에도 반영돼 있다. 첫 시작 후 PC가 멈춘 것처럼 보여도 개발자는 우선 기다리라고 안내한다. 10분이 지나도 멈춰 있다면 재시작한 뒤 다른 프로그램을 닫거나 더 작은 모델을 선택하도록 권한다. 디스크 표시등이 계속 깜빡이면서 매우 느리거나 엔진이 예기치 않게 종료된다면, 사용 가능한 RAM이 부족할 수 있어 Q2_0 또는 IQ2_XS를 고르는 방법을 제시한다.

스트라타는 MIT 라이선스로 공개됐지만, 일부 구성 요소와 개별 모델에는 별도 라이선스가 적용된다. 오래된 그래픽카드와 인텔 아크(Intel Arc), AVX2를 지원하지 않는 구형 프로세서에 관한 안내도 있으나, 이 지원 범위는 커뮤니티 구성원이 각자 장비에서 작성·시험한 실험적 결과다. 프로젝트가 넓힌 것은 대형 모델을 시도할 수 있는 하드웨어의 범위다. 각 PC에서 쓸 만한 속도와 품질을 얻을 수 있는지는 선택한 압축본과 남는 메모리에 달려 있다.

커뮤니티 의견

한 사용자는 4비트 미만 양자화가 답변 품질을 크게 떨어뜨릴 수 있다고 우려했다. 자신은 임대한 RTX 프로 6000에서 4비트 모델을 사용하며, 범위가 뚜렷한 어려운 코딩 작업에는 그 품질이 충분하다고 했다. 시간당 약 1달러라는 임대 비용도 제시했지만, 답글에서는 그 가격으로 빌릴 수 있는 곳을 묻는 질문이 이어졌다.

이미지 기능을 시험한 사용자는 물체의 정확한 좌표를 출력하는 이미지 50장 시험에서 스트라타의 오차가 llama.cpp보다 컸다고 했다. 같은 GGUF 파일과 이미지 어댑터 가중치를 썼을 때 스트라타의 오차 거리 중앙값은 154.8픽셀, llama.cpp는 46.5픽셀이었다는 주장이다. 다른 참여자들은 시험 자료를 공개해 직접 비교할 수 있는지 물었다.

RTX 4090과 DDR5 RAM 128GB, 라이젠 7950X3D를 쓰는 사용자는 스트라타에서 초당 124토큰을 얻었다고 전했다. 예상보다 잘 작동했다는 평가에, 답글에서는 로컬 실행이 주는 데이터 통제와 프라이버시도 장점이라는 의견이 나왔다. 또 다른 사용자는 RTX 6000 프로에서 다른 추론 엔진의 Q4 압축본을 시험하며 코드 출력 초당 255.26토큰, 산문 출력 초당 198.78토큰을 제시했다. 그는 네 개의 동시 작업을 처리할 수 있다는 점을 특히 중시해, 사용 목적에 따라 중요한 속도 지표가 다름을 보여줬다.

속도 자체는 인정하지만 답변의 정확성에 큰 인상을 받지 못했다는 반응도 있었다. 이 사용자는 품질보다 속도가 중요한 용도라면 쓸 수 있겠지만 자신의 작업에는 그렇지 않다고 했다. 이어 스트라타의 전문가 캐싱이 왜 llama.cpp에 바로 들어가지 않았는지를 묻는 의견이 나왔다. 답글에서는 넓은 하드웨어·모델 지원과 수치 정확성을 유지해야 하는 기존 프로젝트의 요구 사항이 새 기법을 받아들이는 속도에 영향을 준다는 설명이 제시됐다.

또 다른 사용자는 2비트 수준의 압축과 코더 모델에서 전문가 절반을 제거하는 방식이 여전히 많은 것을 포기하게 만든다고 지적했다. 반면 IQ3_XXS, IQ3_S, IQ4_XS도 스트라타에서 실행할 수 있으며 좋은 결과를 얻었다는 반론이 나왔다. 제목에 양자화 수준을 반드시 밝혀야 한다는 주장도 같은 맥락이다. 실제로 한 사용자는 자신의 장비에서 IQ3_XXS의 출력 속도가 llama.cpp의 초당 21토큰에서 스트라타의 초당 60토큰으로 높아졌다고 전했다.

핵심통찰

스트라타의 변화는 1,250억 매개변수 모델을 소비자용 PC에 ‘올릴 수 있는가’에서 ‘어떤 압축본을 어느 속도와 품질로 쓸 것인가’로 질문을 옮긴 데 있다. 설치와 API 연결을 간소화한 점은 로컬 모델을 기존 작업 흐름에 넣기 쉽게 만든다. 그러나 GPU 밖의 RAM·SSD 사용량과 첫 입력 대기 시간까지 함께 봐야 성능을 제대로 평가할 수 있다. 앞으로는 같은 모델 파일과 설정으로 이미지·코딩 품질을 비교하고, 양자화 수준을 밝힌 속도 측정이 쌓이는지가 관건이다.


원본: GitHub - Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

토론: Hacker News