딥시크(DeepSeek)가 자사 대규모 추론 서비스에 쓰는 프레임워크 딥인퍼(DeepInfer)를 오픈소스로 공개했다. 현재 공개판은 딥시크 V4.1 플래시(DeepSeek-V4.1-Flash)의 오프라인 추론을 지원하며, 엔비디아(NVIDIA) GPU뿐 아니라 화웨이(Huawei) NPU도 지원 대상으로 명시했다. 다만 저장소를 내려받는 것만으로 딥시크의 온라인 서비스를 그대로 구축할 수 있는 것은 아니다. 빠른 토큰 생성에 쓰이는 기법부터 운영에 필요한 미공개 구성요소까지 공개 범위를 나눠 보면, 이번 배포가 무엇을 열고 무엇을 남겨뒀는지 드러난다.
핵심요약
- 딥시크는 대규모 운영 서비스의 기반인 딥인퍼를 아파치 라이선스 2.0으로 공개했지만, 이번 배포판은 오프라인 추론을 중심으로 한다.
- 현재 지원 모델은 딥시크 V4.1 플래시이며, 초안 토큰 생성과 검증 일정 조절 등 여러 기법을 담아 생성 속도를 높이도록 설계했다.
- 엔비디아 SM100 GPU와 화웨이 어센드 950 NPU를 지원하지만, 일부 재현성 기능은 엔비디아 환경에서만 제공한다.
- 공개 코드에는 완전한 추론 서비스에 필요한 KV 캐시 시스템과 일부 분리·부하 분산 기능이 포함되지 않아, 운영 서비스 구성에는 추가 작업이 필요하다.
- 커뮤니티는 처리량과 하드웨어 선택지에 주목하면서도, 공개가 경쟁 구도를 얼마나 바꿀지는 공개 범위와 실제 운영 성능에 달렸다고 봤다.
운영 기반 코드를 오프라인 추론부터 공개
딥인퍼는 딥시크의 대규모 운영 서비스를 구동하는 추론 프레임워크다. 추론은 학습을 마친 모델이 입력을 받아 답을 만들어 내는 과정으로, 실제 서비스에서는 여러 요청을 처리하면서 응답 지연도 관리해야 한다. 딥시크는 이번 오픈소스 배포판에 대규모 서빙(모델 요청을 받아 결과를 돌려주는 서비스 운영)에 필요한 핵심 기능을 담았다고 소개했다. 동시에 공개판의 직접적인 출발점은 오프라인 추론이라고 명시했다.
지원 모델 목록에는 현재 딥시크 V4.1 플래시 하나가 올라 있다. 따라서 이 저장소를 모든 딥시크 모델에 곧바로 적용할 수 있는 범용 패키지로 읽어서는 안 된다. 딥시크가 제시한 것은 자사 모델과 운영 방식에 맞춰 다듬은 실행 기반이며, 사용자는 지원 범위 안에서 코드를 빌드하고 예제를 실행할 수 있다. 운영 서비스의 기반 코드가 공개됐다는 사실과 완성된 서비스 전체가 공개됐다는 말은 구분해야 한다.
커널과 병렬화로 다듬은 실행 경로
딥시크가 내세운 첫 번째 축은 연산 커널(하드웨어에서 특정 계산을 수행하는 코드), 모델 실행부, 샘플러(다음 토큰을 고르는 구성요소)의 최적화다. 저장소는 플래시MLA(FlashMLA), 딥GEMM(DeepGEMM), 딥EP(DeepEP), 타일커널스(TileKernels), 딥셀렉트(DeepSelect)와 별도 타일랭(TiIeLang) 커널을 열거한다. 이름만으로 각각의 성능 기여를 나눠 계산할 수는 없지만, 모델 계산부터 토큰 선택까지 실행 경로 여러 곳을 손봤다는 구성은 분명하다. 딥인퍼는 하나의 가속 기법보다 이 경로들을 묶은 프레임워크로 제시됐다.
병렬화 구성도 모델의 성격에 맞춰 나뉜다. 어텐션에는 데이터 병렬화(DP)와 균형을 맞춘 문맥 병렬화(CP)를, 전문가 혼합(MoE)에는 전문가 병렬화(EP)와 전문가 부하 분산(EPLB)을 지원한다고 적었다. 여러 장치가 어떤 계산을 나눠 맡을지뿐 아니라 한쪽에 일이 쏠리지 않게 할지도 고려한 목록이다. 다만 저장소에 적힌 지원 항목은 설계와 구현 범위를 보여주는 것이지, 어떤 장치 수에서도 같은 처리량이 나온다는 수치는 아니다.
초안 토큰을 만들고 검증 순서를 조절
답변을 생성하는 디코딩 단계에는 디스파크(DSpark)와 신뢰도 기반 검증 일정 조절이 들어간다. 먼저 초안 토큰을 생성해 디코딩을 빠르게 하고, 신뢰도 추정치를 이용해 그 토큰을 언제 검증할지 정한다는 설명이다. 핵심은 후보를 만드는 작업과 이를 확인하는 작업의 순서를 조절하는 데 있다. 딥시크는 이를 딥인퍼가 지원하는 가속 기능 중 하나로 제시했다.
이 기능에는 실행 환경변수도 붙어 있다. DEEPINFER_ENABLE_MTP_VARLEN=1을 설정하며, DEEPINFER_USE_NEXTN_DECODE로 초안의 최대 길이를 제어한다. 최대 초안 길이의 기본값은 5다. 따라서 같은 모델을 실행하더라도 어떤 설정을 켰는지에 따라 살펴봐야 할 실행 조건이 달라진다. 저장소는 기능 이름만 나열하지 않고, 사용자가 해당 경로를 선택할 수 있는 설정을 함께 공개했다.
앞부분 계산을 줄이는 제한적 재실행
디코더에는 슬라이딩 윈도 어텐션(SWA, 최근 일정 구간에 집중하는 어텐션)에 맞춘 ‘제한적 재실행’도 들어간다. 디코더의 프리필(입력 토큰을 먼저 처리하는 단계) 작업을 줄이기 위해 전체를 다시 다루는 대신, 길이를 제한한 뒤쪽 구간만 재실행하는 방식이다. 초안 토큰과 검증이 생성 단계를 겨냥한다면, 이 기능은 그보다 앞선 입력 처리 단계의 일을 덜어내는 쪽이다. 딥시크는 두 경로를 각각 별도 기능으로 적었다.
기본 V4.1 설정에서는 프리필 절단 모드를 compact로 두고 보존 토큰 수를 140으로 지정한다. 여기서 140은 모든 상황에 무조건 적용해도 되는 임의의 절감 목표가 아니다. 딥시크는 남기는 뒤쪽 구간이 SWA 윈도 크기와 최대 되돌아가기 길이를 합친 범위를 덮어야 한다고 설명한다. 덜 계산하기 위해 앞부분을 버리더라도, 이어지는 생성에 필요한 범위는 남겨야 한다는 제약이다.
CPU 일정과 장치 실행을 겹치게
비동기 스케줄링은 CPU의 배치 스케줄링(여러 요청을 묶어 처리 순서를 정하는 작업)과 장치 실행을 겹쳐 진행한다. 딥시크는 이를 ‘오버헤드가 없는 배치 스케줄러’로 소개하며 기본적으로 켜져 있다고 밝혔다. 계산을 수행하는 장치가 일하는 동안 CPU가 다음 배치를 준비하도록 실행 순서를 짠 셈이다. 이 기능은 모델의 수식을 바꾸기보다 요청을 처리하는 흐름을 다룬다.
프레임워크가 고성능을 내세우는 이유도 한 단계의 속도에만 걸려 있지 않다. 커널은 개별 계산을, 초안 토큰은 디코딩을, 제한적 재실행은 프리필을, 비동기 스케줄러는 배치 운영을 겨냥한다. 서로 다른 지점의 작업을 함께 줄이거나 겹치게 해야 대규모 추론 서비스의 처리 흐름이 개선된다는 구성이다. 다만 저장소의 기능 설명만으로 각 기법이 전체 성능에서 차지하는 몫까지 알 수는 없다.
배치가 달라도 같은 결과를 내도록
딥인퍼는 속도와 별개로 결과의 일관성을 위한 옵션도 제공한다. 배치 불변 추론(함께 묶인 요청이 달라도 모델 결과를 같게 유지하는 기능)은 DEEPINFER_BATCH_INVARIANT=1로 활성화한다. 같은 요청이 다른 요청과 함께 처리됐다는 이유만으로 결과가 달라지지 않도록 하는 데 초점이 있다. 저장소는 이 기능을 엔비디아 환경에서만 지원한다고 명시했다.
결정적 샘플링(같은 입력과 설정에 대해 같은 출력을 얻는 방식)은 조건이 더 구체적이다. 배치 불변 옵션을 켜고 DEEPINFER_ENABLE_MTP_VARLEN=0으로 설정한 뒤, SamplingParams에 고정된 seq_seed를 전달해야 한다. 이 역시 엔비디아 전용이며, 같은 입력 토큰과 샘플링 매개변수에서 동일한 출력을 만드는 기능이다. 반복 실행 결과를 비교하려는 사용자라면 가속 기능의 설정과 재현성 조건을 함께 확인해야 한다.
생성 결과의 형식을 묶는 구조화 출력도 포함됐다. 정규표현식, JSON 스키마, EBNF 문법에 맞춰 출력하도록 제한할 수 있으며, SamplingParams의 so_args에 스키마 종류와 내용을 전달한다. 자유로운 문장 생성뿐 아니라 정해진 형식의 결과가 필요한 사용 사례까지 실행 기능에 넣은 것이다. 다만 형식 제한, 배치 불변성, 결정적 샘플링은 각각 목적과 설정 조건이 다른 기능이다.
두 종류의 가속기, 남겨진 서비스 구성
지원 하드웨어는 엔비디아 SM100 GPU와 화웨이 어센드 950(Ascend 950) NPU다. 한쪽 장치만 전제로 삼은 공개가 아니라는 점이 눈에 띈다. 반면 앞서 나온 배치 불변 추론과 결정적 샘플링은 엔비디아 전용으로 표시돼 있다. ‘두 하드웨어를 지원한다’는 문구를 모든 기능이 똑같이 지원된다는 뜻으로 읽으면 안 되는 이유다.
완전한 추론 서비스를 위해 추가로 필요한 구성요소도 딥시크가 따로 적었다. KV 캐시(이전 토큰 처리 결과를 저장해 재사용하는 공간)를 관리하는 시스템, VE·프리필·디코드 분리, 프리필과 디코드 양쪽에서 데이터 병렬 복제본 사이의 부하 분산이 공개판에 포함되지 않는다. 다만 분리 구성에 필요한 엔진 기능 대부분은 이미 구현돼 있다고 설명한다. 오프라인에서 모델을 실행하는 일과 다수 요청을 받아 지속적으로 운영하는 일 사이에 어떤 작업이 남는지 보여주는 대목이다.
빌드 조건과 성능 측정 범위
시작 조건은 비교적 구체적이다. GCC 13.0 이상과 파이썬 3.12가 필요하고, 엔비디아 환경에는 CUDA 13, 어센드 환경에는 CANN 9.2가 요구된다. 비어 있는 파이썬 3.12 환경을 만든 뒤 DEEPINFER_ACCELERATOR를 nvidia 또는 ascend로 설정하고 소스에서 빌드한다. 오프라인 추론 예제는 첫 실행 때 기본 체크포인트를 허깅페이스(Hugging Face) 캐시에 내려받으며, 로컬 복사본 경로를 지정해 실행할 수도 있다.
성능 벤치마크의 측정 구성은 프리필에 SM100 GPU 4개, 디코드에 64개다. 두 구성은 각각 하나의 확장 도메인 안에서 측정됐고, 재현용 스크립트 run_sweep.sh도 안내한다. 하지만 저장소의 소개 문구에는 처리량이나 지연시간의 결과값이 실려 있지 않다. 장치 구성과 재현 방법을 공개한 것과 특정 성능 수치를 확인한 것은 별개의 일이다.
딥인퍼의 라이선스는 아파치 라이선스 2.0이다. 딥시크는 이 프레임워크가 주로 브이LLM(vLLM)을 바탕으로 처음 만들어졌으며, 에스글랭(SGLang)과 텐서RT-LLM(TensorRT-LLM)에서도 영감을 받았다고 밝혔다. 기존 공개 추론 생태계 위에서 만든 코드를 다시 공개하는 흐름이기도 하다. 이제 외부 사용자는 공개된 기능을 직접 살펴볼 수 있지만, 실제 서비스 수준으로 연결하는 작업은 남아 있다.
커뮤니티 의견
한 사용자는 별도로 소개된 수치를 인용해 딥시크 V4.1 플래시 서비스가 단일 클러스터에서 하루 155조 토큰을 처리하고, 비혼잡 시간대 가격 기준 카드당 시간당 매출이 38달러라고 전했다. 답글에서는 이처럼 구체적인 숫자가 추론 사업의 수익성을 논의하는 데 도움이 된다는 반응이 나왔다. 다만 이 수치는 딥인퍼 저장소의 벤치마크 결과가 아니라 댓글에서 가져온 서비스 운영 수치이며, 매출을 곧바로 이익으로 읽을 수는 없다.
다른 사용자는 미국 국토안보부의 딥시크 관련 명령이 공개된 시점과 저장소 공개 시점을 연결해, 딥시크가 공개 일정을 전략적으로 맞췄을 가능성을 제기했다. 이 해석에서는 코드를 직접 실행할 수 있게 하는 일이 데이터 전송 우려에 대한 대응이 된다. 답글에서는 명령이 그동안 비공개였는지 되물었다. 공개 시점에 의미를 부여한 추측이지, 저장소 설명에 적힌 공개 이유는 아니다.
한 사용자는 추론 엔진의 오픈소스 공개가 미국 선두 연구소의 기업가치 전망을 흔들 수 있다고 강하게 주장했다. 그러나 이어진 답글은 추론 엔진 하나가 기존 업체의 경쟁 우위를 어떻게 허무는지 설명을 요구했다. 공개 코드가 경쟁을 넓힐 가능성과 선두 업체의 우위가 사라진다는 결론 사이에는 따져볼 단계가 있다는 반응이다.
오픈소스 자체를 더 크게 보는 의견도 있었다. 한 사용자는 AI 관련 기술을 널리 공개하는 일이 전체 생태계의 성장을 돕는다고 봤고, 답글은 이를 리눅스(Linux)와 비교했다. 반대 답글은 중국의 여러 모델이 가중치만 공개하는 쪽으로 옮겨가고 있다며 ‘모든 것을 오픈소스로 푼다’는 표현을 경계했다. 무엇을 공개했는지에 따라 개방성의 정도를 구분해야 한다는 주장이다.
하드웨어에 주목한 사용자는 화웨이 어센드 950 지원이 다른 연구팀의 선택지를 넓힐 수 있다고 봤다. 공개된 추론 코드 위에 하드웨어와 모델 지원이 더해지면 엔비디아 중심의 구도에도 영향을 줄 수 있다는 논리다. 다른 댓글은 이를 화웨이 장치의 진입 경로로 해석했다. 동시에 학습까지 포함한 AI 작업 전체와 추론 코드 공개를 동일하게 볼 수는 없다는 의견도 나왔다.
한 사용자는 외부에 공유된 딥시크 시스템 설명을 근거로 KV 캐시를 72시간 넘게 보존한다는 목표를 거론했다. 장시간 캐시를 유지하는 서비스 설계에 관심이 쏠렸지만, 다른 사용자는 현재 그런 기능을 제공하는 곳이 있는지 되물었다. 이번 딥인퍼 공개판에는 완전한 서비스를 위한 KV 캐시 시스템이 포함되지 않는다고 적혀 있다. 서비스에 관한 설명과 내려받을 수 있는 코드의 범위를 나눠 읽어야 하는 사례다.
선두 업체가 곧 밀려날 것이라는 반응을 비판하는 사용자도 있었다. 왜 앤트로픽(Anthropic)과 오픈AI(OpenAI)에 이번 공개가 결정적인 타격인지 설명하는 댓글은 드물다는 지적이다. 답글은 경쟁 가능성이 커질 수는 있지만 두 업체에도 앞서 쌓은 우위가 있다고 봤다. 또 다른 의견은 공개 모델로 충분한 작업이 늘수록 기존 업체만 맡을 수 있는 영역이 줄어들 수 있다고 주장했다.
공개 동기를 두고도 시각이 갈렸다. 한 사용자는 딥시크의 선택을 무조건 선의로 해석하지 말고 전략적 이유를 물어야 한다고 했다. 답글에서는 경쟁사의 기술을 범용화하거나, 다른 제공업체가 딥시크 모델을 비슷한 성능으로 운영하게 해 모델의 평판을 높일 수 있다는 설명이 나왔다. 정치적 의도를 추측하기보다 공개가 회사와 생태계에 줄 실익을 보자는 반론이다.
핵심통찰
딥인퍼 공개가 바꾸는 것은 딥시크의 추론 방식을 외부에서 읽고 실행할 수 있는 범위다. 커널과 생성 가속, 재현성 설정, 두 종류의 하드웨어 지원은 다른 개발자가 실험할 출발점을 넓힌다. 그러나 공개판은 오프라인 추론을 중심으로 하며, KV 캐시 관리와 서비스 부하 분산은 별도로 갖춰야 한다. 앞으로는 저장소의 기능 목록보다 외부에서 재현한 성능, 어센드 환경의 기능 범위, 빠진 구성요소를 채운 실제 운영 사례가 이번 공개의 무게를 가를 것이다.
토론: Hacker News