딥시크의 캐시 기술, 서방 AI 기업의 구명줄인가

서방 AI 기업이 중국 연구소의 모델 증류를 비판하는 동안, 중국에서 공개한 효율화 기술은 서방 기업의 추론 비용을 낮추는 데 쓰이고 있다는 주장이 나왔다. 인서퍼러블닷데브(insufferable.dev)의 필자는 딥시크(DeepSeek)의 KV 캐시 최적화와 앤트로픽(Anthropic)·오픈AI(OpenAI)의 캐시 이용료 인하를 연결해 AI 경쟁의 어색한 장면을 그렸다. 다만 가격 변화가 기술 채택의 경로까지 보여주는지는 Hacker News에서도 논쟁거리다. 누가 모델을 더 잘 만드는가뿐 아니라, 누가 비용을 낮추는 방법을 공개하고 그 혜택을 누리는가를 묻게 하는 글이다.

핵심 요약

  • 필자는 서방 기업이 중국 연구소의 모델 증류를 경계하면서도 중국에서 공개한 효율화 기술의 혜택을 받고 있다고 주장하며, AI 경쟁의 기준이 모델 성능만은 아니라고 본다.
  • 딥시크는 긴 문맥에서 쓰이는 KV 캐시의 크기를 줄이는 여러 기술을 공개했으며, 이는 GPU 메모리가 중요한 추론 비용 문제와 맞닿아 있다.
  • 필자가 제시한 딥시크-V4.1-플래시(DeepSeek-V4.1-Flash)의 전역 KV 캐시 수치는 토큰당 890바이트로, 효율화 경쟁이 구체적인 메모리 사용량으로 드러난다.
  • 필자는 클로드 오퍼스 5.5(Claude Opus 5.5)와 GPT-6.1 솔(GPT-6.1 Sol)의 캐시 읽기 가격 인하를 기술 채택의 증거로 해석하지만, 토론에서는 가격만으로 개발 경로를 알 수 없다는 반론이 나왔다.
  • 토론 참가자들은 공개 기술이 AI 접근성을 넓힐 수 있다는 기대와, 무제한 보급의 위험 및 서방 기업 매출에 미칠 영향을 함께 논의했다.

증류 비판에서 기술 채택으로

필자는 최근 AI 경쟁을 설명하는 방식부터 문제 삼는다. 서방 연구소가 중국 연구소에 밀린다는 식의 구도보다, 앤트로픽이 중국 연구소의 모델 증류를 거듭 비판하는 모습에 주목한다. 모델 증류(한 모델의 결과를 활용해 다른 모델을 학습시키는 방식)는 누구의 성과를 누구의 모델에 옮겨 담았느냐는 논쟁을 낳는다. 필자는 이런 비판이 향후 중국 모델을 법과 규제로 제한할 명분을 쌓는 데 유리하다고 해석한다.

그러나 글의 방향은 증류 논쟁에 머물지 않는다. 필자는 이제 주목할 일이 중국 연구소의 결과물을 단순히 따라 만드는 것이 아니라, 그들이 공개한 기술적 진전을 채택하는 것이라고 말한다. 그 과정에 ‘도용’보다 ‘채택’이라는 표현을 쓰는 이유도 밝힌다. 중국 연구소가 기술을 널리 공개했다면, 공개된 방법을 활용하는 행위와 남의 모델을 몰래 베꼈다는 비난을 같은 말로 다루기 어렵다는 취지다.

이 대목에서 필자의 비판 대상은 특정 기술을 쓴 행위 자체가 아니다. 중국 연구소의 증류에는 날 선 말을 쓰면서, 자사에 유용한 중국 연구소의 기술은 받아들이는 서방 기업의 태도를 겨눈다. 다만 글에서 ‘인정 없이 베꼈다’는 평가는 필자의 주장이다. 뒤에서 제시하는 근거는 기술 채택을 밝힌 발표가 아니라 캐시 가격의 변화다.

긴 코딩 세션에서 커지는 KV 캐시

필자가 사례로 고른 것은 딥시크의 KV 캐시 최적화다. KV 캐시(모델이 앞선 입력을 처리하며 만든 정보를 다음 토큰 생성에 재사용하도록 저장한 데이터)는 대화나 작업의 문맥이 길어질수록 부담이 커진다. 코딩처럼 한 세션에서 긴 문맥을 유지하는 용도를 필자가 따로 짚은 것도 이 때문이다. 긴 문맥의 모델을 서비스할 때 캐시를 GPU의 영상 메모리(VRAM)에 담아야 하므로, 같은 작업을 처리하는 데 필요한 캐시 크기는 비용과 연결된다.

필자가 강조하는 수치는 특정 긴 세션 사용 사례에서 캐시가 딥시크-V1(DeepSeek-V1) 대비 약 437분의 1 수준으로 줄었다는 것이다. 이 수치는 모든 모델과 모든 요청에서 비용이 그만큼 내려갔다는 뜻이 아니다. 비교 대상은 딥시크의 이전 버전이고, 적용 범위도 글에서 말한 특정 사용 사례다. 그럼에도 필자가 이 수치를 중심에 둔 이유는 모델의 답변 품질을 높이는 경쟁만큼, 답변을 내놓기 위해 메모리에 무엇을 얼마나 저장해 둬야 하는지도 중요하다고 보기 때문이다.

캐시는 이용자가 모델을 호출하는 순간 보이지 않는 곳에서 작동한다. 하지만 긴 작업을 이어 가는 서비스라면 캐시를 읽고 유지하는 일이 반복된다. 필자는 바로 이 지점에서 효율화의 효과가 사용자에게 제시되는 가격과도 만날 수 있다고 본다. 뒤이어 캐시 읽기 요금을 비교하는 것은 기술 설명을 가격 논쟁으로 잇기 위한 구성이다.

MLA에서 토큰당 890바이트까지

필자는 딥시크가 먼저 공개한 MLA(캐시를 압축하는 주의집중 구조)에서 기술 변화의 흐름을 시작한다. 글에서 MLA의 캐시 압축 폭은 약 15배로 제시된다. 이어 압축된 희소 어텐션(Compressed Sparse Attention)과 고도로 압축된 어텐션(Heavily Compressed Attention)이 나왔다고 설명한다. 여러 단계의 기술 이름을 나열한 것은 한 번의 개선이 아니라 캐시 부담을 계속 줄여 온 과정이라는 점을 보여주기 위해서다.

그다음 사례는 딥시크-V4.1-플래시다. 필자는 이 모델에 CSA2, 계층 간 캐시 재사용, 인과적 인코더-디코더 구조, FP4 캐싱(4비트 부동소수점 형식으로 캐시를 다루는 방식)이 적용됐다고 적었다. 글이 제시한 전역 KV 캐시 크기는 토큰당 890바이트다. 앞서 나온 약 437분의 1이라는 비교치와 이 수치는 모두 캐시를 얼마나 작게 만들었는지를 보여주지만, 각각 비교 기준과 표현 단위가 다르다.

이 절의 초점은 기술 이름 자체보다 비용 구조에 있다. 필자는 긴 문맥 모델을 제공할 때 GPU 메모리에 캐시를 보관하는 일이 큰 부담 가운데 하나라고 설명한다. 따라서 캐시가 작아지면 같은 종류의 긴 작업을 처리할 때 메모리 부담을 낮출 여지가 생긴다. 글은 중국 연구소의 연구 결과를 모델 성능 순위가 아닌 운영 효율이라는 잣대로 읽어야 한다고 주장하는 셈이다.

캐시 요금으로 읽은 두 회사의 변화

필자는 기술 설명 뒤에 비용 비교를 배치한다. 가격의 기준 단위는 토큰 100만 개당 요금이며, 비교 시점으로는 약 두 달 전을 언급한다. 글에서 구체적으로 제시된 가격 변화는 캐시 읽기 요금의 인하 폭이다. 절대 가격표보다 인하율을 통해, 긴 문맥을 다시 활용하는 비용이 얼마나 달라졌는지를 강조한다.

앤트로픽의 클로드 오퍼스 5.5는 클로드 오퍼스 5(Claude Opus 5)보다 캐시 읽기 가격이 60% 낮다고 필자는 적었다. GPT-6.1 솔은 7월 말 GPT-5.6 솔(GPT-5.6 Sol)의 가격보다 80% 낮다고 비교했다. 서로 다른 회사의 요금을 직접 맞붙인 수치가 아니라, 각 회사 제품의 이전 가격과 새 가격을 비교한 수치다. 필자는 이 급격한 인하를 딥시크가 공개한 최적화 기술을 서방 기업이 받아들였다는 근거로 해석한다.

하지만 가격 인하와 특정 기술의 채택은 같은 사실이 아니다. 가격에는 기술적 효율뿐 아니라 기업이 이용자에게 어떤 요금을 매길지도 반영된다. 토론에서도 서방 연구소에 자체 최적화 기술이 있을 수 있다는 반론이 나왔다. 필자의 해석을 읽을 때는 공개된 캐시 기술의 성과와 두 회사의 가격 변화, 그리고 그 둘 사이의 인과관계를 각각 구분할 필요가 있다.

조용한 출시를 둘러싼 해석

필자는 첨단 GPU에 대한 접근 제약 때문에 중국 연구소들이 성능 최적화를 우선 과제로 삼았다고 설명한다. 그리고 그렇게 얻은 효율화 방법을 왜 널리 공개하는지는 자신도 알지 못한다고 말한다. 그의 시각에서 역설은 이 공개 기술이 서방 기업에도 유리하게 작동한다는 데 있다. 중국 연구소를 경쟁자이자 비판 대상으로 삼는 기업이, 그 연구소가 공개한 방법의 수혜자일 수 있다는 것이다.

이 해석은 클로드 오퍼스 5.5와 GPT-6.1 솔의 출시 방식에 대한 평가로 이어진다. 필자는 두 모델이 큰 사전 예고 없이 조용히 나왔다고 보며, 기술을 가져다 쓴 사실을 드러내기 껄끄러워했기 때문이라고 추측한다. 이용자 평가는 좋았고, 품질도 각각의 최상위 모델인 클로드 페이블 5.1(Claude Fable 5.1)과 GPT-6 아스트라(GPT-6 Astra)에서 크게 멀지 않아 보인다고 덧붙인다. 모델 품질과 캐시 가격을 함께 놓고 ‘효율적인 상위급 모델’이 등장했다는 그림을 그린 것이다.

필자는 여기서 서방 AI 기업의 추론 마진이 크게 좋아졌을 것이라고 판단한다. 더 나아가 중국 연구소가 적자를 내는 서방 연구소에 구명줄을 던져 준 셈이라며, 왜 그랬는지 의아해한다. 그러나 토론의 쟁점은 바로 그 결론에 모인다. 비용이 내려갔다면 서방 기업의 이익이 늘 수 있지만, 공개된 기술이 경쟁사의 가격과 이용자의 선택에도 영향을 줄 수 있기 때문이다.

구명줄인가, 경쟁의 규칙을 바꾸는가

글의 제목처럼 이 경쟁이 어색해지는 지점은 승자와 수혜자가 간단히 나뉘지 않는다는 데 있다. 필자는 딥시크가 기술을 공개했고 서방 기업의 캐시 요금이 내려갔다는 순서에서, 중국 연구소가 서방 기업의 비용 문제를 덜어 줬다고 읽는다. 동시에 중국 모델에 대한 증류 비판이 계속되는 상황을 대비시킨다. 기술을 공개한 쪽과 그 기술을 활용한다고 지목된 쪽의 관계가 일방적인 추격 구도로 설명되지 않는다는 주장이다.

반대로 공개 기술은 어느 한 회사만 골라서 돕지 않는다. 토론 참가자들은 같은 효율화가 다른 모델 개발자와 로컬 모델 이용자에게도 이익이 될 수 있다고 지적했다. 비용 절감이 기존 서방 기업의 마진을 높일지, 가격 경쟁을 키울지, 구독 서비스 바깥의 선택지를 넓힐지는 서로 다른 질문이다. 필자의 글은 첫 번째 가능성을 강하게 주장하지만, 댓글에서는 나머지 가능성까지 논의가 번졌다.

결국 이 논쟁의 중심에는 캐시 가격이라는 관찰 가능한 변화와 그 원인에 대한 해석이 놓여 있다. 딥시크가 공개한 기술의 수치, 두 회사의 요금 인하 폭은 글이 제시한 구체적인 비교 대상이다. 반면 두 회사가 어떤 최적화를 실제로 썼는지, 그 결과 추론 수익성이 얼마나 달라졌는지는 필자의 판단이 개입된 대목이다. 이 구분을 따라가면 글의 도발적인 주장과 토론의 반론이 어디에서 맞서는지 선명해진다.

커뮤니티 의견

한 사용자는 중국 연구소의 증류를 문제 삼는 앤트로픽도 결국 다른 사람들의 작업을 바탕으로 모델을 만드는 것 아니냐고 반문했다. 답글에서는 모델 개발에 투입한 자원과 기존 콘텐츠를 학습에 활용한 일을 같은 비율로 재단할 수 있느냐는 논쟁이 이어졌다. 증류를 둘러싼 비판에는 기술뿐 아니라 성과를 누구에게 귀속할 것인가라는 문제가 깔려 있다는 시각이다.

다른 사용자는 중국 연구소가 미국 AI 기업의 폐쇄적인 생태계를 우회할 길을 열어 준다며, AI가 소수 기업에 집중되지 않아야 한다고 주장했다. 이에 대한 반론은 AI에 해로운 용도가 있다면 누구나 제한 없이 접근하도록 하는 것이 위험을 키울 수 있다는 것이었다. 접근성 확대와 악용 방지를 개인의 책임만으로 조화시키기 어렵다는 우려가 맞섰다.

중국 연구소가 기술을 공개하는 이유를 전략에서 찾는 의견도 나왔다. 한 사용자는 LLM이 제조업에 보완재가 될 수 있으므로, 중국이 LLM을 범용화해 미국 연구소에 힘이 집중되는 것을 막으려 한다고 추측했다. 이어진 댓글에서는 공개 모델을 칭찬하더라도 그 선택을 순수한 오픈소스 신념으로만 보아서는 안 된다는 주장도 제기됐다. 반면 다른 댓글은 서방 기업이 내놓지 않은 수준의 공개 모델을 중국 연구소들이 제한 없이 제공한다는 점을 강조했다.

로컬 모델 이용 경험을 든 사용자는 큐웬(Qwen) 3.8 27B를 자신의 그래픽카드에서 실행해 왔다고 말했다. 그는 자신의 환경에서 초당 170토큰이 나왔다며, 증류와 가지치기(모델의 불필요한 부분을 줄이는 기법)가 앞으로 로컬 실행을 더 발전시킬 것으로 기대했다. 답글에서는 그 모델을 얼마 전의 최상위 모델과 동급으로 부르는 평가에는 이견이 있었지만, 규모에 비해 성능이 좋다는 반응도 나왔다.

중국 모델과 경쟁이 의료 분야의 발전을 재촉하길 바란다는 의견도 있었다. 이 사용자는 어린이 뇌종양 관련 자선 활동 경험을 언급하며, 더 강력한 모델이 질병으로 겪는 고통을 줄이는 데 도움이 되기를 희망했다. 다른 참가자들은 빠른 발전의 위험을 어느 정도 받아들인다는 뜻인지, 실제 의료 현장에서 AI를 어떻게 쓰는지 물었다. 기술 경쟁의 속도와 위험을 놓고 서로 다른 우선순위가 드러났다.

서방 기업에 공개 기술이 ‘구명줄’이라는 결론을 뒤집는 반론도 나왔다. 한 사용자는 추론 비용이 내려가 가격과 매출까지 떨어지면, 이익이 좋아져도 기업의 성장 서사는 약해질 수 있다고 주장했다. 답글은 비용 하락이 곧 매출 하락을 뜻하지는 않는다고 맞섰다. 기업 고객이 원하는 모델 품질과 보안, 지식재산권 관련 보장을 계속 제공한다면 높은 매출과 마진을 함께 유지할 수 있다는 논리다.

또 다른 사용자는 최적화가 서방 연구소뿐 아니라 로컬 LLM에도 유리하다고 지적했다. 로컬 모델이 충분히 좋아지면 챗GPT(ChatGPT)나 클로드 구독을 중단하는 이용자가 생겨 기존 기업의 매출을 해칠 수 있다는 주장이다. 이어진 답글은 데이터센터 확장으로 GPU 수요가 몰리는 상황을 로컬 전환의 제약으로 꼽았다. 같은 효율화라도 혜택을 실제로 누리려면 하드웨어 접근성이 따라야 한다는 관점이다.

필자의 수익성 추정과 기술 채택 주장에는 직접적인 의문도 제기됐다. 한 사용자는 추론이 원래 수익성이 없었다는 인식부터 의심하며, 서방 선두 연구소에도 자체 효율화 기술이 있을 수 있다고 말했다. 반론자들은 두 회사의 큰 가격 인하가 기존 마진을 깎을 수 있다고 맞섰고, 제시된 높은 마진 추정치에도 이견을 냈다. 가격 변화는 확인할 수 있어도 실제 비용과 그 기술적 원인을 둘러싼 논쟁은 별개라는 지적이다.

살펴볼 점

딥시크의 캐시 최적화와 서방 기업의 가격 인하를 함께 보면, AI 경쟁에서 모델의 성능만큼 긴 문맥을 얼마나 저렴하게 제공하느냐가 중요해졌음을 알 수 있다. 다만 필자가 말하는 기술 채택과 수익성 개선은 가격 변화에 대한 해석이다. 앞으로 눈여겨볼 것은 특정 연구소가 공개한 효율화 방법이 한 기업의 비용 절감에 그치는지, 경쟁사의 요금과 로컬 모델의 활용 범위까지 바꾸는지다. 그 결과에 따라 공개 기술은 기존 기업의 구명줄이 될 수도, 그 기업의 가격 우위를 흔드는 힘이 될 수도 있다.


원본: The AI Race Just Got Awkward | insufferable.dev

토론: Hacker News