오픈AI 할라페뇨, 블랙웰보다 나은 추론 칩인가

오픈AI(OpenAI)가 자체 설계한 추론 칩 ‘할라페뇨(Jalapeño)’를 공개했고, 반도체 분석 매체 세미애널리시스(SemiAnalysis)는 이를 엔비디아(NVIDIA)의 블랙웰(Blackwell)보다 전력당 처리량이 높은 칩으로 평가했다. 오픈AI 엔지니어와 함께 연구실에서 구동을 확인한 결과다. 하지만 성능 수치는 오픈AI가 제공했으며, 실제 서비스에 가까운 긴 문맥·다회차 작업의 검증은 남아 있다. 칩의 빠른 개발 속도만큼이나, 어떤 조건에서 ‘더 낫다’고 말할 수 있는지가 중요한 소식이다.

핵심 요약

  • 오픈AI는 브로드컴(Broadcom)과 함께 대규모 언어모델(LLM) 추론용 칩 할라페뇨를 개발했으며, 특정 자사 모델에 한정하지 않고 여러 모델과 작업에 대응하는 설계를 택했다.
  • 세미애널리시스가 연구실에서 확인한 벤치마크에서 할라페뇨는 블랙웰을 비롯한 비교 칩보다 높은 전력당 토큰 처리량을 보였지만, 성능 수치 자체는 오픈AI가 제공했다.
  • 할라페뇨는 HBM4와 단순화한 메모리·통신 구조를 활용해 작은 작업부터 높은 처리량이 필요한 작업까지 고르게 대응하도록 설계됐다.
  • 오픈AI는 칩 설계와 추론 소프트웨어를 함께 개발하고 코덱스(Codex)로 커널 작성 속도를 높였지만, 긴 문맥과 다회차 작업을 다루는 평가 결과는 아직 공개되지 않았다.
  • 2027년 생산 확대 계획이 현실화하려면 칩 성능뿐 아니라 생산량, 데이터센터 배치, 운영 안정성까지 확보해야 한다.

16개월 만에 나온 범용 추론 칩

오픈AI는 핫칩스(Hot Chips)에서 할라페뇨를 공개했다. 이 프로젝트는 2024년 중반 설계 인력을 꾸리기 시작해 약 16개월 만에 제조를 위한 설계 확정 단계인 테이프아웃(tape-out)에 이르렀다. 오픈AI는 6월 브로드컴과 함께 추진하는 칩 개발 계획도 밝힌 바 있다. 처음부터 LLM 추론을 목표로 설계했지만, 세미애널리시스는 특정 오픈AI 모델에만 맞춘 칩은 아니라고 강조한다.

이 구분은 칩의 쓰임새를 판단하는 출발점이다. 세미애널리시스는 오픈AI 엔지니어와 연구실에서 자체 평가 도구 인퍼런스X(InferenceX)를 구동하며 딥시크 R1(DeepSeek R1), 키미 K2.5(Kimi K2.5), GPT-OSS 등의 실행을 확인했다. 오픈AI는 코덱스에 지시해 이 칩에서 게임 ‘둠(Doom)’을 구동하는 시연도 보여줬다. 다만 다양한 프로그램이 실행된다는 사실과 실제 서비스에서 일관되게 높은 효율을 내는지는 별개의 문제다.

전력 1MW당 토큰이 중요한 이유

세미애널리시스가 앞세운 지표는 칩 한 개의 최고 속도가 아니라 전력 1MW당 초당 생성하는 토큰 수다. 같은 전력으로 얼마나 많은 답변을 만들 수 있는지를 나타내므로, 데이터센터 전력에 제약을 받는 오픈AI에 직접적인 지표다. 전력 공급을 늘리려면 장비를 추가하는 것과 달리 전력망 연결, 냉각, 예비 전원 같은 조건을 함께 해결해야 한다. 이 때문에 글은 칩 가격보다 전력을 토큰으로 바꾸는 효율에 무게를 둔다.

세미애널리시스는 할라페뇨가 여러 조건에서 블랙웰보다 높은 전력당 처리량을 냈다고 평가했다. 딥시크 R1에서는 동시 사용자 한 명인 조건에서 사용자당 초당 700토큰을 넘겼으며, 여러 모델의 정확도 평가도 엔비디아 칩과 비슷한 수준이었다고 전했다. 이 결과는 한 번에 다음 토큰 하나를 예측하는 단일 토큰 예측(STP)으로 얻었고, 비교 그래프의 다른 칩들은 여러 토큰을 미리 예측하는 방식(MTP)을 사용했다. 예측 방식을 맞춰 비교하면 할라페뇨의 우위가 더 커진다는 것이 매체의 주장이다.

블랙웰보다 루빈이 더 적절한 상대

매체는 제목에서 내세운 블랙웰과의 비교에 한계가 있다고도 인정했다. 할라페뇨에는 4세대 고대역폭 메모리인 HBM4가 들어가며, 이 점에서는 엔비디아의 차세대 베라 루빈(Vera Rubin) 시스템과 더 가깝다. 루빈 시스템은 고객 출하가 시작된 반면 할라페뇨는 아직 엔지니어링 샘플 단계다. 지금의 성능 차이를 곧바로 실제 운영 환경에서의 우열로 옮길 수 없는 이유다.

세미애널리시스는 공개된 루빈 성능 수치와 비교해도 할라페뇨의 전력당 출력 토큰 처리량이 앞선다고 분석했다. 총소유비용(TCO·도입부터 운영까지 드는 비용) 기준으로는 두 시스템의 달러당 출력 토큰 수가 거의 같다고 봤다. 루빈에는 후보 토큰을 먼저 만들어 검증하는 추측 디코딩(speculative decoding)이 적용됐지만, 비교에 사용한 할라페뇨 결과에는 적용되지 않았다. 매체는 이를 할라페뇨의 추가 개선 여지로 해석했으나, 연구실에서 전체 인퍼런스X 평가나 긴 문맥·다회차 작업용 에이전트X(AgentX) 평가는 수행하지 않았다.

HBM4와 지연을 줄이는 칩 구조

할라페뇨의 초기 A0 칩으로 이번 성능 결과를 얻었으며, 제조 중인 후속 B0 버전은 전력당 성능을 약 25% 높이는 변경을 담았다고 한다. B0의 연산용 반도체 조각은 TSMC의 N3P 공정으로 만들며, MXFP4 기준 이론상 연산 성능은 13.4PFLOPS다. 매체가 제시한 단일 루빈 연산 조각의 수치는 17.5PFLOPS지만, 할라페뇨의 설계 전력은 700W로 루빈의 900~1150W보다 낮다. 최고 연산량만이 아니라 그 연산량에 도달하는 데 쓰는 전력이 설계의 초점이라는 설명이다.

HBM4를 이용한 패키지당 메모리 대역폭은 15.4TB/s로 제시됐다. 오픈AI는 연산 코어와 HBM을 여러 구획으로 나눠 각 코어가 가까운 메모리 구획에 낮은 지연으로 접근하도록 설계했다. 코어 사이에는 별도의 고대역 통신망을 두되, 불필요한 메모리 이동과 통신 단계를 줄이려 했다. 매체는 작은 작업 묶음에서도 고정적인 대기 시간이 성능을 갉아먹지 않도록 한 선택이라고 설명한다.

코덱스로 커널을 빠르게 만드는 방식

칩과 함께 추론 소프트웨어를 만드는 속도도 세미애널리시스가 주목한 부분이다. 오픈AI는 글루온(Gluon)이라는 커널 프로그래밍 언어를 사용하고, 코덱스로 칩에 맞는 커널 코드를 작성·개선한다. 커널은 칩에서 개별 연산을 수행하는 코드로, 일부는 약 3000줄에 이르며 정확성 검사 도구도 함께 사용한다. 매체는 딥시크 모델을 평가하기 전까지 오픈AI에 해당 모델의 MLA 연산을 위한 내부 커널이 없었는데도 빠르게 실행 코드를 마련한 사례를 들었다.

오픈AI는 하드웨어 측정치와 오차가 5% 이내인 시뮬레이터로 실제 칩에서 시험하기 전 성능을 살핀다고 한다. 매체가 받은 개발 결과물에서는 2주가 채 안 되는 기간에 일부 응답 속도 조건의 처리량이 두 배 이상 개선됐다. 여러 칩에 작업을 나누는 구성도 확장해 단일 시스템을 넘어 랙 단위 실행까지 이뤘다. 세미애널리시스는 이런 개발 속도를 근거로 기존 칩의 소프트웨어 생태계가 가진 우위에 도전할 수 있다고 보지만, 새 모델과 작업이 늘어날 때도 같은 속도를 유지할지가 관건이다.

입력과 출력을 같은 칩 풀에서 처리

할라페뇨는 입력 문맥을 처리하는 프리필(prefill)과 토큰을 생성하는 디코드(decode)를 별도 칩 풀로 나누지 않는다. 두 단계는 자원을 쓰는 방식이 달라 분리하면 특정 작업 비율에서 효율을 높일 수 있다. 그러나 입력·출력 길이와 동시 요청 수가 바뀌면 한쪽 칩은 남고 다른 쪽에는 요청이 밀릴 수 있다. 분리된 칩 사이로 이전 토큰의 정보를 담은 KV 캐시를 옮기는 비용도 생긴다.

오픈AI는 같은 칩들이 상황에 따라 다음 요청을 맡는 방식을 택했다. 세미애널리시스는 이 구성이 개별 단계의 이론상 효율 일부를 포기하는 대신, 변화하는 작업 비율에 대응하고 KV 캐시 이동을 줄인다고 설명한다. 반대로 수요가 충분히 크고 안정적이라면 단계를 나누는 방식이 여전히 유리할 수 있다고 덧붙였다. 할라페뇨의 선택이 모든 추론 환경에 통하는 정답이라기보다, 운영 조건에 맞춘 절충이라는 뜻이다.

128개 칩을 한 랙에, 다음 과제는 생산

시스템은 CPU 호스트 랙과 ASIC 랙으로 구성된다. ASIC 랙에는 ‘빈달루(Vindaloo)’라는 트레이 16개가 들어가고, 트레이마다 할라페뇨 칩 8개를 실어 랙당 128개 칩을 연결한다. ‘차나(Chana)’ 스위치 트레이는 랙 안의 연결과 랙 사이의 연결을 맡는다. 설계상 최대 16개 랙, 2048개 칩을 하나의 확장 네트워크로 묶을 수 있다.

두 랙 시스템의 운영 전력은 약 160kW로 제시됐다. 오픈AI는 2027년 생산을 점진적으로 늘릴 계획이며, 글은 다음 목표로 100MW 규모를 언급한다. 세미애널리시스는 이 단계의 주된 난제를 칩 생산량, 데이터센터 배치, 감시와 장애 대응 등 하드웨어 운영에서 찾는다. 지금 확인된 것은 연구실의 초기 칩과 개발 속도인 만큼, 대량 설치 후에도 같은 성능과 안정성을 내는지가 다음 평가 대상이다.

커뮤니티 의견

한 사용자는 글이 분석보다 오픈AI의 홍보문처럼 읽힌다고 비판했다. 연구실에서 벤치마크했다는 설명과 모든 성능 수치를 오픈AI가 제공했다는 설명 사이에 간격이 있다는 지적이다. 다른 사용자는 생태계가 다른 복잡한 칩 두 종류를 제목처럼 단순히 ‘더 낫다’고 비교하기 어렵다고 봤다.

한 사용자는 더 나아가 특정 LLM의 가중치까지 칩에 고정하면 속도와 비용을 크게 개선할 수 있지 않겠느냐고 제안했다. 이에 대한 답글은 모델의 유용성이 칩 개발 기간만큼 유지돼야 한다는 문제를 짚었다. 글이 빠르다고 평가한 할라페뇨조차 테이프아웃까지 약 16개월이 걸렸다는 점이 근거였다.

한 사용자는 FP4처럼 낮은 정밀도가 쓰인다는 사실 자체에 주목했다. 과거에도 연산 속도를 위해 정밀도를 낮추려는 요구가 있었지만, 4비트 부동소수점은 여전히 놀랍다는 반응이다. 같은 댓글은 루빈과 비슷한 크기의 연산 조각을 비교한 표와 본문 설명 사이에 차이가 있어 최고 연산량 수치를 읽을 때 주의가 필요하다고 지적했다.

한 사용자는 초기 추론 칩 경쟁을 과거 여러 그래픽 칩 업체가 맞붙던 시기에 빗댔다. 전용 추론 칩이 오래 살아남을지, 살아남는다면 누가 주도할지 아직 열려 있다는 시각이다. 이에 대한 답글은 오픈AI의 개발 성과를 높게 평가하면서도 다른 대형 기업의 칩 개발이 순탄하지 않았다는 글의 대목을 떠올렸다.

한 사용자는 하드웨어 효율이 개선되면 토큰 가격도 계속 내려갈 것이라고 기대했다. 반론은 모델이 더 많은 토큰을 쓰면 가격 인하의 체감 효과가 작을 수 있다는 것이었다. 또 다른 답글은 데이터센터의 소음, 현장 발전기, 물 사용처럼 주변에 미치는 영향을 막을 장치도 함께 필요하다고 주장했다.

한 사용자는 추측 디코딩을 할라페뇨에 적용하면 비용이 더 낮아질 것이라는 글의 전망을 문제 삼았다. 효과는 작업에 따라 달라지고 처리 속도가 오히려 느려질 수도 있는데, 왜 이번 비교에서 사용하지 않았는지 따져야 한다는 주장이다. 다른 답글은 공개된 발표 자료상 할라페뇨가 추측 디코딩을 지원하며, KV 캐시를 옮기지 않고 연산을 전환하는 점이 장점이라고 맞섰다.

한 사용자는 전용 칩의 높은 효율이 추론 시장을 누구나 참여하는 시장으로 만들기보다, 대규모 투자가 가능한 소수 기업에 유리하게 만들 수 있다고 봤다. 모델 가격이 에너지 비용에 가까워질수록 자체 칩을 운영할 수 있는 기업의 원가 우위가 커진다는 논리다. 반론은 모델마다 강점과 약점이 달라 단순한 상품처럼 취급하기 어렵고, 칩 공급 경쟁이 늘면 오히려 가격이 내려갈 수 있다는 것이었다.

핵심 통찰

할라페뇨가 바꾸려는 것은 칩 공급처만이 아니다. 오픈AI는 전력 효율을 중심에 놓고 칩 구조, 커널 개발, 랙 연결, 추론 운영 방식을 한꺼번에 설계하고 있다. 연구실 결과는 이 접근이 빠르게 성과를 낼 수 있음을 보여주지만, ‘블랙웰보다 낫다’는 말의 유효 범위는 아직 좁다. 긴 문맥과 다회차 요청, 추측 디코딩 적용 후의 비용, 2027년 생산 확대 과정에서의 안정성이 확인될 때 전용 칩의 경쟁력을 온전히 판단할 수 있다.


원본: OpenAI Jalapeño: Better Than Nvidia Blackwell

토론: Hacker News