리커시브 인텔리전스(Ricursive Intelligence)가 AI 칩 설계용 모델을 바탕으로 만든 오픈 가중치 모델 ‘리플-65B 프리뷰(Ripple-65B Preview)’를 공개했다. 회사는 이 모델이 에이전틱 코딩(도구를 사용하며 여러 단계의 코딩 작업을 수행하는 방식) 평가에서 미국산 오픈 가중치 모델 가운데 최고 점수를 냈다고 밝혔다. 눈길을 끄는 대목은 성능 수치만이 아니다. 모델 구조부터 학습 데이터와 강화학습 방식까지 손봐 전체 개발·연구비를 3,200만 달러로 묶었다는 설명이다.
핵심요약
- 리커시브 인텔리전스는 칩 설계 플랫폼에 쓰이는 내부 모델의 범용 변형인 리플-65B 프리뷰를 공개하며, 모델과 하드웨어를 함께 최적화하는 개발 방향을 제시했다.
- 회사가 제시한 터미널벤치 2.1(TerminalBench 2.1) 점수는 80.52점으로 미국산 오픈 가중치 모델 중 최고지만, 비교 범위가 미국 모델로 한정된 수치다.
- 회사는 사전학습부터 데이터 구성, 평가, 강화학습까지 포함한 전체 연구개발비가 3,200만 달러였다며 비용 효율을 성과의 핵심으로 내세웠다.
- 전문가 혼합 모델(MoE) 대신 조밀한 65B 모델을 택해 엔비디아 하드웨어에서 학습·구동하기 쉽게 설계했지만, 일반 소비자 장비에서의 활용성은 토론에서 쟁점이 됐다.
- 커뮤니티는 미국 관할 모델을 찾는 수요를 인정하면서도 퀜 등 다른 오픈 가중치 모델과 같은 조건에서 비교해야 실사용 성능을 판단할 수 있다고 지적했다.
칩 설계용 내부 모델에서 공개된 65B로
리커시브 인텔리전스는 하드웨어, 소프트웨어, 모델을 함께 최적화해 스스로 개선되는 시스템을 만들겠다는 AI 연구소다. 이번에 공개한 리플-65B 프리뷰는 AI 칩 설계 플랫폼을 구동하는 자체 모델의 범용 변형이다. 회사는 칩 설계 플랫폼에 필요한 언어 모델을 처음부터 학습시키는 과정에서, 학습과 서비스 환경에 맞춰 모델 구조도 설계했다고 설명한다. 모델만 따로 만드는 대신 실제로 돌릴 하드웨어까지 개발의 출발점에 놓은 셈이다.
리플-65B 프리뷰는 12조 토큰으로 사전학습됐으며, 최대 100만 토큰의 문맥 길이를 지원한다고 회사는 밝혔다. 가중치를 공개한 모델이라 허깅페이스(Hugging Face)에서 접근할 수 있고, 투게더 AI(Together AI), GMI 클라우드(GMI Cloud), 오픈라우터(OpenRouter), 파이어웍스(Fireworks)에서도 이용할 수 있다. 회사가 공개판을 ‘프리뷰’라고 부르는 만큼, 발표의 초점은 완성된 칩 설계 제품보다는 내부 기술의 범용 성능을 보여주는 데 있다. 내부 모델이 맡던 특화 작업과 공개 모델이 평가받는 일반 코딩 작업을 구분해 읽을 필요가 있다.
터미널벤치 80.52점의 비교 범위
리커시브 인텔리전스가 앞세운 지표는 에이전트가 터미널에서 작업하는 능력을 평가하는 터미널벤치 2.1이다. 회사가 제시한 리플-65B 프리뷰의 점수는 80.52점으로, 미국산 오픈 가중치 모델 가운데 최고라는 주장이다. 발표문에 실린 비교 대상인 리플렉션 빔 501B(Reflection Beam 501B)는 80.1점, 메타 뮤즈 스파크 오픈 816B(Meta Muse Spark Open 816B)는 76.4점이다. 더 큰 모델과 견줘도 앞선다는 점을 보여주려는 구성이다.
같은 표에서 싱킹 머신스 잉클링 975B(Thinking Machines Inkling 975B)는 63.8점, 엔비디아 네모트론 3 울트라 550B(NVIDIA Nemotron 3 Ultra 550B)는 56.4점으로 제시됐다. 여기서 ‘미국산’은 핵심 조건이다. 발표가 주장하는 최고 성능은 세계의 모든 오픈 가중치 모델을 포괄하는 순위가 아니라, 미국산 모델과 특정 코딩 평가를 결합한 범위에서 성립한다. 회사의 성능 주장을 이해하려면 높은 점수와 함께 그 점수가 겨룬 상대도 봐야 한다.
3,200만 달러에 포함된 개발 과정
회사에 따르면 리플-65B 프리뷰를 처음부터 개발하고 학습시키는 데 든 전체 연구개발비는 3,200만 달러다. 여기에는 최종 사전학습과 후속 학습뿐 아니라 작은 모델로 학습법을 시험하는 과정, 데이터 구성, 평가, 오류 수정, 합성 데이터 제작도 포함된다. 리커시브 인텔리전스는 이 금액이 이전 미국산 오픈 가중치 에이전틱 코딩 최고 모델 비용의 10분의 1 수준이라고 추정했다. 단일 학습 실행비가 아니라 시행착오를 포함한 개발비를 제시했다는 점이 회사 설명의 특징이다.
발표문은 AI 모델 학습비가 커져 온 사례도 함께 들었다. 오픈AI(OpenAI)의 샘 올트먼(Sam Altman)이 2023년 GPT-4 학습비가 1억 달러를 넘었다고 말했고, 다리오 아모데이(Dario Amodei)는 이듬해 최전선 모델 학습비가 최대 10억 달러에 이를 수 있다고 언급했다는 내용이다. 다만 회사가 말한 ‘10분의 1’은 자체 추정이며, 발표문에 인용된 다른 비용 수치들이 모두 동일한 범위의 지출을 뜻하는 것은 아니다. 독자가 주목할 지점은 절대적인 최저가 경쟁보다, 리커시브 인텔리전스가 성능 대비 개발 효율을 주된 성과로 내세웠다는 사실이다.
적은 롤아웃으로 높인 강화학습 점수
비용을 줄인 방법으로 회사가 먼저 설명한 것은 후속 학습 방식이다. 리커시브 인텔리전스는 강화학습(RL·보상을 바탕으로 모델의 행동을 개선하는 학습)을 무작정 길게 돌리는 대신, 지도 미세조정(SFT·정답 예시를 따라 학습시키는 과정)과 강화학습의 절차를 반복해서 다듬었다고 밝혔다. 외부의 후속 학습 데이터를 구매하지 않고 합성 데이터 생성 경로와 품질 필터, 데이터가 다루는 범위를 확인할 지표도 자체적으로 만들었다. 계산량을 늘리기 전에 학습 과제와 데이터의 질을 조정했다는 설명이다.
강화학습에는 잘린 중요도 샘플링, 점수 중심화, 답변 길이에 대한 선형 페널티를 섞어 사용했다. 또 긴 작업 과정을 요구하는 합성 환경을 만들고, 모델의 능력이 높아질 때마다 더 어려운 과제를 추가했다고 한다. 회사는 이렇게 강한 SFT 체크포인트에서 출발해 약 140만 번의 롤아웃(모델이 과제를 수행하며 생성한 시도)만으로 터미널벤치 2.1에서 약 80.5점을 얻었다고 밝혔다. 이는 회사가 이전 최고 모델로 지목한 리플렉션 빔보다 롤아웃 수가 약 70배 적다는 주장이다.
엔비디아 장비에 맞춘 조밀한 모델
리커시브 인텔리전스는 여러 전문 모델 중 일부만 활성화하는 전문가 혼합 모델(MoE) 대신, 매번 전체 구조를 사용하는 조밀한 트랜스포머(Transformer)를 선택했다. 엔비디아 하드웨어에서 학습하고 서비스할 때 필요한 인프라를 단순하게 유지하면서 추론과 에이전트 작업 성능을 확보하려는 결정이었다고 설명한다. 회사에 따르면 단순한 모델 분할만 사용하고 맞춤형 연산 커널이나 양자화(가중치의 표현 정밀도를 낮추는 기법) 없이도 학습 내내 MFU(장치의 최대 연산 능력 대비 실제 활용률) 40%를 유지했다. 구조 선택을 성능뿐 아니라 개발·운영의 복잡성과 연결한 것이다.
모델은 폭이 좁고 층이 깊은 형태로, 중심 차원은 5,120이고 전체 층은 80개다. 추론 능력을 높이기 위해 어텐션 헤드 수를 늘리는 한편, 계산 비용을 조절하도록 슬라이딩 윈도 어텐션(SWA·가까운 토큰에 집중하는 방식)의 창 크기를 줄이고 전역 층과의 비율을 조정했다. 여기에 활성값 제한, 게이트 어텐션, 위치 정보를 별도로 넣지 않는 전역 NoPE, 값 잔차 연결을 더했다. 회사는 이런 조밀한 구조가 토큰을 낮은 지연으로 생성하고, 데이터센터 가속기보다 메모리 대역폭이 낮은 엔비디아 DGX 스파크 같은 로컬 장비에도 맞는다고 설명한다.
작은 모델 시험에서 찾은 학습법
회사는 최종 65B 모델에 곧바로 모든 설계 변경을 적용하지 않았다. 올모 3(Olmo 3)의 모델 래더(작은 규모의 시험 결과를 큰 모델 설계에 반영하는 절차)에서 시작해, 코딩 능력을 개선할 방법을 작은 모델에서 차례로 시험했다. 초기에는 배치 크기와 학습률을 키우는 법칙을 적용하고, 이후 모델 차원과 깊이를 함께 늘리는 자체 절차로 바꿨다. 작은 규모의 성적만 보고 설계를 확정하지 않은 점도 발표문에 드러난다.
예를 들어 정규화 방식을 바꾼 시도는 작은 모델에서는 차이가 없었지만 4B 규모부터 개선을 보였다. 반대로 2스트림 mHC는 작은 규모에서 결과가 좋았어도 4B에서는 개선되지 않아 최종 설계에서 제외됐다. 이후 시그모이드 게이트 어텐션, 전역 NoPE, 학습률을 마지막에 0까지 낮추는 단계, 값 잔차 연결을 순차적으로 더했고, 최종 단계에서는 코드 비중을 크게 높인 자체 사전학습 데이터로 전환했다. 회사는 이 변경들을 합쳤을 때 4B 모델의 코드 평가 지표에서 올모 3의 기준 학습법보다 계산 효율이 최대 16배 높았다고 밝혔다.
이 16배는 공개된 65B 모델의 모든 작업이 16배 싸졌다는 뜻이 아니라, 작은 모델 규모에서 특정 코드 지표로 측정한 학습법 비교 결과다. 리커시브 인텔리전스는 이를 바탕으로 모델과 모델을 구동하는 하드웨어가 서로 개선에 기여하는 고리를 만들겠다는 목표를 제시했다. 현재 칩 설계 플랫폼에는 리플의 내부 변형이 쓰이고, 공개된 프리뷰는 그 개발 방향을 외부에 보여주는 역할을 한다. 앞으로의 관건은 작은 규모에서 찾은 효율과 코딩 평가의 강점이 더 넓은 작업에서도 이어지는지다.
커뮤니티 의견
한 사용자는 ‘최고 성능’이라는 말에 미국산, 오픈 가중치, 특정 코딩 평가라는 조건이 겹쳐 의미가 좁아졌다고 지적했다. 답글에서는 성능과 모델 크기를 함께 보는 비교라면 유효한 표현이라는 반론도 나왔다. 미국산 모델이라는 구분 자체에는 별도 수요가 있을 수 있다는 의견도 뒤따랐다.
한 사용자는 새로운 경쟁력 있는 오픈 가중치 모델을 환영하면서도, 65B 조밀한 모델을 일반 소비자 장비에서 빠르게 구동하기는 어려울 것이라고 봤다. 칩 설계 기업이 지식재산 유출을 피하려고 외부와 분리된 환경에서 서버급 장비로 활용하려는 모델일 수 있다는 해석도 내놨다. 답글에서는 퀜(Qwen)의 27B급 모델과 같은 메모리 사용량으로 양자화해 비교해 봐야 한다는 요구가 나왔다.
다른 사용자는 발표문이 미국산 모델만 비교하고 다른 오픈 가중치 모델을 거론하지 않은 점을 비판했다. 작성자에게 유리한 비교표보다 실제 이용자가 선택할 때 참고할 경쟁 모델과의 비교가 중요하다는 취지다. 특히 중국산 모델을 비교에서 빼면 세계 시장에서의 위치를 읽기 어렵다는 반응이 이어졌다.
반면 미국 기업의 관할 아래 있지 않은 모델을 사용하지 못하는 상황이 실제로 있다는 의견도 나왔다. 이 사용자는 그런 제약이 세계 전체에서의 성능 우위를 뜻하지는 않지만, 모델을 고르는 사람에게 무의미한 구분도 아니라고 설명했다. 미국산이라는 조건을 성능 순위의 일부가 아니라 사용 조건의 하나로 봐야 한다는 관점이다.
점수를 직접 대조한 사용자도 있었다. 그는 리플의 터미널벤치 2.1 점수 약 80.5점에 비해 퀜 3.8 플래시 넥스트는 84.3점, 퀜 3.8-27B는 73.0점이라고 적었다. 리플이 경쟁력은 있을 수 있지만 평가에 맞춰 얼마나 최적화됐는지에 따라 해석이 달라진다고 봤다.
서비스에서 도구 호출을 시험했다는 사용자는 발표 점수와 다른 사용 경험을 전했다. 오픈라우터에서 접속한 GMI 클라우드 호스팅 모델이 자신이 진행한 시험에서 도구 호출 8회 중 4회에 실패했다고 주장했다. 그는 실제 제공 환경의 문맥 길이 제한과 도구 사용 안정성이 에이전트 모델의 평가 점수만큼 중요하다고 지적했다.
또 다른 사용자는 진짜 경쟁 상대와의 비교가 빠지면 최종 이용자에게 벤치마크의 정보 가치가 낮아진다고 말했다. 미국산 모델 사이에서 앞선다는 사실만으로 자신이 쓸 수 있는 오픈 가중치 모델 가운데 무엇을 고를지 결정하기는 어렵다는 뜻이다. 이는 발표의 비교 범위가 구매·도입 판단에 필요한 범위와 다를 수 있다는 비판이다.
마지막으로 한 사용자는 파라미터 수 대비 점수를 보여주는 비교 방식에도 문제를 제기했다. 비교 대상은 MoE인데 리플은 조밀한 모델이므로 전체 파라미터 수만 나란히 놓으면 실제 구동 비용의 차이가 가려질 수 있다는 주장이다. 그는 MoE의 활성 파라미터 수까지 고려해 비교표를 조정해야 한다고 제안했다.
핵심통찰
리플-65B 프리뷰가 바꾸려는 경쟁의 기준은 최고 점수 하나가 아니라, 특정 하드웨어에서 모델을 만들고 돌리는 데 드는 비용까지 포함한 개발 효율이다. 작은 모델 시험, 자체 데이터, 강화학습 과제 설계를 엮어 성능을 끌어올렸다는 설명은 칩 설계용 AI를 구축하려는 회사의 목적과도 맞닿아 있다. 다만 미국산 모델 사이의 순위와 실제 선택 가능한 모델 사이의 우위는 다른 문제다. 퀜을 포함한 폭넓은 비교, MoE와 조밀한 모델의 구동 비용, 제공 서비스의 도구 호출 안정성을 함께 봐야 이 설계가 실사용에서도 강점인지 드러난다.
원본: Recursive Self-Improvement via AI for Chip Design & Chip Design for AI - Ricursive Intelligence
토론: Hacker News