레플렉션 AI(Reflection AI)가 코딩과 에이전트 작업을 겨냥한 첫 공개 가중치 모델 빔(Beam)을 발표했다. 전체 매개변수는 5010억 개지만 한 번의 처리에 활성화되는 매개변수는 230억 개다. 회사는 대규모 사전학습과 강화학습을 결합해 추론 비용 대비 성능을 높였다고 주장한다. 다만 지금은 일부 사용자에게 제공하는 초기 접근 단계이며, 누구나 성능을 직접 확인할 수 있는 모델 가중치는 아직 공개되지 않았다. 큰 규모의 학습을 어떻게 운영했는지와 실제 공개 시점에 무엇을 검증할 수 있을지가 함께 읽어야 할 대목이다.
핵심요약
- 빔은 전체 5010억 개 중 230억 개의 매개변수만 활성화하는 전문가 혼합 모델로, 레플렉션 AI는 코딩과 에이전트 작업에서 성능 대비 추론 효율을 앞세운다.
- 회사는 23조8000억 토큰으로 사전학습한 뒤 엔비디아(NVIDIA) GB300 GPU 1만500개를 4주간 투입해 1억 건 넘는 강화학습 실행 기록을 만들었다.
- 레플렉션 AI는 문제 해결 작업의 품질을 반복해 걸러내고 비동기 학습 시스템을 구축한 것이 대규모 강화학습의 성능 향상을 뒷받침했다고 설명한다.
- 가중치는 추후 아파치 2.0 라이선스로 공개하고 기술 보고서도 내놓을 예정이어서, 현재 제시된 성능과 안전성 주장은 외부 검증을 기다리고 있다.
5010억 개 모델이 내세운 것은 효율
빔은 입력에 따라 일부 전문가만 동원하는 희소 전문가 혼합(MoE·여러 전문가 모델 중 필요한 일부를 선택하는 구조) 모델이다. 전체 매개변수 5010억 개와 활성 매개변수 230억 개라는 차이가 이 설계의 핵심이다. 레플렉션 AI는 빔을 코딩, 추론, 에이전트 작업용으로 훈련했으며, 사전학습과 강화학습 양쪽에 큰 투자를 했다고 밝혔다. 회사가 전면에 내세운 경쟁력은 모델의 전체 크기보다 실제 실행에 드는 계산량 대비 성능이다.
레플렉션 AI는 빔이 GLM-5.2와 고난도 추론 평가에서 비슷한 점수를 내면서 추론 계산량은 3~4배 적게 썼다고 설명한다. 코딩과 에이전트 작업에서는 더 큰 공개 모델과 경쟁하며 큐원(Qwen) 3.8-Max에 접근하지만, 키미(Kimi) K3처럼 원시 성능에서 앞선 모델도 있다고 인정했다. 회사는 빔을 기업의 코딩·에이전트 작업에 쓸 수 있는 실무형 모델로 제시한다. 다만 이 비교는 회사가 제시한 평가 결과이며, 가중치가 공개된 뒤 사용자들이 같은 조건에서 시험할 수 있다.
GPU 1만500개로 돌린 강화학습
레플렉션 AI는 빔의 강화학습(RL·결과에 대한 보상을 바탕으로 모델을 개선하는 학습)에 엔비디아 GB300 GPU 1만500개를 4주간 투입했다고 밝혔다. 이 과정에서 1억 건 넘는 롤아웃(모델이 과제를 수행하며 남긴 실행 과정)을 생성했고, 최대 문맥 길이는 25만6000토큰이었다. 학습과 채점에는 약 13억 개의 샌드박스(작업을 격리해 실행하는 환경)가 쓰였다. 회사는 강화학습에 투입하는 계산량을 늘리는 동안 자체 평가에서 성능 향상이 멈추는 징후를 보지 못했다고 주장한다.
긴 작업을 대량으로 동시에 처리하면 오래된 모델 버전이 만든 결과가 뒤늦게 학습에 들어오는 문제가 생긴다. 레플렉션 AI는 비동기 정책 경사 방식으로 학습하면서 각 토큰을 생성한 모델 버전을 추적하고, 학습용 엔진과 추론용 엔진 사이의 수치 차이를 줄이는 알고리즘을 개발했다고 설명한다. 그 결과 하루 넘게 전에 생성된 상호작용도 학습에 활용하면서 안정성을 유지했다고 밝혔다. 강화학습의 규모뿐 아니라 지연된 실행 결과를 어떻게 다루는지가 핵심 과제였던 셈이다.
짧게 풀되, 필요하면 길게 생각하기
빔에는 정답에 가까운 해결을 보상하면서 불필요하게 긴 출력을 억제하는 길이 제어 보상이 적용됐다. 회사에 따르면 강화학습 초기에는 답변 길이가 줄어도 과제 성능이 좋아졌다. 이후 복잡한 에이전트 작업을 더 잘 수행하게 되면서 답변은 다시 길어졌지만, 늘어난 토큰이 성능 향상에도 기여했다. 레플렉션 AI는 이를 토큰 사용량과 문제 해결 능력 사이의 균형이 개선된 결과로 해석한다.
사용자는 ‘추론 노력’ 설정으로 이 균형을 조절할 수 있다. 낮은 설정은 짧은 응답에, 높은 설정은 까다로운 작업에 필요한 긴 추론에 무게를 둔다. 회사는 추론·소프트웨어 엔지니어링·터미널 작업으로 훈련하는 동안, 강화학습 과제에 웹 탐색을 넣지 않았는데도 탐색 성능이 올랐다고 밝혔다. 웹 접근 권한이 주어졌을 때 다른 언어 모델을 검색해 질문하거나 OCR API로 문서를 읽은 사례도 제시하며, 학습한 작업 방식이 다른 영역으로 옮겨갔다고 설명했다.
과제 백만 개를 모으고 다시 거르다
대규모 강화학습에는 모델이 실제로 도전할 만한 과제가 지속적으로 필요하다. 레플렉션 AI는 소프트웨어 개발, 터미널 사용, 경쟁 프로그래밍, 과학·기술·공학·수학(STEM), 웹 검색과 도구 사용 등을 아우르는 약 100만 개의 환경을 마련했다. 대부분은 합성 데이터 파이프라인으로 만들고, 외부에서 확보한 독점 데이터와 오픈소스 자료로 보완했다. 단순히 과제 수를 채우는 대신 모델이 늘 맞히거나 전혀 풀지 못하는 문제를 걸러내는 데 집중했다.
회사는 지시가 모호하거나 오해를 부르거나, 답을 찍거나 채점 허점을 이용해 통과할 수 있는 과제도 제거했다고 설명한다. 선별한 과제를 실제 강화학습에 투입한 뒤 드러난 품질·난도 문제는 다음 선별 과정에 반영했다. 레플렉션 AI는 데이터 품질을 타협했을 때 성능 향상이 정체되거나 학습 문제가 발생했다고 밝혔다. 따라서 학습량을 키우는 일과 좋은 과제를 꾸준히 공급하는 일은 분리할 수 없다는 것이 회사의 설명이다.
동시에 11만 건, 멈추지 않는 학습 시스템
빔의 강화학습 플랫폼은 실행 기록 생성, 도구 실행, 결과 평가, 모델 갱신을 서로 독립적으로 진행한다. 레플렉션 AI에 따르면 학습 중 평균 동시 롤아웃은 11만 건이었고, 최대 17만 개의 샌드박스를 동시에 지원했다. 추론과 학습에 배분한 GPU 비율은 3.9대 1에서 5.4대 1 사이에서 조절했다. 작업 길이와 처리량이 변해도 한쪽 과정이 전체 학습을 멈추게 하지 않도록 설계한 것이다.
새 모델 가중치가 추론용 GPU 전체에 전달되는 데 걸린 시간의 중앙값은 약 12초였다. 회사는 71건의 추론 장애를 학습 작업 종료 없이 처리했고, 장애 뒤 추론 용량을 회복하는 데 걸린 시간의 중앙값은 8분이었다고 밝혔다. 학습 묶음의 평균 활용률은 99.99%로 유지했으며, 토큰별 기록으로 학습·추론 간 수치 일치 여부와 보상 과정도 점검했다. 대규모 에이전트 학습에서 장애 복구와 채점의 신뢰성까지 성능을 좌우하는 운영 요소로 본 것이다.
23조8000억 토큰을 고른 기준
강화학습에 앞서 빔은 웹, 공개 자료, 사용 허가를 받은 독점 데이터 등에서 모은 23조8000억 토큰으로 사전학습됐다. 레플렉션 AI는 코드와 기술 설명, 수학·과학 지식을 후속 에이전트 학습의 토대로 삼았다. 원시 인터넷 토큰의 약 95%는 파싱, 중복 제거, 품질 선별 과정에서 제외했다고 설명한다. 반면 기존 방식이라면 놓쳤을 고품질 토큰 약 1조8000억 개는 유지했다고 밝혔다.
코드는 언어별 필터를 달리 적용하고, 품질이 낮은 자동 생성물이나 학습에 방해가 될 수 있는 내용을 걸러냈다. 기술 PDF를 처리할 때는 문자를 읽어내는 OCR 모델과 자체 품질 검사기를 결합해 잘못 복원된 자료를 찾아냈다. 모델 구조에서는 전문가 사용량이 한쪽으로 쏠리지 않도록 균형을 맞추고, 깊은 층까지 수치가 안정적으로 전달되도록 설계했다고 설명한다. 회사는 이렇게 만든 기본 모델이 비슷한 크기의 접근 가능한 공개 기본 모델과 같거나 더 나은 성능을 냈다고 주장한다.
4주 사전학습에서 100만 토큰 문맥까지
빔의 사전학습은 엔비디아 GB300 NVL72 GPU 6144개로 구성한 클러스터에서 4주가 채 걸리지 않았다. 레플렉션 AI는 작업 배치, 장비 상태 감시, 조용한 데이터 손상 탐지 등을 포함한 인프라의 상당 부분을 자체 구축했다고 밝혔다. 사전학습 중에는 기울기 수치의 비정상적 변화나 데이터 손상 의심으로 아홉 차례 되돌려 학습을 재개했다. 종료 무렵 최종 모델에 남는 학습 단계에 쓴 시간의 비율은 92.3%에 도달했다고 설명한다.
이후 중간학습 단계에서는 긴 문서와 코드 저장소, 오래 이어지는 과제를 활용해 강화학습의 출발점을 다졌다. 이 단계에서 빔의 유효 문맥 길이는 100만 토큰으로 확장됐다. 긴 입력에서 필요한 정보를 찾고 유지하며 서로 연결하는 능력을 길러, 강화학습에서 더 복잡한 해법을 시도하도록 했다는 설명이다. 다만 강화학습 실행 때 제시한 최대 문맥 길이는 25만6000토큰으로, 중간학습 단계의 수치와 구분해 읽어야 한다.
안전성 학습과 아직 열리지 않은 가중치
레플렉션 AI는 대규모 강화학습 모델과 별도의 안전성·정렬 모델을 각각 훈련한 뒤, 두 모델의 능력을 증류 방식으로 합쳤다고 밝혔다. 안전 규칙, 정확성과 불확실성 표현, 직접적이고 효율적인 응답 방식 등을 학습 목표로 삼았다. 해로운 답변뿐 아니라 지나친 거부를 유도하는 공격 사례도 반복해 만들어 다음 학습에 반영했다. 안전성 평가 결과와 내부 평가 도구는 추후 기술 보고서 및 오픈소스 공개를 통해 제시할 계획이다.
현재 빔은 최종 레드팀 점검(공격적 시험으로 취약점을 찾는 절차)과 평가를 거치고 있으며, 초기 사용자는 대기 명단을 통해 모집한다. 레플렉션 AI는 이달 중 가중치를 아파치 2.0 라이선스로 공개하고 기술 보고서, 모델 카드, 실행·평가·미세조정 자료도 내놓겠다고 예고했다. 공개 소프트웨어 도구와의 통합, 배포 파트너도 함께 준비 중이라고 밝혔다. 지금의 발표가 모델의 설계와 회사 측 결과를 보여줬다면, 예정된 공개는 개발자들이 직접 같은 질문을 던져볼 수 있는 출발점이다.
커뮤니티 의견
한 사용자는 빔의 당장 나온 벤치마크보다 모델을 내놓는 조직이 어떤 곳인지가 더 중요하다고 했다. 제품이나 팀의 작업을 특정 모델에 의존하게 만들려면 운영 주체가 계속 모델을 제공할 수 있는지 살펴야 한다는 이유다. 빠르게 바뀌는 성능 순위와 달리 조직의 지속 가능성은 장기적인 선택에 영향을 준다는 주장이다.
다른 사용자는 시연 이미지에 나온 육지·바다 지도 과제를 두고 ‘최근 생긴 문제라 학습 데이터에 없었을 것’이라는 설명에 이의를 제기했다. 같은 방식의 문제가 적어도 2025년 8월에는 온라인에 등장했다는 근거를 들었다. 답글에서는 그 사실과 별개로 해당 문제를 직접 강화학습했을 가능성은 낮다는 의견과, 모델의 검색 능력을 감안하면 문제의 등장 시점만으로 일반화 능력을 판단하기 어렵다는 의견이 이어졌다.
가중치가 아직 없다는 점을 가장 큰 문제로 꼽는 반응도 나왔다. 한 사용자는 현재 할 수 있는 일이 초기 접근을 신청하는 것뿐이라며, 공개 가중치 모델이라는 발표를 검증할 재료가 부족하다고 지적했다. 독점 데이터에 관한 설명이 충분치 않다는 의문도 제기됐다. 다만 데이터의 실제 내용에 관한 댓글의 추측은 공개된 정보만으로 확인되는 사실과는 구분해야 한다.
발표 시점을 아쉬워하는 사용자는 가중치와 함께 발표했다면 바로 자체 벤치마크를 돌려봤을 것이라고 말했다. 지금처럼 신청부터 받으면 모델이 나왔을 때 다시 찾아보지 않을 수도 있다는 것이다. 다른 선택지로는 가중치 공개 전이라도 API를 먼저 제공해 사용자가 시험하게 하는 방안을 들었다. 신규 모델이 많은 상황에서는 성능 설명보다 직접 써볼 기회가 먼저라는 주장이다.
동급 모델과의 비교에서는 딥시크(DeepSeek) V4.1 플래시를 거론한 사용자가 있었다. 그는 두 모델의 전체·활성 매개변수와 기능, 가중치 공개 시점을 나란히 놓고, 인상적인 벤치마크보다 실제 가중치를 보여주는 일이 중요하다고 말했다. 이와 별도로 공개 가중치 모델이 늘어나는 것은 반갑지만, 기존 모델보다 크거나 운영 비용이 많이 드는 선택을 할 이유가 있는지 묻는 반응도 나왔다.
서구권 공개 모델과 중국 기업의 공개 모델을 비교하며 경쟁이 더 필요하다는 의견도 있었다. 한 사용자는 어느 한쪽 모델에만 의존하게 되는 상황을 우려했고, 다른 사용자는 첫 공개작이 최고 기록을 세우지 못해도 새로운 참여 자체를 환영할 만하다고 답했다. 이 논쟁은 빔의 가치가 단일 성능 순위에만 있는지, 선택지의 확대에도 있는지를 가른다.
안전성에 관심을 둔 사용자는 빔에 어느 정도의 후속 정렬 학습이 적용됐는지, 개발자가 자체 제한을 설정하거나 다시 정렬할 수 있는지 물었다. 또 다른 사용자는 대규모 공개 가중치 모델의 내부를 살펴볼 수 있다는 점이 신뢰할 만한 시스템을 만드는 데 중요하다고 평가했다. 가중치와 안전성 평가가 함께 공개되면 이런 질문을 더 구체적으로 검토할 수 있다.
대기 명단에 이름을 올린 한 사용자는 내려받기 선택지를 찾지 못했다며 공개 가중치 모델의 배포 방식에 의문을 표했다. 토론 말미에는 과거의 다른 ‘리플렉션’ 모델 논란을 빔과 연결하는 댓글도 있었지만, 답글은 그 모델과 레플렉션 AI가 서로 다른 주체라고 바로잡았다. 이름이 비슷하다는 이유보다 빔 자체의 가중치, 보고서, 실행 결과를 확인해야 한다는 점이 남는다.
핵심통찰
빔이 바꾸려는 기준은 ‘얼마나 큰 모델인가’에서 ‘실제 작업을 수행하는 데 계산량을 얼마나 쓰는가’로 옮겨간다. 레플렉션 AI는 대규모 강화학습을 가능하게 한 과제 선별과 운영 시스템까지 공개적으로 설명하며 그 주장을 뒷받침하려 했다. 그러나 공개 가중치 모델의 강점은 발표 자료가 아니라 다른 사람이 실행하고 비교하고 수정할 수 있을 때 드러난다. 예정된 가중치·기술 보고서·안전성 평가가 실제로 공개되는지, 그리고 개발자들이 같은 비용 조건에서 성능을 재현하는지가 빔을 판단할 다음 기준이다.
원본: Introducing Beam: Reflection’s 501B open-weight model — Reflection
토론: Hacker News