코그니션(Cognition)이 코딩 모델 SWE-2를 공개하며 상위권 모델에 가까운 문제 해결률을 더 낮은 비용으로 달성했다고 밝혔다. 프런티어코드(FrontierCode) 1.1 메인 평가에서 50.0%를 기록해 페이블(Fable) 5.1과의 격차를 1%포인트 안으로 좁혔고, 비용은 64% 낮았다는 설명이다. 이번 발표에서 눈여겨볼 대목은 점수만이 아니다. 앞선 모델이 코드를 고치기 전에 지나치게 오래 탐색한다는 피드백을 받아, SWE-2는 필요한 곳을 더 빨리 찾아 수정하도록 학습했다는 것이 코그니션의 주장이다. 다만 Hacker News에서는 자체 평가 점수와 실제 제품 경험 사이의 거리를 따져야 한다는 반응이 나왔다.
핵심 요약
- 코그니션은 SWE-2가 프런티어코드 1.1 메인에서 50.0%를 기록하고 페이블 5.1보다 64% 낮은 비용을 썼다고 밝혀, 코딩 모델의 경쟁 기준을 점수와 비용의 조합으로 제시했다.
- SWE-2 미디엄은 이전 모델보다 적은 단계로 첫 코드 수정을 시작해, 단순한 작업에서도 오래 탐색하던 문제를 줄이는 데 초점을 맞췄다.
- 코그니션은 하나의 강화학습 과정에서 여러 추론 노력 수준을 함께 훈련하도록 보상 설계를 바꿔, 저비용 설정과 고성능 설정을 동시에 개선하려 했다.
- 학습 환경을 세 배로 늘리고 검증기를 반복 개선했지만, 토론에서는 자체 평가와 실제 사용 경험이 얼마나 일치할지가 핵심 쟁점으로 떠올랐다.
- SWE-2는 데빈(Devin) 데스크톱과 CLI에서 먼저 이용할 수 있으며, 데빈 웹과 퓨전(Fusion)에도 순차 적용된다.
페이블에 근접한 점수, 더 낮춘 비용
코그니션은 SWE-2를 자사에서 가장 발전한 코딩 모델로 소개했다. 프런티어코드 1.1 메인에서 기록한 50.0%는 페이블 5.1 미디엄의 50.9%와 가깝지만, 코그니션이 제시한 비용은 64% 낮다. 회사는 프런티어코드 1.1 메인과 딥SWE(DeepSWE) 1.1에서 SWE-2가 이전 모델 SWE-1.7과 그록(Grok) 4.6보다 점수와 비용 양쪽에서 앞섰다고 밝혔다. GPT-5.6 솔(Sol), 페이블 5·5.1과는 훨씬 낮은 가격에 비슷한 성능을 내고, GPT-6 아스트라(Astra)와도 점수 차이를 몇 점까지 좁혔다는 설명이다.
SWE-2는 처음부터 새로 만든 기반 모델이 아니라, 이미 코딩 에이전트용 강화학습을 거친 키미(Kimi)의 2조8000억 매개변수 모델을 추가 학습한 결과물이다. 코그니션은 이 사후 학습만으로 여러 평가에서 점수가 5~6점 올랐다고 밝혔다. 비교에 쓰인 비용은 공개 할인까지 반영한 정가 기준이며, 모델별 점수는 공개 결과가 있으면 이를 사용하고 없으면 주로 쓰이는 실행 환경에서 평가했다. 따라서 발표의 핵심은 단일 순위표의 승패보다, 비슷한 문제 해결률에 도달하는 데 얼마를 쓰느냐에 있다.
첫 수정까지 48단계에서 18단계로
코그니션이 강조한 변화는 모델의 작업 방식이다. 회사는 이전 모델 SWE-1.7이 코드베이스를 꼼꼼히 살피는 대신 간단한 작업에서도 지나치게 탐색하고 숙고한다는 피드백을 받았다고 설명했다. 프런티어코드 1.1 메인에서 SWE-2 미디엄은 SWE-1.7보다 높은 점수를 내면서 평균 작업 단계는 58%, 비용은 81% 줄였다. 첫 실질적인 코드 수정에 이르기까지 걸린 단계의 중앙값도 48에서 18로 내려갔다.
회사 내부 시험에서는 수정한 코드가 의도대로 작동하는지 처음부터 끝까지 확인하는 테스트를 더 잘 작성하고, 회귀 오류나 예외적인 경우도 더 잘 찾아내는 모습이 관찰됐다. 필요한 MCP 연동을 사용할 수 없을 때 이미 접근 권한이 있던 슬랙(Slack) 채널 기록에서 데이터를 재구성한 사례도 제시했다. 사용자의 가설에 곧바로 동의하기보다 실행 결과를 확인하고 결론을 다시 따지는 행동 역시 개선점으로 꼽았다. 코그니션에 따르면 미디엄은 빨리 착수하는 쪽에, 하이와 맥스는 복잡한 작업에서 더 오래 계획하고 검증하는 쪽에 무게를 둔다.
한 번의 강화학습으로 여러 비용 구간을
이 차이를 만들기 위해 코그니션은 여러 추론 노력 수준을 하나의 강화학습(RL·결과에 보상을 주어 모델을 다듬는 학습) 과정에서 함께 훈련했다. 목표는 가장 강한 설정 하나의 점수를 올리는 데 그치지 않는다. 비용을 더 쓰지 않고 성능을 높이거나, 성능을 유지하면서 비용을 줄인 선택지들을 넓히는 것이다. 회사는 이를 비용과 성능의 파레토 전선(한쪽을 개선하려면 다른 쪽을 희생해야 하는 경계)을 앞으로 밀어내는 일로 설명한다.
훈련 보상은 작업의 성공 여부에서 실행 비용에 비례한 벌점을 빼는 방식이다. 여기서 비용에는 추론에 든 달러 금액과 작업 시간이 함께 들어간다. 코그니션은 벌점이 비용에 선형으로 비례해야 평균 비용과 평균 해결률이 보상에 직접 반영된다고 설명하고, 노력 수준마다 벌점의 크기를 기존 모델의 파레토 전선 기울기에 맞췄다. 벌점을 지나치게 크게 주면 고비용 설정이 단지 덜 생각하는 저비용 설정처럼 변해 보상만 올라갈 수 있어, 실제 성능·비용의 경계를 개선하도록 균형을 잡았다는 것이다.
긴 작업의 보상을 다르게 다룬 이유
코그니션은 학습을 안정시키는 또 다른 장치로 길이 가중 보상 기준선을 소개했다. 여러 번의 실행 결과에서 보상을 비교할 때 흔히 쓰는 평균 대신, 실행 길이를 고려한 기준값을 사용한다. 회사는 길이가 학습 기울기의 크기와 강하게 연관돼 있어 이를 활용하면 추가 계산 부담 없이 기울기 변동을 줄일 수 있다고 설명했다. 이 방식은 SWE-1.6부터 사용해 왔다고 밝혔다.
코그니션의 비교 실험에서는 길이를 반영한 기준선이 학습을 더 안정적으로 만들고 성능도 높였다. 특히 답을 생성하는 추론 과정과 모델을 갱신하는 학습 과정의 차이가 낮게 유지되는 데 도움이 됐다는 설명이다. 코딩 에이전트는 같은 요청에도 짧게 끝내거나 여러 도구를 거쳐 길게 작업할 수 있다. 그런 실행을 함께 학습할 때 보상 신호가 흔들리지 않도록 한 것이 이 설계의 역할이다.
더 큰 모델을 돌리기 위한 실행 최적화
SWE-2의 기반 모델은 SWE-1.7에 쓰인 모델보다 매개변수가 거의 세 배 많다. 코그니션은 강화학습 중 작업을 반복 실행하는 시스템에서 처리량과 지연시간을 함께 관리해야 했다. GPU 스케줄러에서는 가까운 시점에 들어온 입력 준비 요청을 잠시 모아 처리했고, 그 결과 GPU당 분당 토큰 처리량과 요청당 초당 토큰 처리량이 각각 10~20% 개선됐다. 첫 토큰이 나오는 시간이 늘어나는 것은 감수할 만한 교환이라고 판단했다.
토큰을 더 빨리 생성하기 위해서는 작은 초안 모델이 다음 토큰을 먼저 제안하고 본 모델이 이를 확인하는 추측 디코딩(미리 생성한 후보를 한꺼번에 검증하는 방식)을 썼다. 학습이 진행되면 초안 모델의 제안이 덜 맞게 되는 문제를 줄이려고 새 초안 모델을 훈련했고, 승인되는 연속 토큰 길이를 15% 늘렸다. 이어 초안 모델도 학습 중인 본 모델의 변화에 맞춰 갱신하도록 했다. NVFP4·FP8 연산과 양자화 인식 학습도 적용해, 더 큰 기반 모델을 쓰면서 SWE-1.7과 비슷한 처리 효율을 유지하고 추론·학습 간 수치 차이는 낮췄다고 밝혔다.
세 배 늘린 학습 환경과 검증기
학습 과제도 늘렸다. 코그니션은 강화학습 환경의 수를 세 배로 늘리고 데이터를 가져오는 코드 저장소의 분포를 넓혔다. 기반 모델이 강해진 만큼 더 어려운 과제를 만들었으며, 기존 과제에는 추가 지시를 덧붙여 여러 요구사항을 동시에 지키도록 훈련했다. 단순히 문제를 푸는 능력뿐 아니라 사용자의 제약을 놓치지 않는 능력을 겨냥한 조정이다.
검증기도 반복해서 손봤다. 모델이 정답으로 채점받는 허점을 찾아내는 ‘보상 해킹’을 막기 위해, 코그니션은 학습 중 실행 기록에서 잘못된 합격과 불합격 사례를 찾아 수정했다. 이 과정에는 앞선 SWE-2 학습 단계의 모델 결과도 활용했다. 모델이 더 기민하게 우회 경로를 찾을수록 채점 체계 역시 더 엄격해져야 한다는 판단이 반영됐다.
정치 질문과 취약 코드 요청으로 본 신뢰성
코그니션은 성능 외에 두 가지 신뢰성 평가도 다시 실시했다. 중국의 정치적으로 민감한 주제에 관한 질문 145개를 영어·중국어 간체·번체로 제시하고, 실질적으로 답하면서 중국 정부의 공식 입장을 자신의 견해처럼 채택하지 않는지 평가했다. 이번에는 여섯 평가 축 대신 GPT-5.6 루나(Luna) 판정 모델의 합격·불합격 결과를 썼다. 코그니션이 보고한 SWE-2의 전체 합격률은 98.0%이며, 언어별로는 영어 99.8%, 간체 95.2%, 번체 99.1%다.
또 다른 시험은 고객의 신원이나 요청 언어가 취약하거나 악용 가능한 코드를 작성하려는 경향에 영향을 주는지 살폈다. 서구권·파키스탄·중국·티베트·파룬궁 관련 고객이라는 설정과 우르두어·중국어 요청을 포함하고, 안전한 구현을 우선하라는 지시의 유무도 나눠 비교했다. 코그니션은 시험한 여섯 모델 모두에서 특정 고객 설정에 따른 취약성의 통계적으로 유의미한 증가나 감소를 발견하지 못했다고 밝혔다. 다만 이 결과는 코그니션이 정한 과제와 판정 방식에서 나온 수치인 만큼, 실제 코딩 경험을 묻는 반응과 함께 읽을 필요가 있다.
커뮤니티 의견
한 사용자는 다른 평가에서 나타난 점수 차이를 근거로 새 문제에 대한 적응력을 의심했다. 댓글에서 제시된 터미널 벤치(Terminal Bench) 2.1의 92.8%와 터미널 벤치 4의 27.3%가 크게 벌어진다는 지적이다. 반론에서는 앞선 평가가 이미 포화된 반면 새 평가는 훨씬 어려우며, 다른 모델도 두 평가 사이에 큰 격차가 난다고 설명했다. 점수 차이만으로 특정 모델이 기존 평가에 과하게 맞춰졌다고 결론 내릴 수 없다는 주장이다.
한 사용자는 코그니션의 초기 코딩 봇 시연을 떠올리며 이번 성능 주장도 신중히 보겠다고 했다. 강한 기반 모델을 추가 학습한 만큼 결과물이 형편없지는 않겠지만, 개선 폭은 실제로 확인해야 한다는 입장이다. 답글에서는 초기 제품에 실망했으나 최근 데빈을 써 보고 예상보다 좋은 경험을 했다는 의견도 나왔다. 과거의 평판과 현재의 제품 경험이 엇갈리는 대목이다.
모델의 공개 범위를 묻는 의견도 있었다. 한 사용자는 가중치 공개 여부와 모델 정보가 궁금하다며, 저렴하거나 통제권이 큰 다른 모델을 두고 SWE-2를 선택할 이유를 요구했다. 답글에서는 기존 대형 모델 공급사도 사용자가 빠져나가면 가격을 내리는 등 대응할 수 있다고 반박했다. 또 다른 답글은 코그니션 같은 서비스 업체가 자체 모델을 갖추면 외부 모델 API에 쓰는 비용을 줄일 수 있다고 봤다.
데빈 자체를 계속 사용해 본 사람들 사이에서는 벤치마크보다 제품 경험이 중요하다는 불만이 나왔다. 한 사용자는 다시 시도했는데도 만족스럽지 않았다고 했고, 다른 사용자는 두 차례 평가 모두 결과가 나빴다고 했다. 이들에게 SWE-2의 발표 점수는 작업 도구를 다시 신뢰할 이유가 되기엔 부족하다. 모델 개선이 실제 제품의 안정적인 결과로 이어지는지가 관건이라는 시각이다.
키미 기반 모델을 추가 학습했다는 사실을 두고도 반응이 갈렸다. 한 사용자는 완전히 새로운 모델을 기대했지만, 강화학습으로 기존 모델의 능력을 끌어올릴 수 있다는 점은 흥미롭다고 했다. 반면 다른 댓글은 독자적인 모델 발표로 받아들였다가 기반 모델을 알고 나면 인상이 달라진다는 취지로 반응했다. 논점은 기반 모델의 출처 자체보다 사후 학습이 실제로 얼마나 차이를 만들었느냐에 있다.
한 사용자는 직장에서 여러 코딩 에이전트를 동시에 돌리고 휴대전화로 지시하며 일한다고 설명했다. 복잡한 분산 시스템을 다루면서도 직접 코드를 쓰거나 문서를 작성하는 일이 줄었다는 주장이다. 답글에서는 AI를 많이 쓴다는 경험담에 비해 해결되지 않은 버그나 제품의 품질은 그대로라며 생산성 평가를 비꼬았다. 개인의 작업 방식이 크게 바뀌었다는 이야기와 결과물의 개선을 요구하는 시각이 충돌했다.
이전 SWE 모델을 써 본 사용자는 SWE-1.6은 작은 작업에 빠르고 충분했지만 SWE-1.7은 생각하는 데 시간이 너무 오래 걸리고 같은 곳을 맴도는 듯했다고 했다. 그래서 SWE-2가 실제로 쓸 만해졌을지 기대한다고 밝혔다. 코그니션이 이번 발표에서 ‘덜 탐색하고 더 빨리 수정한다’는 변화를 앞세운 이유와 맞닿은 반응이다. 발표된 단계·비용 감소가 일상적인 작업에서도 체감될지가 남았다.
시뮬레이션 소프트웨어를 만드는 한 사용자는 코딩이 자기 업무의 일부에 불과하다고 지적했다. 물리와 수학을 깊이 이해하고 이를 소프트웨어에 적용해야 하므로, 코딩 작업에 특화된 모델보다 여러 분야를 두루 다루는 모델이 필요하다는 주장이다. 답글에서도 일반적인 소프트웨어 개발에는 쓸 만한 모델이 시뮬레이션과 기초적인 물리·공학 계산에서는 부족하다는 경험이 나왔다. 코딩 평가의 높은 점수가 모든 개발 업무에 같은 가치를 갖지는 않는다는 의견이다.
살펴볼 점
SWE-2 발표의 초점은 최고 점수 하나를 경신하는 데서, 작업 난도에 따라 쓸 수 있는 모델의 비용·성능 선택지를 넓히는 데로 옮겨갔다. 특히 첫 수정까지의 단계와 평균 비용을 함께 줄였다는 주장은 코딩 에이전트가 ‘잘 풀지만 오래 걸리는 도구’에서 벗어날 가능성을 보여준다. 다음에 확인할 것은 그 변화가 코그니션의 평가뿐 아니라 데빈의 반복적인 실제 사용에서도 유지되는지, 그리고 코딩 외 지식이 많이 필요한 업무에서도 통하는지다. 점수표보다 사용자가 맡긴 일을 끝까지 검증해 내는 경험이 SWE-2의 경쟁력을 가를 것이다.
원본: Introducing SWE-2: Pushing the Pareto Frontier
토론: Hacker News