미틸 바크데(Mithil Vakde)는 작은 트랜스포머를 처음부터 약 1시간 30분 학습시켜 ARC-AGI-1에서 44%를 기록했다고 밝혔다. 그가 제시한 학습·추론 비용은 총 67센트이며, ARC-AGI-2에서는 7%를 얻었다. 주목할 점은 거대 언어 모델이 아닌 비교적 단순한 모델로 TRM·HRM과 비슷한 점수에 도달했다는 주장이다. 적은 사례로 새로운 규칙을 배우는 능력을 어떻게 측정할지, 서로 다른 모델의 비용을 어떻게 비교할지까지 논의를 끌어냈다.
핵심 요약
- 바크데는 5090 GPU에서 작은 트랜스포머를 처음부터 약 1시간 30분 학습시켜 ARC-AGI-1 점수 44%를 얻었고, 전체 실행 비용을 67센트로 제시했다.
- 모델은 평가 문제의 숨겨진 정답을 학습하지 않고 문제에 딸린 예시를 활용하므로, 평가 시점 학습을 어디까지 허용할지가 점수 해석의 핵심이다.
- 3차원 RoPE와 문제별 임베딩을 각각 제거하면 점수가 약 24%로 떨어져, 바크데는 입력 표현이 성능에 크게 기여한다고 봤다.
- ARC-AGI-2의 중복되지 않는 문제를 학습에 더하면 44%를 얻지만, 이를 제외해도 계산량을 늘리면 약 40%를 기록한다고 밝혔다.
- 바크데는 사전학습 비용이 빠진 단일 순위표보다 학습 방식과 전체 비용을 구분한 비교가 필요하다고 주장했다.
적은 사례로 규칙을 배우는 시험
바크데의 관심사는 모델 크기 자체보다 표본 효율성(적은 학습 사례로 새 문제를 푸는 능력)에 있다. 그는 오늘날 AI에서 이 문제가 중요하지만 충분히 해결되지 않았다고 보고, 현재의 트랜스포머와 딥러닝 기법만으로 어디까지 갈 수 있는지 살피려 했다. 실험 비용을 낮춰 다른 연구자도 아이디어를 빠르게 검증할 수 있게 하겠다는 목표도 세웠다.
그가 택한 ARC-AGI는 색이 있는 격자 그림의 변환 규칙을 예시에서 찾아 새 입력에 적용하는 과제다. 바크데는 학습 퍼즐이 약 1,000개로 적고 퍼즐마다 규칙이 달라, 메타학습(문제마다 주어진 예시를 바탕으로 새 규칙에 적응하는 학습)을 살피기 좋다고 설명한다. 사람에게는 비교적 쉬운 문제라는 점도, 사례를 많이 본 모델과 적은 사례에서 규칙을 찾아내는 모델의 차이를 드러낸다고 본다.
이번 결과는 그의 ARC-AGI 연구 글 가운데 세 번째다. 앞선 모델을 더 빠르고 저렴하게 개선했으며 코드도 공개했다. 다만 이 모델은 여러 용도를 위해 학습한 LLM이 아니다. 특정 격자 문제를 풀도록 처음부터 학습한 작은 모델이므로, 점수 비교는 모델이 무엇을 배웠고 비용을 어디까지 셌는지와 함께 읽어야 한다.
퍼즐을 토큰으로 바꾸고 평가 중에도 학습
모델은 각 퍼즐의 입력·출력 격자 쌍을 토큰(모델이 처리하는 데이터 단위) 열로 바꾼다. 그런 다음 앞선 토큰을 바탕으로 뒤따를 토큰을 예측하는 자기회귀 방식으로 작은 트랜스포머를 학습한다. 이 학습은 별도의 사전학습 모델을 가져오는 대신, 학습 퍼즐과 평가 퍼즐을 대상으로 실행 시점에 처음부터 이뤄진다.
퍼즐마다 규칙이 다르다는 특성을 다루기 위해, 바크데는 각 퍼즐에 따로 학습되는 임베딩(정보를 수치로 나타낸 표현)을 붙였다. 입력과 출력이 모두 2차원 격자라는 구조에는 3차원 RoPE(토큰의 위치 관계를 반영하는 방식)를 사용했다. 서로 다른 퍼즐에서 공통 개념을 배우면서도, 지금 풀고 있는 퍼즐이 어느 것인지 모델에 알려 주려는 설계다.
학습 사례에는 색을 바꾸거나 격자를 회전·반사하는 데이터 증강(원래 사례를 변형해 학습 사례를 늘리는 방법)도 적용한다. 추론할 때도 입력을 여러 방식으로 변형해 답을 얻고, 출력에는 반대 변환을 적용해 원래 격자 형태로 되돌린다. 바크데는 이렇게 얻은 결과 가운데 가장 자주 나온 두 출력을 제출한다고 설명했다.
40%에서 44%로 올린 변경
이전 버전과 비교해 점수를 크게 높인 변화로 바크데는 SwiGLU와 RMSNorm 등을 쓴 아키텍처 개편, 학습 데이터의 다양화와 섞는 방식 개선, 층수를 4개에서 8개로 늘린 점을 꼽았다. 비용을 낮추는 데에는 증강 횟수 축소, 옵티마이저를 AdamW에서 NorMuon 중심으로 바꾼 점, 학습·추론 시 어텐션 연산을 빠르게 처리하도록 한 변경이 기여했다고 설명했다. 점수 향상과 비용 절감이 한 가지 비법에서 나온 것은 아니라는 얘기다.
학습 목표도 달라졌다. 이전에는 입력과 출력 토큰 모두의 예측 오차를 계산했지만, 새 버전은 출력 토큰의 오차만 학습에 반영한다. 바크데는 이 방식으로 점수가 약 40%에서 44%로 올랐으나 이유는 아직 이해하지 못한다고 적었다. 입력 토큰을 학습 목표에서 뺐다는 말이 평가 문제의 입력을 모델에 보여 주지 않는다는 뜻은 아니다.
학습 퍼즐에는 ARC-AGI-2에서 ARC-AGI-1과 겹치지 않는 문제도 추가했다. 바크데의 설명에 따르면 ARC-AGI-2에는 ARC-AGI-1과 겹치는 퍼즐 773개와 새로운 퍼즐 347개가 있어, 중복을 걸러내지 않으면 평가 정답이 섞여 들어갈 위험이 있다. 그는 중복된 773개를 제외했으며, 추가 데이터를 빼더라도 계산량을 대략 두 배로 늘리면 약 40%를 기록한다고 밝혔다.
손실값보다 점수를 바꾼 입력 표현
새 학습 방식에는 뜻밖의 결과도 있었다. 바크데는 테스트 손실값(모델의 예측 오차를 수치화한 값)은 나빠졌는데 실제 퍼즐 점수는 높아졌고, 실행마다 점수가 흔들리는 정도도 줄었다고 했다. 작은 데이터셋에서 손실값을 낮추는 일만 목표로 삼으면, 실제 문제 해결 능력의 변화를 놓칠 수 있다는 것이 그의 해석이다.
구성요소를 하나씩 빼는 어블레이션(무엇이 성능에 기여하는지 비교하는 실험)에서는 입력 표현의 비중이 두드러졌다. 3차원 RoPE를 1차원으로 바꾸거나 퍼즐별 임베딩을 제거하면 각각 점수가 약 24%로 떨어졌다. 반면 입력 토큰까지 학습하면 약 39%, 학습 데이터를 ARC-AGI-1과 콘셉트ARC(ConceptARC)로 제한하면 약 40%였다.
퍼즐마다 따로 처음부터 학습하는 컴프레스ARC(CompressARC)식 설정에서는 점수가 더 낮았다. 바크데는 비지도 방식에서 약 18%, 출력만 학습하는 지도 방식에서 약 15%를 기록했다고 밝혔다. 그는 여러 실행에서 푼 문제를 합치면 55%에 이른다는 점을 근거로 추가 개선 여지가 있다고 본다. 다만 이는 한 번의 실행에서 얻은 점수가 아니라, 실행별로 풀린 문제의 합집합이다.
평가 문제를 학습해도 되는가
가장 큰 논쟁은 ‘평가 문제로 학습했다면 부정행위 아닌가’라는 질문이다. ARC-AGI의 각 퍼즐에는 규칙을 보여 주는 입력·출력 예시 쌍과, 정답을 맞혀야 하는 시험 입력이 있다. 바크데는 모델이 평가 퍼즐에 딸린 예시를 활용하지만 시험 입력의 숨겨진 출력, 곧 채점 정답은 학습하지 않는다고 강조한다.
그는 평가 시점 학습(문제를 풀 때 주어진 정보를 사용해 모델을 추가 학습하는 방식)이 메타학습 과제의 취지에 맞는다고 본다. 정답이 없는 평가 입력을 활용하는 일도 트랜스덕티브 학습(예측할 입력을 미리 보고 학습에 반영하는 방식)의 한 형태라고 설명했다. 이번 버전에서는 입력 토큰 자체를 맞히도록 학습하는 목표를 제거했는데, 오히려 점수가 조금 높아졌다.
바크데도 모든 평가 퍼즐을 한꺼번에 받아 학습하는 설정이 일상에서 문제를 하나씩 만나는 상황과 다르다는 지적은 인정한다. 여러 퍼즐에 걸친 학습비를 퍼즐 수로 나눠 표시하면 비용이 작아 보일 수 있다는 비판도 받아들였다. 그래서 이번에는 퍼즐당 비용보다 처음부터 학습해 전체 문제를 추론하기까지 든 총비용을 내세우고, 비교 대상도 학습 방식이 가까운 TRM·HRM·컴프레스ARC로 좁혔다.
67센트와 순위표를 읽는 법
바크데가 제시한 67센트에는 모델을 처음부터 학습하고 모든 과제를 추론하는 데 든 실행 비용이 포함된다. 그는 5090 GPU 임대 가격을 근거로 이 금액을 설명한다. 반면 대형 모델의 ARC-AGI 추론비에는 그 이전의 대규모 사전학습 비용이 빠지는 경우가 있어, 같은 비용 축에 놓고 단순 비교하면 서로 다른 지출을 재는 셈이라고 주장한다.
바크데는 ARC-AGI-1·2에서 합성 데이터(인위적으로 만들어 학습에 쓰는 데이터)를 많이 사용하는 관행도 비판한다. 제출 뒤에만 모델을 처음부터 학습하게 하면 사전학습과 합성 데이터의 영향을 줄이고, 적은 사례에서 배우는 능력을 더 직접 비교할 수 있다는 제안이다. 공개 평가 퍼즐의 답이 인터넷에 있다는 이유로, LLM의 공개 평가 점수보다 비공개 점수를 중시해야 한다고도 말한다.
그의 주장에는 자신의 방식에 대한 비판도 담겨 있다. 바크데는 데이터 증강이나 사람이 설계한 편향 없이 성능을 유지하는 방법을 다음 과제로 꼽았고, GPU 코드를 직접 최적화하면 비용을 더 낮출 여지도 있다고 봤다. TRM·HRM의 성적을 재귀 구조만의 성과로 해석하는 데에도 반대한다. 자신의 모델이 재귀 구조 없이 비슷한 점수에 도달한 만큼, 어떤 구성요소가 실제로 점수를 만드는지 더 세밀한 비교가 필요하다는 것이다.
커뮤니티 의견
글의 저자는 토론에 참여해 이 모델이 LLM이 아니라 처음부터 학습한 작은 자기회귀 트랜스포머라고 재차 설명했다. 복잡한 과제에 꼭 거대 모델이 필요한 것은 아니라는 점, 특히 적은 사례와 낮은 비용에서 어느 정도까지 도달할 수 있는지가 실험의 초점이라고 했다. 더 많은 비용을 쓰면 점수가 얼마나 오를지 묻는 답글도 이어졌다.
다른 사용자는 표본 효율성을 겨냥한 문제의식에는 동의하면서도, 점수 상승분에 현대적 아키텍처와 층수 확대 같은 개선이 함께 들어간 점을 지적했다. 새 방법 자체의 이점을 확인하려면 이런 최적화 효과를 분리해야 한다는 주장이다. 퍼즐을 풀 때마다 미세조정하는 접근이나 진화적 방법도 살펴볼 만하다고 제안했다.
평가 퍼즐 학습 논쟁을 더 쉽게 설명해 달라는 요청도 나왔다. 이 사용자는 평가 퍼즐에 규칙을 알려 주는 입력·출력 예시가 들어 있다면, 그 예시를 학습하는 일이 왜 문제가 되는지 궁금해했다. 답글에서는 시험에서 맞혀야 할 출력 정답을 모델에 주는 것과, 문제를 풀기 위해 함께 주어진 정보를 활용하는 것은 다르다는 취지로 설명했다.
한 사용자는 모든 문제를 한꺼번에 보는 방식이 현실적이지 않다는 비판에 시험 경험으로 반응했다. 자신도 시험을 시작하기 전에 전체 문항을 훑어보고 풀기 쉬운 문제를 먼저 골랐으며, 그 과정이 나머지 문항을 이해하는 데 도움이 됐다고 했다. 쉬운 문제를 풀며 얻은 실마리가 어려운 문제로 이어졌다는 답글도 달렸다.
사전학습을 금지하자는 제안에는, 미리 배우지 않은 모델이 어떻게 ARC-AGI 문제를 풀 수 있느냐는 질문이 나왔다. 답글은 제출 뒤 정해진 실행 시간에 모델을 처음부터 학습하는 방식이라고 설명했다. 논점은 학습을 아예 없애는 것이 아니라, 참가자마다 보이지 않게 축적한 사전학습을 비교에서 어떻게 다룰지에 있다.
평가 문제의 정답을 학습하지 않았더라도 시험과 가까운 자료를 반복해서 접하면 ‘시험에 맞춘 공부’가 될 수 있다는 반론도 있었다. 이에 저자는 과거 시험지를 오래 모아 연습하는 상황과, 시험 도중 허용된 자료로 배우는 상황은 다르다고 맞섰다. 다른 사용자는 공개 평가 점수의 한계에는 동의하면서도, 67센트를 더 큰 비용으로 늘리면 성능도 크게 오르리라고 기대해서는 안 된다고 지적했다.
ARC-AGI-3에서는 얼마나 잘할지 묻는 질문도 나왔다. 저자는 현재 모델이 별다른 변경 없이 ARC-AGI-3에서 좋은 성적을 내기는 어려울 것이라고 답했다. ARC-AGI-1에서의 낮은 비용과 높은 점수가 곧 다른 형태의 과제로 이어지는 것은 아니라는 점을 확인하는 답변이다.
핵심 통찰
이번 결과가 바꾸는 것은 ‘높은 점수에는 큰 사전학습 모델이 필요하다’는 직관이다. 바크데의 실험에서는 작은 모델의 입력 표현과 평가 시점 학습 방식이 점수를 크게 갈랐다. 동시에 44%와 67센트는 ARC-AGI-1의 특정 학습·평가 조건을 함께 적어야 의미가 있다. 앞으로 지켜볼 것은 증강과 추가 데이터를 줄여도 성능이 유지되는지, 전체 학습비를 포함한 비교가 자리 잡는지, 그리고 새 과제에서도 적은 사례로 규칙을 배울 수 있는지다.
원본: 44% on ARC-AGI-1 in 67 cents
토론: Hacker News