멤도어(Memdoor)는 작은 모델 다섯 개가 역할을 나눠 코딩 문제를 푸는 워크플로를 공개하고, 원 연구진의 실행 방식과 비슷한 성적을 얻었다고 밝혔다. 큐원3.8-27B(Qwen3.8-27B)가 기획과 아이디어 제안, 풀이와 검토를 맡고, 프로그램의 성공 여부는 모델이 아닌 테스트 스크립트가 판단한다. 다만 이번 비교는 라이브코드벤치 하드(LiveCodeBench Hard)의 10문제에 한정되며, 페이블 5(Fable 5)를 같은 환경에서 다시 실행한 결과도 아니다. 눈여겨볼 대목은 승패보다 역할 분담과 파일 기반 협업이 코딩 성능을 어떻게 바꾸는가다.
핵심요약
- 멤도어는 기획자, 아이디어 제안자 둘, 풀이 담당자, 관리자에 수리 담당자를 더한 절차를 모델 이름 없는 YAML 파일 8개로 옮겼다.
- 큐원3.8-27B로 10문제를 각각 5회 푼 결과는 원 연구진의 실행 결과와 비슷했지만, 멤도어는 이를 성능 향상이 아닌 재현으로 설명한다.
- 모델은 공개 예제만 보며 프로그램을 고쳤고, 최종 성적은 별도의 숨겨진 테스트로 매겨져 자기평가와 구분됐다.
- 실행 한 번의 시간과 비용 중앙값은 각각 40분과 0.39달러였으며, 50회 전체 비용은 35.79달러였다.
- 관리자가 잘못된 반례를 제시해 정답 프로그램을 오답으로 바꾼 사례는 협업 과정에도 검증 오류가 끼어들 수 있음을 보여준다.
다섯 역할에 수리 담당자를 더하다
이 워크플로는 모델 하나가 문제를 읽고 곧바로 답을 내는 방식에서 출발하지 않는다. 기획자가 풀이 방향을 잡으면 두 아이디어 제안자가 각각 접근법을 내고, 풀이 담당자가 프로그램을 작성한다. 관리자는 진행 과정에서 결과를 검토하며, 문제가 생기면 수리 담당자가 수정에 참여한다. 멤도어는 이 역할 구성과 반복 절차를 GVS5H의 방법에서 가져왔다고 설명한다.
핵심은 담당자를 늘리는 데서 끝나지 않는다. 각 담당자는 앞선 대화를 이어받지 않고 새로운 대화 맥락에서 시작한다. 필요한 정보는 디스크에 저장된 파일에서 읽고, 다음 담당자에게 넘길 결과도 파일로 남긴다. 모든 담당자의 지시문에는 대화 기억에 의존하지 말고 파일을 읽으라는 규칙이 들어 있다.
이 방식에서는 누가 어떤 판단을 했는지가 작업 기록에 남는다. 뒤에 참여하는 모델은 앞선 담당자의 긴 대화를 추측하는 대신, 현재 파일에 적힌 계획과 결과를 바탕으로 움직인다. 원 연구진은 이런 기록 규율을 성능 향상의 한 요인으로 봤다고 멤도어는 전한다. 따라서 실험의 대상은 큐원 모델 하나의 실력만이 아니라, 그 모델을 여러 역할로 배치하고 정보를 전달하는 방법까지 포함한다.
파일로 이어지는 여덟 단계
멤도어가 공개한 워크플로는 YAML 파일 8개로 구성된다. 기획 뒤에 두 아이디어 제안 단계가 갈라지고, 그 결과가 풀이 단계에서 모인 다음 테스트·검토·수리·확인으로 이어진다. 각 파일은 한 단계를 정의하며, requires 항목은 어느 단계가 끝나야 다음 단계를 시작할 수 있는지 지정한다. 기반 실행 도구인 마리오(mario)의 형식을 따르지만, 워크플로 자체에는 별도의 프로그램 코드가 없다.
파일에 특정 모델 이름도 적지 않았다. 실행할 때 지정한 모델이 각 단계의 요청에 응답하므로, 역할 구성은 유지한 채 모델을 바꿀 수 있다. 특정 담당자의 행동을 조정하려면 steps/에 있는 해당 단계의 지시문을 고치면 된다. 공개된 결과를 한두 개의 요령 있는 지시문이 만든 성적으로 보기보다, 단계의 순서와 정보 전달 방식을 묶은 결과로 읽어야 하는 이유다.
기획에서 두 아이디어가 병렬로 나오는 구조도 중요하다. 한 접근이 막히더라도 다른 방향을 풀이 담당자에게 건넬 수 있고, 작성된 코드는 뒤의 테스트와 검토를 거친다. 다만 단계가 많다는 사실만으로 판단의 질이 보장되지는 않는다. 검토 단계가 잘못된 정보를 내놓으면 그 판단 역시 파일을 통해 다음 단계로 전달된다.
원 연구진의 절차를 다시 맞추다
멤도어는 원 연구진과 같은 큐원3.8-27B를 사용하고, 지시문과 반복 절차, 응답 상한 128K를 맞춰 실험했다고 밝혔다. 각 요청을 원 연구진의 코드가 만든 요청과 바이트 단위로 대조한 과정도 별도 기록에 남겼다. 사용한 실행 서비스와 환경을 맞추기 위해 바꾼 사항, 첫 실행에서 확인한 내용 역시 기록했다. 목표는 새 방법으로 원 연구진을 앞질렀다고 주장하는 것이 아니라, 같은 방법을 다른 워크플로 도구에서 재현하는 데 있다.
비교표의 출처도 서로 다르다. 원 연구진에 해당하는 두 결과 열은 연구진 저장소의 재채점 결과 파일에서 가져왔고, 논문에 실린 수치와 연결된다. 멤도어의 결과 열은 자체적으로 수행한 50회 실행을 담는다. 페이블 5의 수치는 원 연구진의 파일에 있는 문제당 한 번 호출한 결과로, 멤도어가 이번 워크플로에서 다시 실행한 값이 아니다.
이 차이는 제목에 담긴 모델 간 비교를 읽을 때 중요하다. 큐원 쪽에는 역할을 나눈 팀과 반복 절차가 적용됐지만, 페이블 5 쪽은 이 실험 안에서 같은 절차를 거치지 않았다. 멤도어가 직접 확인한 것은 자신의 도구로 옮긴 절차가 원 연구진의 실행 결과에 근접하는지 여부다. 여러 모델을 함께 쓰는 방법의 가능성을 보여주지만, 두 모델을 동일한 조건에 놓고 겨룬 결과와는 구분해야 한다.
공개 예제를 보고 숨겨진 테스트로 채점
평가에는 원 연구진의 라이브코드벤치 하드 목록에서 앞쪽 10문제를 사용했다. 멤도어는 각 문제를 5회씩 풀어 모두 50회를 실행했고, 수정된 채점기로 모든 숨겨진 테스트를 평가했다. 실행 기록에는 요청과 응답, 작성된 프로그램, 채점기 출력과 비용이 함께 남아 있다. 독자는 최종 점수뿐 아니라 개별 실행에서 어떤 코드가 만들어졌는지도 확인할 수 있다.
문제를 푸는 동안 워크플로가 볼 수 있는 것은 공개 예제뿐이다. 모델이 프로그램을 작성하고 수정할 때는 이 예제로 동작을 점검하며, 최종 성적은 모델에 보이지 않는 숨겨진 테스트로 매긴다. 공개 예제를 통과했다는 사실과 숨겨진 테스트까지 통과했다는 사실은 서로 다른 판정이다. 멤도어는 이 둘을 분리해 결과를 제시한다.
공개 예제의 통과 여부도 모델의 자기평가에 맡기지 않았다. 스크립트가 작성된 프로그램을 실제로 실행하고, 나온 출력을 기대 출력과 비교한다. 모델이 그럴듯한 설명을 내놓아도 실행 결과가 맞지 않으면 예제를 통과한 것으로 처리되지 않는다. 여러 담당자가 의견을 주고받는 절차의 마지막에 프로그램 실행이라는 별도의 확인 장치를 둔 셈이다.
50회 실행에 든 시간과 비용
한 번의 실행에 걸린 시간 중앙값은 40분이고, 비용 중앙값은 0.39달러다. 50회 전체에 든 비용은 35.79달러로 기록됐다. 기획과 아이디어 제안, 코드 작성, 검토와 수정을 거치므로 한 번의 모델 호출로 답을 받는 방식과는 작업량이 다르다. 성적을 비교할 때 모델의 크기뿐 아니라 얼마나 많은 단계와 시도를 허용했는지도 함께 봐야 한다.
중앙값과 전체 비용은 각각 다른 정보를 준다. 중앙값은 실행 한 번의 전형적인 규모를 가리키고, 전체 비용은 50회 실험에 실제로 들어간 금액이다. 한 번의 비용 중앙값에 실행 횟수를 곱해 전체 비용을 대신할 수는 없다. 멤도어가 각 실행의 비용을 기록한 덕분에 점수와 함께 자원 사용량도 살펴볼 수 있다.
이번 결과는 원 연구진의 100문제 전체를 재현한 값이 아니다. 멤도어가 시험한 범위는 10문제에 각 5회씩이며, 멤도어 역시 이 작은 표본에서는 9.8과 9.6을 사실상 같은 수준으로 봐야 한다고 설명한다. 그래서 자신의 결과를 원 연구진보다 높은 성능이 아니라 비슷한 성적이라고 표현한다. 표본을 넓혔을 때도 같은 관계가 유지되는지는 별도의 문제다.
작은 표본과 비교 조건의 경계
문제들이 2025년 봄 대회에서 나왔다는 점도 멤도어가 밝힌 주의 사항이다. 비교 대상 모델이 학습 과정에서 문제를 접했을 가능성은 어느 결과 열에 대해서도 배제할 수 없다. 이는 실행 기록을 상세히 공개한 것과는 다른 문제다. 요청과 응답을 확인할 수 있어도 모델이 학습 중 무엇을 봤는지까지 그 기록이 말해 주지는 않는다.
페이블 5의 비교 열 역시 같은 워크플로에서 얻은 성적이 아니다. 원 연구진의 파일에 있는 한 문제당 한 번 호출한 결과를 가져왔으므로, 큐원 팀의 5회 실행과 조건이 다르다. 멤도어가 강조하는 ‘동등성’은 원 연구진의 큐원 실행 절차를 옮겼을 때 비슷한 결과가 나왔다는 뜻이다. 페이블 5를 상대로 더 나은 일반적 코딩 능력을 확보했다는 주장으로 넓혀 읽으면 실험 범위를 벗어난다.
그렇다고 10문제 실험의 내용이 최종 숫자 하나뿐인 것은 아니다. 모든 실행에 프로그램과 채점 결과가 연결돼 있어, 어느 단계에서 판단이 바뀌었는지 살펴볼 수 있다. 특히 성공한 실행만이 아니라 실패와 복구 사례도 기록에 포함됐다. 이 자료는 팀 방식이 답을 찾아가는 과정뿐 아니라 이미 찾은 답을 잃는 과정도 드러낸다.
틀린 반례가 정답을 바꾼 순간
풀지 못한 한 문제에서는 관리자가 잘못된 반례를 만들어 냈다. 팀은 그 반례를 근거로 이미 맞았던 프로그램을 다시 썼고, 결과적으로 오답을 냈다. 검토가 풀이의 오류를 찾기는커녕 새로운 오류를 만들어 넣은 경우다. 멤도어는 이 문제를 숨기거나 반복 절차를 고쳐 점수를 높이지 않고, 원 연구진의 방식을 그대로 유지했다고 설명한다.
다른 두 차례에도 정답 프로그램이 도중에 덮어써졌다. 다만 이 경우에는 뒤이은 과정에서 올바른 프로그램을 복구했다. 같은 절차가 어떤 때는 잘못된 수정을 되돌리고, 어떤 때는 그러지 못한 셈이다. 검토 담당자를 추가하는 것과 검토 담당자의 판단을 확인하는 것은 별개의 일임을 보여준다.
파일을 통한 전달은 각 단계의 입력과 출력을 분명히 하지만, 파일에 적힌 내용의 참·거짓까지 보장하지는 않는다. 관리자가 만든 반례가 틀렸는데도 팀이 이를 받아들이면 이후의 수정은 잘못된 전제에서 출발한다. 여러 모델의 의견이 하나의 답을 개선할 가능성과, 잘못된 판단을 공유할 위험이 함께 존재한다. 이번 실행 기록에서는 두 방향이 모두 나타났다.
자신의 문제와 로컬 모델에 적용하기
멤도어는 같은 워크플로를 직접 실행할 수 있도록 예시 파일도 공개했다. 사용자는 문제 설명을 task.md에 적고, tests/ 폴더에 번호가 맞는 입력·출력 예제 파일을 둔다. 작성되는 프로그램은 solution.py이며, 표준 입력을 읽어 답을 출력한다. 스크립트는 이 출력을 예제의 기대 출력과 diff로 비교하고, 모든 공개 예제를 통과하면 종료 코드 0을 반환한다.
실행에는 파이썬 3와 배시가 필요하다. 멤도어의 워크플로 명령으로 작업을 시작할 수 있고, 터미널 화면에서는 단계별 진행 상황을 볼 수 있다. 다른 문제에 적용할 때는 예시의 문제 설명과 입출력 예제를 자신의 것으로 바꾸면 된다. 담당자의 행동을 바꾸려면 문제 파일이 아니라 해당 단계의 지시문을 수정한다.
이번 성적을 낸 모델은 로컬 컴퓨터가 아닌 오픈라우터(OpenRouter)에서 실행됐다. 워크플로는 모델을 지정하지 않는 구조라 로컬 모델을 연결해 실행할 수도 있지만, 그것이 이번 50회의 실행 조건은 아니다. 멤도어는 로컬 연결 방법을 안내하면서 올라마(Ollama)를 쓸 경우 기본값인 4K가 아니라 32K 문맥 길이가 필요하다고 적었다. 따라서 공개된 비용과 시간, 점수를 로컬 환경에서 그대로 얻을 수 있는 수치로 읽어서는 안 된다.
커뮤니티 의견
한 사용자는 대형 AI 서비스 사업자에게 계속 의존하지 않으려면 로컬 모델의 경쟁력을 지켜야 한다고 했다. 답글에서는 이미 공개된 모델 가중치는 계속 활용할 수 있고, 숙련된 개발자가 방향을 잡는다면 로컬 모델도 많은 코딩 작업에 유용하다는 의견이 나왔다. 반면 충분한 성능의 모델을 직접 실행할 하드웨어와 예산을 갖추기 어렵다는 지적도 이어졌다.
저렴한 모델 여러 개로 비싼 모델 하나의 코딩 능력을 따라잡으려 했다는 사용자는 특정 평가의 점수를 올리는 실행 절차는 만들기 쉽지만, 다른 문제에도 통하는 절차를 만들기는 어렵다고 했다. 한 평가에서 나온 좋은 성적이 일반적인 코딩 능력으로 이어지는지를 따져야 한다는 주장이다. 어떤 시도를 했고 어디에서 실패했는지 묻는 답글도 달렸다.
글의 문체가 다른 AI가 쓴 듯하다며 결과를 비꼬는 의견에는 평가 대상이 글쓰기가 아닌 코딩이라는 반박이 나왔다. 또 다른 사용자는 페이블 5 자체가 내부적으로 여러 모델을 동원하고 있을 가능성을 물었다. 여러 모델로 이룬 팀과 단일 모델을 대비하는 구도가 실제 작동 방식까지 설명하는지는 별개의 질문이라는 취지다.
로컬 실행 가능성에 주목한 사용자는 양자화(모델의 수치를 더 적은 비트로 표현하는 기법)를 쓰면 큐원 모델을 게임용 컴퓨터에서도 빠르게 구동할 수 있다고 봤다. 답글에서는 2비트 양자화 모델의 품질이 4비트나 8비트 모델보다 떨어져 같은 팀 절차로도 이번 성적을 낼지는 의문이라고 했다. 다른 의견은 원래 모델을 담을 메모리가 있다면 양자화 방식이 속도에서도 꼭 유리한 것은 아니라고 덧붙였다.
빠른 추론용 칩과 이 절차를 결합하면 활용 폭이 커질 것이라는 기대도 나왔다. 이에 실험 관계자는 해당 서비스를 시도했지만 출력 상한이 32K 토큰이어서 실험에 맞춘 128K 응답 예산을 담지 못했다고 답했다. 또 다른 사용자는 고가의 대형 칩 하나로 모든 컴퓨터에 서비스를 제공하거나, 그런 칩을 모든 컴퓨터에 넣는다는 전망은 현실적이지 않다고 반박했다.
앞서 논의된 GVS5H를 멤도어에서 재현한 것이라는 설명에는, YAML 파일의 단계와 모델 설정을 바꿔 직접 시험할 수 있다는 답글이 달렸다. 반면 오래되거나 널리 알려진 평가 문제에서 높은 점수를 얻는 방식이 실제 에이전트 코딩 작업을 얼마나 반영하느냐는 비판도 나왔다. 다른 사용자는 멤도어의 실험이 앞쪽 10문제에 그친 만큼 추가 평가를 기다려야 한다고 했고, 답글은 원 연구진의 더 큰 실험과 이번 재현 실험을 구분해야 한다고 짚었다.
여러 모델과 여러 시도를 투입하면 한 모델이 놓친 풀이를 찾을 수 있다는 의견도 있었다. 이 사용자는 서로 다른 접근과 재질문이 모델을 더 나은 답으로 이끌 수 있다고 보면서도, 효과가 정보 전달 방식과 투입 연산량에 크게 좌우된다고 했다. 결국 담당자를 몇 명 두느냐뿐 아니라 그들이 어떤 판단을 주고받고 무엇으로 결과를 확인하느냐가 관건이라는 관찰이다.
핵심통찰
이번 실험은 작은 모델의 코딩 성능을 모델 자체의 능력만으로 설명하기 어렵다는 점을 보여준다. 역할을 나누고 파일로 기록을 전달하며 프로그램을 실행해 확인하는 절차가 결과를 바꾼다. 동시에 틀린 반례가 정답을 뒤집은 사례는 검토 단계를 늘리는 것만으로 안전해지지 않음을 드러낸다. 다음에 볼 것은 이 절차가 더 많은 새로운 문제와 로컬 환경에서도 비슷하게 작동하는지, 추가로 든 시간과 비용만큼 실제 결과가 개선되는지다.
원본: memdoor/examples/workflows/team-solve at main · guregodevo/memdoor
토론: Hacker News