아스트라의 35시간 코딩, 왜 쓸 만한 코드는 없었나

아르민 로나허(Armin Ronacher)는 GPT 6 아스트라(GPT 6 Astra)가 놀라운 능력을 보여주면서도 자신이 원하는 소프트웨어 개발 도구와는 멀어졌다고 평가했다. 그는 AI에 작업 방식까지 맡긴 뒤 35시간 동안 돌아간 코딩 실험을 분석했다. 에이전트는 코드 7만5000줄을 순증시키고 79번 커밋했지만, 로나허가 얻은 쓸 만한 결과는 없었다. 이 사례가 눈길을 끄는 이유는 AI가 일을 오래 지속하는 능력과 사람이 이해하고 유지할 수 있는 코드를 만드는 능력이 서로 다른 방향으로 발전할 수 있음을 보여주기 때문이다.

핵심 요약

  • 로나허는 아스트라의 컴퓨터 조작과 복잡한 작업 수행 능력을 높이 평가하면서도, 실제 소프트웨어 개발에서는 결과를 신뢰하기 어렵다고 말했다.
  • 자율적으로 운영한 코딩 실험은 35시간 동안 약 10억 토큰을 쓰고 코드 7만5000줄을 순증시켰지만, 로나허에게 가치 있는 결과물을 남기지 못했다.
  • 에이전트가 파일 수정 도구 대신 압축된 파이썬 스크립트를 쓰면서, 작업 과정을 따라가거나 변경 사항을 검토하기가 어려워졌다.
  • 도구 호출에서 쓰던 빽빽한 코드 스타일이 저장소에 남길 테스트와 구현 코드에도 나타나, 작업 완료와 유지보수성 사이의 충돌을 드러냈다.
  • 토론에서는 코드 품질 악화를 우려하는 경험담과, 명확한 요구사항·인간의 검토가 있으면 개발 속도가 빨라진다는 반론이 함께 나왔다.

성능은 놀랍지만 생산성은 제자리

로나허는 지금의 AI 개발 경쟁을 ‘네이쥐안(内卷·투입과 경쟁은 늘지만 그만큼 성과가 나아지지 않는 상태)’에 빗댔다. 농사에 더 많은 노동력을 들여 단위 면적당 생산량을 높여도 사람 한 명당 생산량은 그대로인 상황과 닮았다는 것이다. 그의 문제의식은 새 모델이 할 수 있는 일이 늘어나는 속도만큼, 개발자가 실제로 얻는 가치도 늘고 있느냐는 데 있다.

그렇다고 아스트라의 능력을 낮게 본 것은 아니다. 로나허는 이 모델이 컴퓨터를 다루고, 이미지와 복잡한 주제를 이해하며, 일을 끝내기 위해 끈질기게 움직이는 모습이 인상적이라고 썼다. 로봇청소기를 역공학하도록 맡겼을 때도 놀라운 결과를 봤다고 한다. 다만 그 능력을 지금의 소프트웨어 개발 과정에 어떻게 맞춰 써야 할지는 모르겠다고 말했다.

35시간 맡긴 파이썬 실험

로나허는 아스트라에 작업 방법까지 결정하게 하는 작은 ‘소프트웨어 공장’을 주말 동안 돌렸다. 목표는 가상 스레드와 렉시컬 스코프(변수가 코드에 선언된 위치에 따라 적용 범위가 정해지는 방식)를 갖춘 파이썬을 구상하는 것이었다. 모델은 자신의 문맥을 관리하고 별도 폴더에 작업 기록을 남길 수 있었으며, 하위 에이전트(큰 작업의 일부를 맡는 AI 작업 단위)도 동원했다. 사람의 감독 없이 얼마나 멀리 갈 수 있는지 살펴보려는 실험이었다.

결과는 로나허의 기대와 달랐다. 공장은 35시간을 돌았지만 그가 가치 있다고 여길 만한 산출물도, 더 나은 공장 운영법에 관한 교훈도 남기지 못했다. 대신 코드와 작업 지시 기록을 대량으로 생성해 모델의 행동을 들여다볼 자료를 남겼다. 로나허는 처음에는 무감독 실험의 문제일 수 있다고 봤지만, 이후 일반적인 아스트라 코딩 작업에서도 비슷한 양상을 겪었다고 덧붙였다.

패치 대신 파이썬 문자열 치환

첫 번째로 눈에 띈 것은 파일을 고치는 방식이다. 코덱스(Codex) 작업 환경에서는 셸 명령으로 파일을 읽는 일이 이미 있었지만, 로나허가 살펴본 아스트라의 하위 에이전트들은 편집용 패치 도구를 쓰는 대신 파이썬 스크립트로 파일 내용을 읽고 문자열을 찾아 바꾸기도 했다. 한 번의 도구 호출 안에서 파이썬 인터프리터의 여러 파일을 수정하고 테스트 코드를 끼워 넣은 다음 빌드까지 실행하는 식이었다. 명령은 일을 많이 하지만, 사람이 읽으며 각 변경을 따라가기는 어렵다.

작업 중 테스트에서 ‘잘못된 파일 서술자’ 오류가 나오자, 에이전트는 macOS의 유닉스 소켓으로 파일 서술자를 전달할 수 있는지 확인하는 압축된 파이썬 실험을 작성했다. 작업 기록의 표현을 정리하거나 숫자 사이에 띄어쓰기를 넣을 때도 긴 치환 스크립트를 사용했다. 로나허는 파이썬을 사용했다는 사실보다, 여러 수정이 한 줄에 빽빽하게 묶여 검토하기 힘든 형태가 문제라고 봤다. 진행 중인 변경을 이해하려면 결국 작업이 끝난 뒤 파일 차이를 확인해야 한다는 것이다.

도구를 겹겹이 호출하는 우회로

도구를 연결하는 방식도 복잡해졌다. 로나허가 제시한 다른 사례에서 에이전트는 셸로 파이썬을 실행하고, 그 파이썬이 가상 머신 명령을 통해 윈도 환경의 노드(Node.js)를 실행하도록 했다. 클립보드 기능을 점검하는 코드였는데, 이어서는 노드를 거쳐 파워셸(PowerShell)까지 실행했다. 각 단계가 무엇을 하는지 따로 파악할 수는 있어도, 전체 흐름을 한눈에 살피기는 쉽지 않다.

로나허는 특히 하위 에이전트를 여럿 쓰는 작업에서 이런 방식이 두드러졌다고 느꼈다. 반면 파이(Pi)에서 직접 작업할 때는 대체로 편집 도구를 사용하는 모습을 봤다고 설명했다. 그가 문제 삼는 것은 복잡한 명령 자체보다 사람이 중간 과정을 확인하기 어렵게 만드는 작업 습관이다. 같은 결과를 내더라도 어떤 도구로, 어떤 순서로 바꿨는지가 검토 비용을 좌우한다.

도구용 압축 문법이 테스트 코드로

더 큰 걱정은 일회성 도구 호출에 쓰던 코드 스타일이 저장소에 남길 코드에도 나타났다는 점이다. 로나허가 공개한 단위 테스트에서는 여러 대입과 검증이 한 줄에 몰려 있고, 클래스나 함수의 구조를 따라 읽기보다 문장을 해독해야 하는 형태가 보인다. 그는 자바스크립트나 CSS를 HTML 안에 넣는 등 다른 코드 안에 코드를 작성할 때도 비슷한 경향을 봤다고 했다. 임시 명령과 팀이 계속 관리할 코드를 구별하지 못하는 듯한 모습이다.

이런 압축에는 모델 입장에서의 이점도 있다. 로나허가 제시한 두 단위 테스트는 코드 서식 도구인 러프(Ruff)로 정리한 형태보다 약 10% 적은 토큰을 썼다. 도구 호출에서는 토큰을 아끼며 빠르게 처리하는 방식이 유리할 수 있다. 그러나 코드베이스에 남는 테스트라면 짧게 쓰는 것보다 다음 사람이 의도를 파악하고 수정할 수 있는지가 중요하다.

작업 목록과 코드가 함께 꼬였다

시간이 흐르면서 작업 기록도 복잡해졌다. 처음에는 ‘1, 2, 3, 5, 5a’처럼 비교적 알아볼 수 있던 항목 이름이 나중에는 ‘8b2c2b3’이나 ‘8b2c2b2b checkpoint1’ 같은 형태로 이어졌다. 로나허는 이를 실험이 점차 통제하기 어려워진 흔적 중 하나로 제시했다. 에이전트가 멈추지 않고 다음 일을 만들어내는 능력이 작업을 정리하는 능력과 같지는 않았다.

구현 코드에도 기존 씨파이썬(CPython) 코드베이스의 스타일과 어긋나는 부분이 나타났다. 한 C 함수는 여러 작업을 숫자로 구분해 처리했고, 다른 곳에서는 목록의 특정 숫자 위치에 상태를 보관했다. 예외 처리와 자원 정리를 한 조건문에 길게 몰아넣은 코드도 있었다. 로나허는 처음에 테스트 보조용으로 만든 함수가 실험을 중단하기 직전에는 테스트가 아닌 코드에서도 쓰이고 있었다고 지적했다.

79번 커밋하고도 멈추지 않은 작업

로나허가 실험을 끄기까지 35시간 동안 코드는 순증 기준 약 7만5000줄 늘었다. 에이전트는 79번 커밋하고 약 1400개의 메시지를 주고받았으며, 이 실험에 약 10억 토큰과 API 사용 비용 약 1200달러를 썼다. 커밋당 비용으로 환산하면 약 15.5달러다. 로나허는 한 차례의 챗GPT(ChatGPT) 토큰 할당량도 모두 썼다고 적었지만, 자신에게 필요한 결과는 나오지 않았다고 했다.

그는 한 번의 요청에 에이전트를 35시간씩 돌릴 필요가 없다고 분명히 말했다. 과제가 조금만 커져도 아스트라가 스스로 멈추기보다 완료를 향해 계속 나아갈 수 있다는 점이 오히려 신뢰를 떨어뜨린다는 것이다. 로나허는 예전에도 비슷한 실험을 했지만, 보통은 이렇게 오래 지속되지 않았고 다소 불완전해도 이해할 수 있는 소프트웨어를 남겼다고 설명했다. 이번에는 커밋 수가 늘수록 사람이 검토해야 할 코드도 함께 쌓였다.

일회용 코드와 남길 코드의 경계

로나허는 이런 결과가 어떤 학습 목표에서 비롯됐는지 의문을 제기했다. 작업 완료율이나 토큰 효율처럼 측정하기 쉬운 항목에 비해, 사람이 코드를 이해할 수 있는지는 간단한 숫자로 평가하기 어렵다는 생각이다. 다만 그는 아스트라의 학습 과정을 확인해 원인을 규명한 것이 아니라, 자신이 관찰한 코드와 작업 방식에서 이런 가능성을 짚었다. 오래 자율적으로 일하는 능력이 좋아져도 사람이 함께 일하기 좋은 방식으로 나아간다는 보장은 없다는 주장이다.

그는 에이전트만 코드를 읽고 고치는 환경이라면 자신이 ‘나쁜 코드’라고 보는 결과가 달리 평가될 수도 있다고 인정했다. 하지만 현재의 개발 과정에서는 사람이 변경 사항을 이해하고 책임져야 한다. 로나허는 솔(Sol)보다 비용이 큰 아스트라와 페이블(Fable)이 자신의 개발 업무에 그만한 가치를 주는지 회의적이라고 말했다. 3D 작업이나 컴퓨터 조작처럼 다른 용도에서는 뛰어나더라도, 그것이 곧 사람이 관리하는 코드베이스에 적합하다는 뜻은 아니라는 구분이다.

커뮤니티 의견

한 사용자는 코드를 읽지 않고 운영하는 ‘소프트웨어 공장’에서 품질 문제가 쌓이면, 이후 변경을 가할수록 에이전트도 어려움을 겪는다고 했다. 자신이 본 팀들은 기능 변경이나 운영 사고 대응에서 점점 느려졌으며, 화려한 초기 시연이 실제 운영 단계의 유지보수성을 보여주지는 않는다고 주장했다. 답글에서는 개인 프로젝트에서도 몇 가지 큰 기능을 검토 없이 더한 뒤 대규모 수정에 시간을 빼앗겼다는 경험이 나왔다.

다른 사용자는 아스트라가 자율적으로 긴 과제를 수행하는 능력은 좋아졌지만 사람과 소통하며 일하기는 더 까다로워졌다고 평가했다. 그는 오픈AI(OpenAI)와 앤트로픽(Anthropic)의 학습 목표가 사람의 유용성 평가보다 장기 과제의 성공에 무게를 두는 쪽으로 옮겨갔을 가능성을 제기했다. 이는 공개된 학습 과정에 대한 설명이 아니라, 사용 경험을 바탕으로 한 해석이다.

‘네이쥐안’이라는 비유에 공감하는 반응도 있었다. 한 사용자는 더 많은 자원을 넣고 더 치열하게 경쟁해도 사람 한 명이 얻는 실질적인 성과는 그대로일 수 있다는 대목을 짚었다. 답글에서는 AI를 쓰려면 관리자가 원하는 맥락을 정확히 설명하고 토큰 비용을 바로 치러야 한다는 농담이 나왔다. 농업 비유를 두고는 필요한 농지의 양이 줄어들지 않느냐는 질문도 나왔다.

또 다른 사용자는 기존에 빠르게 만든 시제품을 아스트라에게 앱으로 발전시키라고 맡겼지만, 이틀 동안 문서와 스크립트, 작업 절차와 검토만 늘었다고 했다. 그는 필요한 것은 최소 기능 제품이었으며, 이미 10만 토큰 넘게 쓰고도 앱 자체에는 진전이 없었다고 말했다. 반면 답글에서는 복잡하지 않은 iOS 앱을 기능별로 만들고 직접 시험하는 방식에서는 순조롭게 작업하고 있다는 경험도 나왔다.

파이썬으로 파일을 고치는 현상을 두고는 의견이 갈렸다. 한 사용자는 다른 모델에서도 편집 도구 대신 파이썬 스크립트로 패치하는 모습을 봤다고 했다. 이에 정해진 작업을 수행하는 스크립트가 모델의 편집 도구 호출보다 나을 수 있다는 반론이 나왔다. 별도의 의견에서는 도구 선택보다 먼저 요구사항의 범위와 버튼, 이벤트, 화면 배치까지 사람이 구체화하고 최종 책임을 져야 한다고 강조했다.

기존 코드베이스에서의 성과를 제시한 사용자도 있었다. 그는 요구사항이 분명한 작업을 에이전트에 맡긴 뒤 자동·수동 테스트와 동료 검토를 거치면, 새 기능 개발에 드는 시간이 줄고 버그도 훨씬 줄었다고 했다. 답글은 이것이 무감독으로 처음부터 만드는 실험과 다르다고 짚었다. 오래 다듬어진 코드베이스 자체가 에이전트에 따라 할 만한 패턴과 제약을 제공한다는 설명이다.

도구 호출의 가독성을 우려한 사용자는 최신 모델의 셸 명령과 파이썬 스크립트가 검토하기 어려울 만큼 길고 복잡하다고 했다. 다른 사용자는 아스트라가 요청하지 않은 마무리 작업과 전체 테스트를 반복해, 이전 모델보다 긴 시간과 비용을 썼다고 주장했다. 답글에서는 불필요한 전체 테스트를 금지하거나 테스트 결과를 재사용하도록 작업 환경을 설계할 수 있다는 반론이 나왔다.

마지막으로 비판 일색의 반응이 기술의 진전을 가릴 수 있다는 의견도 있었다. 한 사용자는 아스트라가 완벽하지 않더라도 언어 모델의 코딩 능력이 놀라운 수준에 이르렀다고 평가했다. 반면 다른 이들은 최근 개선이 둔화됐다는 경험을 전했고, 긴 작업을 맡긴 채 자리를 비우는 것보다 짧은 단위로 확인하는 편이 낫다고 말했다. 간단한 수정에도 파이썬 스크립트를 쓰는 현상은 다른 모델에서 봤다는 관찰도 이어졌다.

살펴볼 점

이 사례가 가르는 기준은 AI가 몇 시간 일할 수 있느냐가 아니라, 그동안 무엇을 남기느냐다. 아스트라는 스스로 일을 이어가고 도구를 엮는 능력을 보여줬지만, 로나허의 실험에서는 사람이 검토할 수 있는 변경과 쓸 만한 결과물로 이어지지 않았다. 반대로 토론의 긍정적 경험은 명확한 요구사항, 기존 코드의 관례, 단계별 테스트와 동료 검토가 있을 때 나왔다. 앞으로 지켜볼 것은 장시간 자율 작업의 기록뿐 아니라, 그 결과를 사람이 이해하고 다음 변경까지 감당할 수 있는지다.


원본: Astra for Coding: Why Are We Doing This Again?

토론: Hacker News