AI 코딩 에이전트는 같은 개발 요청을 받아도 서로 다른 도구를 고른다. 개발 도구 성장 서비스를 판매하는 아머처(Armature)는 클로드 코드(Claude Code), 코덱스(Codex), 커서(Cursor)의 작업 1만 6,893건을 실행해 이 차이를 살폈다. 공개 분석 대상 5,292건에서는 에이전트의 검색 방식뿐 아니라 저장소의 언어와 제품 소개 문구가 최종 설치에 영향을 줬다. 개발자가 에이전트의 추천을 어디까지 믿을 수 있는지, 도구 업체는 무엇을 설명해야 하는지 묻는 실험이다.
핵심 요약
- 아머처는 75개 저장소와 1,163개 요청 변형을 이용해 세 코딩 에이전트가 도구를 추천하는 데서 그치지 않고 실제로 구현하게 했다.
- 공개 분석 대상인 5,292개 작업에서 세 에이전트가 같은 도구를 고른 경우는 비교 단위의 42%에 그쳐, 어느 에이전트를 쓰는지가 선택에 영향을 줬다.
- 코덱스는 작업의 94%에서 웹을 검색했지만 클로드 코드는 약 30%에서 검색해, 최신 정보를 확인하는 방식에도 차이가 났다.
- 같은 이메일 발송 요청이라도 저장소의 언어에 따라 우세한 업체가 달라져, 제품의 명성보다 기존 코드에 얼마나 잘 맞는지가 중요하게 작용했다.
- 유명 제품이 대화에 자주 등장해도 설치로 이어지지 않았고, 가격이나 기능을 설명하는 문구가 탈락 이유가 되기도 했다.
여행 앱의 데이터베이스는 누가 고르나
아머처는 사용자가 코딩 에이전트에 맡기는 일 가운데 하나로 ‘기존 코드에 필요한 서비스를 고르는 일’을 꼽는다. 예시 실험에서 개발 경험이 없는 사용자는 여행 앱을 다시 열어도 입력 내용이 남게 해 달라고 클로드 코드에 요청했다. 다른 실험에서는 운영 중인 앱을 맡은 숙련 엔지니어가 커서에 비용 예측이 가능하고 완전 관리형인 데이터베이스를 찾아 달라고 했다. 서로 다른 저장소와 요청을 받은 두 에이전트는 모두 니온(Neon)을 추천했고, 사용자가 승인하자 설치까지 진행했다.
아머처가 궁금해한 것은 이 일치가 다른 도구 분야와 작업 조건에서도 이어지는지였다. 개발자에게는 추천이 자신의 요구에 맞는지 판단하는 문제이고, 도구 업체에는 에이전트의 후보에 들어 최종 선택을 받는 문제다. 아머처는 자사가 개발 도구 업체에 성장 서비스를 판매하며, 이번 연구도 에이전트의 선택에 영향을 주는 방법을 찾는 작업의 일부라고 밝혔다. 따라서 실험의 관찰 결과와 업체를 위한 활용 목적을 함께 읽을 필요가 있다.
75개 저장소에 심은 서로 다른 조건
연구진은 먼저 공개된 GitHub 저장소 수천 개를 분석해 사용 언어와 프레임워크, 외부 서비스, 배포 환경, 팀 규모, 코드의 연식 등을 살폈다. 이어 공개 저장소에 기술 스타트업이 상대적으로 많이 나타나는 점을 감안해 공개 자료를 바탕으로 목표 분포를 조정했다. 그 조건에 맞는 저장소를 코딩 에이전트로 만들고, 기존에 연결된 외부 서비스 일부를 제거한 변형도 준비했다. 처음부터 특정 업체가 코드에 박혀 있어 선택 결과가 기울어지는 일을 줄이려는 설계다.
최종 실험용 저장소는 10개 언어에 걸친 75개였다. 회사 이름과 깃 이력, API 키는 가짜로 만들었지만, 의존성 목록인 록파일(lockfile)은 npm 같은 패키지 등록소와 대조했다. 에이전트가 추상적인 질문에 답하는 대신, 실제 프로젝트처럼 구성된 코드 안에서 설치와 수정을 진행하도록 한 것이다. 다만 이 저장소들은 공개 저장소를 그대로 가져온 실사용 프로젝트가 아니라 실험 조건에 맞춰 구성한 환경이다.
네 유형의 요청과 ‘가상 사용자’
요청을 하는 사람도 네 유형으로 나눴다. 개발 경험이 없는 사용자는 증상과 원하는 상태를 설명하고, 초급 엔지니어는 도구의 종류까지 언급하는 식이다. 숙련 엔지니어는 필요한 조건과 피할 사항을 더 구체적으로 적었고, 대기업 엔지니어는 규정 준수와 구매 절차 같은 제약을 덧붙였다. 연구진은 비용이나 사용량을 명시하면 결과가 바뀌는지도 보려고 전체 요청의 20~25%에 그런 조건을 넣었다.
이렇게 만든 요청 변형은 1,163개였고, 각 작업은 따로 마련한 임시 실행 환경에서 진행됐다. 연구진은 실행 환경에 따른 영향이 없음을 확인했다고 밝히면서도 E2B, 블락셀(Blaxel), 데이토나(Daytona) 세 업체의 환경을 번갈아 사용했다. 또 실제 대화가 한 번의 명령으로 끝나지 않는 점을 반영해 제미나이 3.7 플래시(Gemini 3.7 Flash)를 ‘가상 사용자’ 역할로 투입했다. 이 사용자는 에이전트에게 먼저 저장소를 분석하고 해법을 추천하게 한 뒤, 첫 번째 추천안을 승인하거나 최선의 안을 골라 구현하라고 요청했다.
이 대화 단계는 결과에도 영향을 줬다. 처음부터 질문 없이 구현하라고 지시하면 에이전트가 외부 서비스를 고르기보다 직접 만드는 쪽으로 기우는 현상을 연구진이 발견했다. 가상 사용자가 선택을 승인하는 절차를 넣자 선두 업체와 클라우드 플랫폼 기본 서비스의 우세가 줄었고, 객체 저장소에서는 이전에 아마존 S3(Amazon S3)를 쓰던 작업 일부를 클라우드플레어 R2(Cloudflare R2)가 가져갔다. 별도의 제미나이 인스턴스는 대화와 실제 코드 변경분을 살펴 작업의 유효성, 언급된 업체, 최종 선택을 판정했다.
1만 6,893건 중 공개 분석한 5,292건
전체 실행은 1만 6,893건이지만 이번에 결과를 정리해 공개한 범위는 51개 저장소, 18개 분야의 유효 작업 5,292건이다. 연구진은 나머지 1만 건 넘는 작업을 폐기한 것은 아니며 이후에 다룰 수 있다고 설명했다. 판정 과정에서는 저장소가 이미 업체를 사실상 지정했거나, 관측 도구를 골랐다고 해도 실제 사용 플랫폼은 정하지 않은 사례 등을 걸러냈다. 공개한 대화 기록에는 사용자 요청과 에이전트의 진행 과정, 적용한 코드 변경분이 포함된다.
에이전트별 정보 수집 방식은 크게 달랐다. 커서는 작업의 약 3분의 2에서 웹을 참고했고, 코덱스는 94%에서 웹 검색을 사용했다. 코덱스의 검색 질의 열 개 중 아홉 개에는 특정 사이트로 범위를 좁히는 site: 같은 연산자가 들어갔다. 반면 클로드 코드는 약 30%에서만 웹을 검색했지만, 검색할 때는 코덱스보다 페이지를 세 배 많이 열어 봤다.
클로드 코드도 비교적 새로운 분야인 샌드박스에서는 웹 검색 비율이 약 80%로 올라갔다. 최종 선택을 비교했을 때 세 에이전트가 모두 같은 도구를 고른 경우는 비교 단위의 42%였다. 음성 에이전트 분야에서는 클로드 코드가 트윌리오(Twilio), 코덱스가 오픈AI 리얼타임 API(OpenAI Realtime API), 커서가 바피(Vapi)를 골랐다. 외부 도구 대신 직접 구축한 비율도 클로드 코드가 19%로, 나머지 두 에이전트의 10%보다 높았다.
같은 요청, 다른 언어, 다른 승자
저장소의 맥락을 바꾸면 같은 요청의 승자도 바뀌었다. 이메일 발송 도구를 고르는 실험에서 타입스크립트(TypeScript) 저장소는 리센드(Resend)가 89건 중 55건을 차지했다. 파이썬(Python) 저장소에서는 센드그리드(SendGrid)가 24건 중 22건, 고(Go) 저장소에서는 포스트마크(Postmark)가 24건 중 20건을 차지했다. 자바(Java) 저장소의 승자는 23건 중 22건을 차지한 애저 ACS(Azure ACS)였다.
배포 서비스에서도 언어와 프레임워크가 갈림길이 됐다. 버셀(Vercel)은 타입스크립트 저장소에서 우세했고, 넥스트.js(Next.js)를 쓰는 경우에는 조사 대상 전부에서 선택됐다. 반대로 파이썬 저장소에서는 버셀이 추천되지 않았으며 렌더(Render)가 앞섰다. 연구진이 보여 준 것은 한 업체의 보편적인 우열이 아니라, 에이전트가 보고 있는 코드의 조건이 추천을 어떻게 바꾸는가다.
이름이 나오는 것과 설치되는 것은 다르다
유명 제품은 후보로 자주 거론됐지만 최종 선택을 받지는 못했다. 결제 분야에서 페이팔(PayPal)은 139차례 언급되고 한 번도 선택되지 않았으며, 그 139건 가운데 124건에서는 스트라이프(Stripe)가 이겼다. 아디옌(Adyen)은 175차례 언급돼 세 차례 선택됐다. 랭체인(LangChain)은 프레임워크 중 가장 많은 194차례 언급됐지만 선택은 네 차례였고, 배포 서비스 넷리파이(Netlify)는 152차례 언급돼 여섯 차례 선택됐다.
제품 페이지의 설명도 판단에 영향을 줬다. 연구진은 메일건(Mailgun)의 무료 요금제에 적힌 ‘하루 보관’ 조건을 읽고 에이전트가 포스트마크를 택하는 사례를 관찰했다. 데이터베이스만 필요한 작업에서는 슈퍼베이스(Supabase)가 인증·저장소·실시간 기능까지 묶어 제시한 점이 오히려 불리하게 작용했다. 공개 분석 작업 가운데 388건은 플랫폼 관리 부담을, 195건은 비용을 언급했는데, 연구진은 일부 경우 실제 결격 조건보다 정보를 제시하는 방식이 판단에 영향을 줬다고 봤다.
분야별 승률의 폭도 컸다. 스트라이프는 결제 작업 열 건 중 아홉 건에서 선택됐고, 특정 유럽 규제 조건에서는 패들(Paddle)이나 몰리(Mollie)에 자리를 내줬다. 데이터베이스에서는 니온이 66%로 앞섰고, 파일 저장소에서는 아마존 S3가 45%로 애저와 구글 클라우드 플랫폼(GCP)의 각 20%를 앞질렀다. 이메일 발송 분야의 리센드와 포스트마크는 설치 비율이 각각 35.6%, 27.4%로 비교적 가까웠다.
커뮤니티 의견
한 사용자는 자기 회사에서도 비슷한 분석 도구를 만들었다며, 에이전트가 어떤 상황에서 무엇을 고르는지 알아야 자사 제품이 선택될 여지를 찾을 수 있다고 했다. 사람을 상대로 하는 마케팅처럼 에이전트가 해법을 찾는 곳마다 제품 정보를 보이게 하려는 경쟁이 생긴다는 주장이다. 이에 대한 답글에서는 제품을 추천한 에이전트에 제휴 수익이 돌아가는 방식까지 등장할 수 있다는 우려가 나왔다.
연구를 진행한 쪽의 댓글은 다양한 저장소와 사용자 유형에서 약 1만 7,000건을 실행했고, 대화 기록을 공개했으니 다른 패턴도 찾아 달라고 설명했다. 답글에서는 특정 작업에 원하는 명령줄 도구나 외부 도구를 반드시 쓰게 할 수 있는지 물었다. 또 다른 사용자는 데이터를 보려다 전체 화면 안내와 팝업을 거쳐야 했다며 결과 화면의 접근성을 비판했다.
한 사용자는 이런 조사가 검색엔진 최적화(SEO) 경쟁의 시작을 떠올리게 한다고 했다. 처음에는 선택 기준을 이해하려는 시도여도, 업체들이 기준에 맞춰 정보를 쏟아내면 에이전트가 읽는 환경 자체가 달라질 수 있다는 걱정이다. 답글에서는 AI 생성 콘텐츠가 쉬워진 만큼 같은 오류를 반복하지 말아야 한다면서도 해법은 간단하지 않다고 봤다.
실험 설계를 높이 평가한 사용자는 클로드 코드가 웹을 적게 검색하면 최신 정보를 놓치기 쉽다고 지적했다. 다만 자신이 본 다른 연구의 검색 관련 관찰과 이번 결과를 어떻게 맞춰 봐야 할지는 의문이라고 덧붙였다. 답글에서는 개인 사용자가 검색을 유도하도록 설정을 바꿀 수는 있지만, 도구 업체가 모든 사용자에게 같은 설정을 요구할 수는 없다고 했다.
또 다른 사용자는 앞으로 에이전트가 특정 업체의 후원을 받은 데이터베이스를 자연스럽게 설치해 버리는 상황을 풍자했다. 답글은 사람이 광고를 보고 클릭하는 경우와 달리, 에이전트는 사용자가 과정을 자세히 보지 않는 사이 구현까지 진행할 수 있다고 우려했다. 이 관점에서는 추천 문구뿐 아니라 실제 코드 변경을 사용자가 확인할 수 있어야 한다는 문제가 남는다.
결과표를 본 한 사용자는 애저 데이터베이스 선택이나 봇 방어·검색 기능의 자체 구축 같은 결과가 뜻밖이라고 했다. 답글에서는 애저 선택이 주로 기업 사용 사례에서 나왔고, 외부 서비스 관리 부담을 피하려는 자체 구축은 특히 클로드 코드에서 보였다고 설명했다. 이 대화는 의외의 결과를 볼 때 해당 저장소와 요청 조건까지 함께 확인해야 한다는 점을 보여 준다.
한 사용자는 지금을 AI의 ‘황금기’로 보면서도 업체들이 수익과 종속을 앞세우면 이용 경험이 나빠질 것이라고 걱정했다. 답글은 그런 상황을 막으려면 오픈소스 생태계가 건강하게 유지돼야 한다고 주장했다. 다른 답글은 초기 검색 서비스의 좋은 시기를 지나치게 짧게 잡은 비유라며 이견을 냈다.
핵심 통찰
코딩 에이전트의 도구 선택은 하나의 제품 순위표로 설명되지 않는다. 같은 기능을 요청해도 저장소의 언어, 사용자의 제약, 검색 여부, 승인 대화에 따라 실제로 설치되는 도구가 달라졌다. 업체는 이름을 많이 노출하는 것만큼 비용과 기능의 경계를 분명히 설명해야 하고, 개발자는 추천 목록보다 최종 코드 변경을 확인해야 한다. 앞으로 지켜볼 것은 업체가 에이전트의 판단을 겨냥해 정보를 다듬을 때, 그 변화가 사용자에게 더 맞는 선택으로 이어지는지다.
원본: Which tools do Claude Code, Codex and Cursor choose? We measured 16,893 sessions to find out.
토론: Hacker News