클로드 코드 팀은 AI가 쓴 코드를 어떻게 검토하나

앤트로픽(Anthropic)의 클로드 코드(Claude Code) 팀은 AI가 작성한 코드의 대부분을 사람이 한 줄씩 읽는 대신, 여러 단계의 자동 검토와 위험도에 따른 인간 승인으로 변경 사항을 관리한다. 팀은 클로드가 클로드 코드 코드의 약 90%를 작성한다고 밝히면서도, 목표는 검토를 없애는 것이 아니라 변경 한 건에 드는 사람의 시간을 줄이고 오류가 배포된 뒤의 부담을 늘리지 않는 것이라고 설명했다. AI가 코드 생산 속도를 높인 조직에서 검토와 책임을 어떻게 다시 나눌지 보여주는 사례다.

핵심요약

  • 클로드 코드 팀은 6월부터 9월까지 병합된 PR이 두 배 넘게 늘었지만 되돌린 PR의 비율은 40% 넘게 낮아졌다고 밝혔다.
  • 사람의 검토 시간을 줄였는지는 승인·댓글·대기 시간으로 측정하고, 되돌리기와 사고 비율이 높아지지 않는지 함께 살핀다.
  • 모든 PR에 AI 코드 검토와 보안 검토를 적용하되, 민감한 변경에는 사람의 승인을 요구해 자동화 범위를 위험도에 맞춘다.
  • 사고 사례를 검토기 평가에 반영하고 재검토 횟수를 제한한 것은 AI 작성자와 AI 검토기가 서로 불필요한 수정을 반복할 수 있기 때문이다.
  • 토론에서는 빠른 검토 체계의 효용뿐 아니라 코드 이해력, 실행 비용, 플래그 뒤에 숨은 위험까지 검토해야 한다는 지적이 나왔다.

하루 3만 건의 변경이 던진 질문

앤트로픽의 애디 오스마니(Addy Osmani)는 AI 에이전트가 코드를 작성하면 기존의 줄 단위 검토가 생산 속도를 따라가기 어렵다고 설명한다. 앤트로픽의 모노레포(여러 프로젝트의 코드를 한 저장소에서 관리하는 방식)에 반영된 변경은 5월 하루 약 2,500건에서 9월 하루 3만 건 이상으로 늘었다. 클로드 코드는 이 모노레포와 별도 저장소에 있으므로, 이 수치를 클로드 코드의 PR(코드 변경을 병합해 달라는 요청) 수로 읽어서는 안 된다. 클로드 코드 팀에서 6월부터 9월까지 병합된 PR은 두 배 넘게 늘었고, 그중 되돌려야 했던 PR의 비율은 40% 넘게 떨어졌다.

팀이 다시 정의한 질문은 ‘사람이 코드를 읽었는가’가 아니라 ‘무엇이 잘못될 수 있고, 어떤 검사로 잡을 것인가’다. 코드 검토에는 배포 전 오류를 찾는 일과 팀원들이 코드베이스를 함께 이해하는 일이라는 두 역할이 있다. 오스마니는 먼저 오류를 찾는 절차를 바꿨다. 동료가 PR을 열 때까지 기다리던 검토를 작성 중에도 계속 실행해, 사람이 보기 전에 클로드가 흔한 실수를 한 번 이상 찾아 고치도록 한 것이다.

사람의 시간을 어떻게 셀 것인가

클로드 코드 팀이 아끼려는 자원은 검토자의 시간뿐 아니라 잘못된 코드가 문제를 일으킨 뒤 이를 수습하는 시간까지 포함한다. 검토가 빨라져도 사고 처리 시간이 늘면 시간을 절약한 셈이 아니다. 팀은 CLI, 데스크톱·웹·모바일 앱 저장소의 대다수 PR을 작성자를 포함해 사람 한 명 이하가 관여한 상태로 병합하되, 되돌리기와 사고가 늘지 않는 것을 목표로 삼았다.

이를 위해 PR당 사람의 승인 횟수는 중앙값과 상위 95% 지점을 함께 보고, 사람이 남긴 댓글과 사람의 응답을 기다린 시간도 추적한다. 되돌리기와 사고 비율은 이 지표를 해석하는 안전선이다. 이 구분이 중요한 이유는 병목을 다른 곳으로 옮겨놓고 검토 시간이 줄었다고 착각하지 않기 위해서다. 자동화의 성패는 사람이 PR 화면에서 보낸 시간만으로 결정되지 않는다.

PR을 열기 전에 검증부터

일반적인 변경은 엔지니어의 작업 환경이나 슬랙(Slack)의 클로드 세션에서 시작하지만, 상당수 검토는 PR이 생기기 전에 진행된다. 팀은 클로드에게 테스트, 빌드, 화면 비교처럼 직접 실행할 수 있는 확인 수단을 주고 완료했다는 말 대신 결과를 보여 달라고 요구한다. 이어 새로운 맥락에서 작업을 살피는 하위 에이전트가 디프(수정 전후의 코드 차이)를 검토한다. 클로드 코드를 만든 보리스 체르니(Boris Cherny)는 이런 검증 수단이 최종 결과를 두세 배 좋게 만든다고 추정했다.

일부 팀원은 PR을 열기 전 버그 탐색, 변경 단순화, 실제 동작 확인을 위한 내부 도구도 실행한다. 반복해서 발견되는 문제는 매번 댓글로 지적하는 대신 검사 규칙이나 지시 파일에 반영한다. CLAUDE.md는 프로젝트의 기술 구성과 관례를, 코드 소유자가 작성하는 REVIEW.md는 해당 영역에서 무엇을 오류로 볼지를 검토기에게 알려준다. 후자는 파일과 줄을 근거로 제시하게 하고, 사소한 지적이 검토를 뒤덮지 않도록 짧고 구체적으로 작성한다.

모든 PR을 읽는 AI 검토기

PR이 열리면 클로드는 사람이 보기 전에 변경 의도와 저장소 전체를 함께 살핀다. 수정이 문제의 원인을 해결하는지, 기존 시스템과 맞는지, 다른 부분을 깨뜨리는지를 확인한다. 오스마니에 따르면 코드 리뷰의 연구용 미리보기 도입 뒤 실질적인 검토 댓글이 달린 내부 PR의 비율은 16%에서 54%로 올랐다. 관리자는 저장소별로 빠른·표준·심층 검토를 고르며, 큰 PR에서 발견 사항이 나오는 경우가 많고 작은 PR은 대체로 깨끗하게 통과한다.

한 에이전트의 지적이 곧바로 사람에게 전달되지는 않는다. 여러 에이전트가 동시에 버그를 찾고, 별도 에이전트들이 발견 사항의 타당성을 확인한 뒤 충분한 동의가 있어야 댓글로 게시한다. 스타일이나 정리 수준의 지적은 걸러내고, 남은 사항은 중요도와 함께 해당 PR이 만든 문제인지 기존 문제인지 구분한다. 발견 사항마다 수정하거나 이유를 적어 스레드를 닫아야 한다.

보안에는 별도의 자동 검토가 적용된다. 코드·보안 검토에서 열린 발견 사항이 남아 있으면 PR을 병합할 수 없고, 뒤이은 커밋이 문제를 해결하면 해당 지적은 자동으로 해제된다. 일반적인 린트(정해진 코드 규칙 검사), 타입 검사, 플랫폼별 테스트와 빌드도 병합을 막는 조건이다. PR 양식에는 어떻게 시험했고 어떻게 되돌릴지를 적으며, 클로드가 내용을 채워도 변경을 요청한 사람이 이를 확인한다.

변경의 위험도가 승인자를 정한다

자동 검사를 통과했다고 모든 변경이 같은 승인 절차를 밟는 것은 아니다. 분류기가 변경 내용으로 위험 단계를 정하고, 두 번째 분류기가 그 변경에 다른 사람의 검토가 더 필요한지 살핀다. 민감한 경로와 CI(코드 변경 때 검사를 자동 실행하는 체계) 작업 파일은 언제나 사람의 검토가 필요하다. 가벼운 승인 경로도 저장소의 신뢰 목록에 있는 작성자에게만 허용되며, 에이전트의 승인은 사람이 채워야 할 승인 자리를 대신하지 못한다.

에이전트가 작성한 PR에서도 지시를 내린 사람은 자신이 직접 코드를 작성했을 때처럼 결과를 책임진다. 사람의 승인은 특정 커밋에만 유효하므로, 이후 시스템이 보증할 수 없는 새 변경이 들어오면 다시 승인해야 한다. 병합 대기열은 변경을 적용한 상태에서 검사를 재실행해, 따로는 통과한 두 PR이 합쳐졌을 때 생길 문제를 막는다. 새 기능은 대개 기능 플래그(배포 없이 기능을 켜고 끄는 설정) 뒤에서 직원에게 먼저 공개하고, 공개 버전도 최신 채널을 안정 채널보다 앞서 배포한다.

사고를 검토기의 시험 문제로

배포 후 오류를 완전히 없앨 수는 없으므로 팀은 빠른 발견과 되돌리기도 검토 체계의 일부로 둔다. 기능 플래그는 새 배포 없이 끌 수 있고, 클로드 코드 팀은 주간 당직 체계를 운영한다. 다만 나쁜 병합을 알아채는 일은 여전히 작성자와 당직자, 되돌리기·사고 현황판에 의존한다. 수치가 악화될 때 승인 조건을 자동으로 강화하는 장치는 아직 없으며, 팀 내에서는 사람 없이 병합하는 변경이 더 늘기 전에 이를 원한다는 의견이 나온다.

사고가 나면 팀은 당시 PR과 수정·되돌리기 기록을 모아 검토기 평가 사례로 삼고, 관련 코드를 아는 엔지니어가 버그와 위치를 확인한다. 검토기는 이 사례들로 매일 시험받으며, 깨끗한 PR에 불필요한 수정을 유도할 지적을 하는지도 측정한다. AI 작성자는 사소한 지적에도 코드를 고쳐 새 검토를 부를 수 있어 오탐(실제 문제가 아닌데 문제로 지적하는 것)의 비용이 특히 크다. 한 CLI PR은 밤사이 검토와 수정을 50차례 넘게 반복했는데, 계속 지적된 코드의 약 59%는 첫 검토 때부터 있던 코드였다.

팀은 이제 실제 버그를 잡는 성능과 함께 통과까지 걸리는 검토 횟수를 본다. 세 차례가 지나면 접근법을 다시 생각하게 하고, 이후에는 새로 바뀐 부분 위주로 검토하며 이미 게시한 지적은 반복하지 않는다. 같은 종류의 버그라면 한 줄만 고치지 말고 해당 유형을 함께 고치도록 안내한다. 검토가 스스로 끝나지 않는 순환에 빠지지 않게 만든 조치다.

코드를 덜 읽을 때 남는 일

오스마니는 사람의 시간을 무엇을 만들지 결정하고, 위험한 코드와 다른 팀이 따를 설계를 판단하며, 테스트 결과와 검토 근거를 읽는 데 쓰겠다고 설명한다. 하지만 줄 단위 검토가 줄면 동료의 변경을 읽으며 코드베이스를 배우던 경로도 약해진다. 팀에는 이를 대체하는 공식 절차가 없다. 필요할 때 클로드에게 해당 부분의 현재 코드를 설명하게 하거나, 이해를 돕는 작은 시각화 결과물을 만들게 하고, 공개 슬랙 채널에서 서로의 작업을 지켜본다.

팀의 규범은 작은 변경을 반영한 사람이 문제가 생기면 대체로 직접 고치는 것이다. 작은 변경, 기능 플래그, 단계적 출시, 빠른 되돌리기가 그 책임을 감당할 수 있게 한다는 설명이다. AI로 코드를 빨리 만들 수 있는 만큼 모든 작업을 병합할 필요도 없다. 방향이 잘못됐다는 지적은 완성된 PR을 막는 댓글보다 작업이 진행되는 채널에서 일찍 나와야 한다고 오스마니는 말한다.

커뮤니티 의견

한 사용자는 앤트로픽의 방식이 구글(Google)의 대규모 인프라 사례처럼 작은 팀이 그대로 따라 하기에는 맞지 않을 수 있다고 했다. 앤트로픽은 모델과 연산 자원을 풍부하게 쓸 수 있지만, 다른 팀은 코드 이해력을 잃은 채 지속적인 토큰 공급에 의존하게 될 수 있다는 우려다. 이 사용자는 필요할 때 AI가 특정 코드를 설명해 주는 방식이 평소 코드를 읽으며 쌓는 이해를 대신할 수 있는지도 물었다.

글 자체의 문체를 의심하는 의견도 나왔다. 한 사용자는 외부 발표문에 AI를 쓰지 않는다는 이야기를 들었다면서, 이 글의 일부 표현은 사람이 쓴 글답지 않다고 주장했다. 답글에서는 AI와 오래 대화한 사람이 기계적인 표현을 익혔을 가능성도 제기됐다. 또 다른 답글은 탐지 도구의 결과를 들었지만, 논의의 초점은 글의 작성 방식에 머물렀다.

다른 사용자는 기능 플래그 뒤에 추가한 코드를 낮은 위험으로 분류하는 기준을 문제 삼았다. 플래그가 꺼져 있을 때는 위험이 낮더라도, 켜는 순간 별도의 충분한 검토가 이뤄지는지 궁금하다는 것이다. 이 사용자는 버그와 보안 사고뿐 아니라 나중의 재작업, 개발 속도 저하, 불필요한 추상화도 위험에 포함해야 한다고 주장했다.

코드베이스의 전체 그림을 머릿속에 두지 않아도 된다는 팀의 설명에는 지식 공유라는 검토의 두 번째 역할을 놓쳤다는 반론이 나왔다. 한 사용자는 필요할 때 AI에 일부를 요약해 달라고 하는 것이 시스템을 이해하는 일이라기보다 검색에 가깝다고 봤다. 답글에서는 3만 건 이상이라는 수치가 클로드 코드의 PR이 아니라 별도 모노레포에서 하루 동안 반영된 변경을 가리킨다는 점도 바로잡았다.

AI가 코드를 작성해도 책임은 사람에게 남는다는 점을 가장 어려운 부분으로 꼽은 사용자도 있었다. 코드를 만드는 데는 시간을 아끼지만, 문제가 생기면 자신이 직접 작성하지 않은 코드를 이해하고 고치는 데 더 많은 시간을 써야 한다는 경험이다. 이에 팀 리더가 팀원의 결과를 책임지는 일과 무엇이 다른지 묻는 반론이 달렸다. 또 다른 답글은 AI의 속도에 맞춰 성급하게 움직이지 않도록 계획부터 검토까지 이해를 쌓는 틀이 필요하다고 했다.

앤트로픽이 다른 소프트웨어 팀의 관행과 동떨어진 방식을 홍보한다는 비판도 있었다. 반대 의견을 낸 사용자는 익숙한 개발 방식에 대한 애착 때문에 새로운 방법을 너무 빨리 배척해서는 안 된다며, 자신이 매일 쓰는 클로드 코드의 결과를 긍정적으로 평가했다. 논쟁은 이 절차가 모든 팀의 표준인지보다, 실제 결과가 비용과 위험을 감당할 만큼 좋은지로 이어졌다.

적용 비용을 구체적으로 짚은 사용자도 있었다. 자신의 프로젝트는 컴파일이 오래 걸리고 도구 의존성만 약 200GB이며, 외부 소프트웨어의 라이선스 서버와 큰 가상머신에서 몇 시간씩 걸리는 통합 테스트가 필요하다고 했다. 이런 환경에서는 에이전트가 빠르게 수정하더라도 같은 속도로 충분한 검증을 반복하기 어렵다. 자동 검토 절차를 갖추는 일과 그 절차를 감당할 실행 환경을 갖추는 일은 별개라는 지적이다.

핵심통찰

클로드 코드 팀이 바꾼 것은 사람의 승인을 AI 승인으로 단순히 대체한 절차가 아니다. 검증 가능한 작업은 작성 단계로 당기고, 변경의 위험에 따라 사람의 판단을 배치하며, 사고와 되돌리기까지 검토 비용으로 계산한다. 다만 이 방식의 성패는 PR 처리 속도보다 기능을 실제로 켤 때의 검토, AI 검토의 오탐과 반복, 팀에 남는 코드 이해력에서 갈릴 것이다. 변경량이 커질수록 사람이 적게 읽어도 충분히 알고 책임질 수 있는지를 계속 확인해야 한다.


원본: How the Claude Code team does code review / claude.dev Blog

토론: Hacker News