앤트로픽 취약점 탐지, 발견과 수정의 간극

앤트로픽(Anthropic)의 AI 취약점 탐지 프로젝트가 발견 건수를 빠르게 늘리는 동안, 공개된 수정 건수는 그 속도를 따라가지 못하고 있다. 보안업체 벌른체크(VulnCheck)는 프로젝트 글래스윙(Project Glasswing) 출범 7개월을 추적한 뒤, 취약점을 찾는 능력과 이를 검증·수정하는 능력 사이의 간극을 지적했다. 컬(curl) 유지보수자가 직접 판정한 보고서에서는 취약점이 아닌 사례도 다수 나왔다. AI가 보안 결함을 얼마나 잘 찾느냐뿐 아니라, 발견 이후의 일을 누가 감당하느냐를 묻게 하는 사례다.

핵심요약

  • 벌른체크는 앤트로픽에 귀속되는 CVE 442건을 추적했으며, 이는 올해 발행된 CVE 9만3450건의 약 0.5%에 해당한다고 집계했다.
  • 추적된 CVE 가운데 실제 환경에서 악용된 것으로 확인된 것은 2건이지만, 악용 기록만으로 취약점 발견의 가치를 판단할 수 있는지는 토론에서 쟁점이 됐다.
  • 앤트로픽의 공개 장부에는 발견 사항 3만7966건과 수정 완료 217건이 기록돼 있어, 탐지량과 조치량의 차이가 크다.
  • 앤트로픽은 자체 검증 인력의 병목을 이유로 프로젝트가 직접 스캔을 요청하는 도구를 내놨으며, 이 도구의 보고서는 사람의 사전 검토 없이 생성된다.
  • 컬이 공개한 보고서 34건 중 19건은 취약점이 아닌 것으로 판정돼, AI 보고서의 품질과 유지보수자의 검증 부담이 함께 논란이 됐다.

4월 출범, 7개월 추적의 출발점

앤트로픽은 4월 7일 글래스윙을 출범시키며 오픈소스 유지보수자에게 책임 있게 알리고 있는 높은 심각도의 취약점이 수천 건에 이른다고 밝혔다. 벌른체크의 패트릭 개리티(Patrick Garrity)는 당시 주장을 뒷받침할 공개 근거가 적다고 보고, 발표 열흘 뒤부터 앤트로픽이 발견한 취약점을 따로 추적하기 시작했다. 그가 살펴보려 한 것은 AI가 취약점을 찾을 수 있느냐는 일반론보다, 글래스윙이 내세운 발견 규모와 위험성이 공개 기록에서도 확인되는지였다. 벌른체크는 AI가 취약점 탐지에 유용한 도구라는 점 자체는 부정하지 않는다.

개리티의 공개 저장소는 CVE(공개 취약점 식별 번호), GitHub 보안 권고, 리눅스 커널 변경 기록, 앤트로픽의 자체 공개 장부를 대조한다. 기록에서 놓칠 수 있는 항목을 찾기 위해 보안 권고도 수작업으로 검토한다고 설명했다. 이 추적은 앤트로픽 장부가 나오기 전에 시작됐고, 장부가 생긴 뒤에도 간헐적으로 묶음 갱신되는 자체 발표만 기다리지 않는 방식으로 이어졌다. 따라서 벌른체크의 CVE 집계와 앤트로픽의 ‘발견 사항’ 집계는 출처와 단위가 서로 다르다.

442건의 CVE와 실제 악용 2건

벌른체크가 7개월 동안 앤트로픽에 귀속시킨 CVE는 442건으로, 월평균 약 63건이다. 벌른체크는 이를 올해 발행된 CVE 9만3450건과 비교해 약 0.5%라고 제시했다. 개리티는 글래스윙 출범 당시의 메시지에 비해 공개 CVE에서 확인되는 비중이 작다고 해석한다. 다만 이 수치는 CVE를 받은 건을 세는 것이므로, 앤트로픽 장부에 적힌 발견 사항 전체와 같은 숫자로 읽어서는 안 된다.

개리티는 이 442건을 벌른체크의 실제 악용 취약점 목록과도 대조했다. 실제 환경에서 악용된 것으로 확인된 것은 2건, 전체의 0.45%였으며 식별 번호는 CVE-2026-61500과 CVE-2026-26980이다. 그는 이를 근거로 발견된 취약점이 공격자에게 얼마나 실질적으로 쓰이는지 질문한다. 반면 실제 악용 기록은 공격이 관찰됐는지를 보여주는 지표다. 발견 후 악용되기 전에 고쳐진 취약점의 가치까지 같은 방식으로 평가할 수 있는지는 뒤이은 토론에서 반론이 제기됐다.

3만7966건 발견과 217건 수정

앤트로픽이 5월 처음 공개 장부를 내놨을 때 기록된 발견 사항은 2만3019건이었고, 자체 발표한 진양성률(실제 취약점으로 판정된 비율)은 90.8%였다. 11월 2일 갱신된 장부에는 발견 사항이 3만7966건으로 늘었지만, 수정 완료로 표시된 것은 217건이다. 전체 발견 사항 가운데 공개된 건은 7349건으로 19.4%다. 개리티가 주목하는 대목은 탐지 기록이 쌓이는 속도에 비해 공개와 수정 기록이 훨씬 적다는 점이다.

특히 벌른체크의 9월 점검 이후 약 두 달 동안 발견 사항은 1만2000건 가까이 추가됐는데, 수정 완료 표시는 15건 늘었다. 개리티는 이 속도 차이가 지속되면 아직 처리되지 않은 보고서가 계속 쌓인다고 본다. 그는 시간이 흐르는 사이 다른 사람이 같은 문제를 찾아 먼저 수정할 가능성도 제기했다. 발견 건수가 곧 수정 가능한 취약점의 수는 아니지만, 장부의 증가 추세는 검증과 조치가 탐지 속도를 따라가지 못한다는 그의 비판을 뒷받침한다.

중복 1654건, 상승한 진양성률

장부에서 중복으로 표시된 발견 사항은 1654건으로 전체의 4.4%이며, 수정 완료 217건의 약 7.5배다. 철회된 발견 사항도 419건이다. 개리티는 이처럼 중복과 철회가 누적되는 동안 앤트로픽이 제시한 진양성률은 출범 무렵 90.8%에서 94.2%로 올랐다고 지적했다. 중복·철회 판정이 진양성률 계산과 이후의 검증 절차에 어떻게 반영되는지 묻는 것이다.

그의 9월 점검 당시 장부에서 중복으로 분류된 건은 2건이었으나, 이후에는 수천 건으로 늘었다. 개리티는 결과를 오래 쌓아 둔 채 판단이 늦어지면 중복을 가려내는 일도 더 복잡해진다고 본다. 또 앤트로픽 장부에서 ‘공개됨’으로 표시된 건수를 부풀리는 오류가 있는 것으로 보인다며, 해당 필터를 확인하라고 권했다. 이 대목에서 핵심은 높은 적중률이라는 단일 수치보다 중복, 철회, 수정 결과가 장부에 어떻게 연결되는지다.

검증 부담을 옮긴 OSS 스캐너

앤트로픽도 사람의 검증 역량이 병목이라는 점을 인정했다. 10월 8일 OSS 스캐너(오픈소스 프로젝트가 스캔을 신청하는 도구)를 소개하면서, 후보 취약점을 2만9000건 넘게 찾았지만 사람이 직접 검토한 것은 약 6000건이라고 밝혔다. 이미 결과를 일괄 요청한 유지보수자에게는 검증하지 않은 보고서 약 5000건을 보낸 상태였다. 발견량이 커질수록 모든 보고서를 앤트로픽 내부에서 먼저 확인하는 방식이 어려워졌다는 설명이다.

새 도구에서는 프로젝트 유지보수자가 스캔을 요청하고 나온 결과를 직접 분류한다. 앤트로픽은 보고서가 사람의 검토나 분류 없이 전부 모델로 생성되며, 잘못됐거나 유효하지 않을 수 있다고 명시했다. 개리티는 이를 검증 병목의 해결이 아니라 유지보수자에게 업무를 옮기는 변화로 해석한다. 같은 보고서라도 수신자가 재현과 영향 범위 확인, 수정 여부 판단까지 맡아야 한다면, 탐지 도구의 효용은 보고서의 정확도와 함께 평가될 수밖에 없다.

컬이 공개한 34건의 판정

컬 유지보수자 다니엘 스텐버그(Daniel Stenberg)는 앤트로픽으로부터 취약점 보고서 45건을 받았다고 알렸다. 앤트로픽은 그중 1건만 중간 심각도로, 나머지는 낮은 심각도로 평가했다. 스텐버그는 팀에 미치는 부담을 줄이려고 보고서를 GitHub에 차례로 올리겠다고 했다. 덕분에 유지보수자가 검토한 AI 보고서가 어떻게 판정되는지 외부에서도 볼 수 있게 됐다.

벌른체크가 글을 쓸 당시 공개된 보고서는 34건이었다. 이 가운데 19건은 취약점이 아니라고 판정됐고, 6건은 낮은 심각도의 취약점으로 확인됐으며, 9건은 평가를 기다리고 있었다. 공개된 34건을 기준으로 취약점이 아니라는 판정은 55.9%, 확인된 취약점은 17.6%다. 나머지 9건의 판정이 남아 있는 만큼 최종 결과는 달라질 수 있지만, 개리티는 이미 확인된 작업량만으로도 유지보수자에게 적지 않은 부담이라고 본다.

심각도 평가와 유지보수자의 판단

컬 사례가 처음 나온 검증 결과도 아니다. 스텐버그는 앞서 5월에 받은 미토스(Mythos) 관련 발견 사항 5건을 검토한 결과, 확인된 취약점은 1건이었다고 썼다. 개리티는 이번에 공개된 컬 보고서의 판정과 앤트로픽 장부의 진양성률 94.2% 사이에도 간극이 있다고 지적한다. 다만 컬의 공개 보고서는 장부에 들어간 모든 발견 사항과 동일한 표본이 아니므로, 두 수치는 각각 무엇을 세었는지 살펴봐야 한다.

심각도에서도 판단 차이가 나타났다. 개리티가 9월에 조사했을 때 클로드(Claude)는 장부의 발견 사항 가운데 91.5%를 치명적 또는 높은 심각도로 평가했지만, 유지보수자의 해당 평가는 51.3%였다. 그는 다른 오픈소스 프로젝트에서도 비슷한 차이가 나타나는지 확인할 필요가 있다고 봤다. 컬은 낮거나 중간 심각도로 제시된 발견 사항을 공개 이슈로 올리는 방식을 택했고, 개리티는 다른 유지보수자도 이런 공개 검증을 고려하길 권했다.

커뮤니티 의견

한 사용자는 자신이 관리하는 필-C(Fil-C)에 관한 앤트로픽 보고서 9건을 받았으며 모두 실제 버그였다고 했다. 보고서와 테스트 사례의 품질이 특히 좋았고, 제안된 수정안 일부는 그대로 사용하거나 자신의 수정에 참고했다고 설명했다. 같은 댓글의 답글에서는 다른 프로젝트의 높은 오탐 부담을 들어 경험이 엇갈린다는 반응도 나왔다.

대형 기술기업에서 일한다는 사용자는 공개 CVE만 보면 AI가 찾은 문제를 과소평가할 수 있다고 반박했다. 자사 코드에서 발견된 심각한 문제는 CVE를 받거나 공개 블로그에 실리지 않는 경우가 많으며, 자신은 미토스 출범 이후 그런 문제를 고치는 데 상당한 시간을 썼다고 했다. 공개 기록은 추적하기에 유용하지만, 비공개 소프트웨어에서 일어나는 작업까지 보여주지는 않는다는 주장이다.

또 다른 사용자는 글래스윙 전체의 성과를 오픈소스 공개 장부로 평가하는 방식이 적절하지 않다고 주장했다. 협력사가 자체 비공개 코드를 모델로 검사하는 활동과 앤트로픽이 오픈소스를 검사해 유지보수자에게 알리는 활동은 구분해야 한다는 것이다. 이에 대한 답글에서는 벌른체크가 앤트로픽 보고서를 직접 받은 컬의 판정도 다뤘는데, 이를 주변적인 자료로만 볼 수 있느냐는 반문이 나왔다.

공개되지 않은 발견 사항이 약 80%라는 점을 경계하는 의견도 있었다. 이 사용자는 공개된 일부에서 중복과 철회가 보인다고 해도, 아직 공개되지 않은 건들이 실제 취약점인지 또는 왜 공개되지 않았는지는 알기 어렵다고 지적했다. 답글에서는 사람의 검증 업무가 몰려 공개가 지연됐을 가능성을 제기하며, 탐지만이 아니라 수정안 제시까지 AI에 기대해야 한다고 했다.

실제 악용이 확인된 건수가 적다는 해석에도 반론이 나왔다. 한 사용자는 공격자가 이용하기 전에 취약점을 찾아 고치는 것이 글래스윙의 목적이라면, 악용 기록이 적은 것 자체를 발견의 실패로 볼 수 없다고 했다. 수정된 코드가 배포돼 공격 기회가 줄었다면 실제 악용 통계는 취약점의 중요성을 온전히 나타내지 못한다는 논리다.

발견과 수정의 격차 자체를 우려하는 의견도 있었다. 한 사용자는 AI가 문제를 찾는 데 비해 고치는 데 약하다면, 발견 건수가 늘수록 안전하게 관리해야 할 일이 더 많아진다고 했다. 보고서에 오탐이 섞여 있더라도 3만7966건의 발견 사항과 수정 완료 217건 사이의 차이는 주목할 만하다는 주장이다.

보안 보고서를 받는 쪽에 있다는 사용자는 AI가 생성한 보고서가 밀려들어 사람인 유지보수자의 시간이 더 부족해진다고 했다. 그가 보기에 다수의 버그는 영향이 작아, 단순히 취약한 소프트웨어가 존재하는지를 넘어 실제 악용 가능성을 따져 우선순위를 매겨야 한다. 취약한 구성요소가 시스템에 있어도 실행되지 않는다면 같은 수준의 긴급 사안으로 취급할 필요는 없다는 설명이다.

다른 사용자는 자체 서버에서 GLM-5.3-Flash를 코드 저장소에 적용해, 6시간 동안 제품과 사이트의 취약점 13건을 찾았다고 경험을 공유했다. 그는 그중 계정 탈취와 원격 코드 실행 문제도 있었고 사람이 작동 여부를 확인했다고 주장했다. 이 사례를 든 이유는 최상위 모델만이 유일한 선택지가 아니며, 내부 코드와 취약점 정보를 외부 업체에 보내지 않고 검사하는 방식에도 장점이 있다는 것이었다.

핵심통찰

글래스윙을 둘러싼 논쟁의 중심은 AI가 버그를 찾느냐가 아니라, 찾은 결과를 누가 어떤 순서로 확인하고 고치느냐다. 벌른체크의 집계와 컬의 판정은 높은 발견 건수만으로 유지보수자의 보안 상태가 나아진다고 보기 어렵다는 점을 드러낸다. 동시에 공개 CVE와 오픈소스 장부만으로 비공개 코드의 성과를 모두 재단할 수도 없다. 앞으로 볼 것은 발견 수의 증가보다 보고서의 유효성, 심각도 판단, 수정까지 걸리는 과정, 그리고 그 과정에 드는 유지보수자의 시간이다.


원본: After 7-months, Glasswing Overwelms Maintainers with Underwhelming Findings | Blog | VulnCheck

토론: Hacker News