클로드, 오픈소스 123개 라이브러리 형식 검증

앤트로픽(Anthropic)은 AI가 실제 오픈소스 소프트웨어의 실행 파일을 대상으로 대규모 형식 검증을 수행할 수 있다고 밝혔다. 시어럼(Theorem)과 함께 클로드(Claude)로 123개 라이브러리의 보안 성질을 증명하고, 그 과정에서 오래된 버그도 찾아냈다는 것이다. 핵심은 테스트를 더 많이 돌린 데 그치지 않고, 정해진 조건에서는 어떤 입력에도 테스트가 실패하지 않는다는 수학적 증명을 만들었다는 점이다. 다만 무엇을 증명했고 무엇을 증명하지 않았는지를 구분해야 성과의 크기가 보인다.

핵심요약

  • 앤트로픽은 클로드로 123개 오픈소스 라이브러리의 퍼즈 테스트 진입점 239개에 대해, 정해진 실행 조건과 64MB 미만 입력에서 충돌이 없음을 증명했다고 밝혔다.
  • 개발자가 이미 작성한 테스트를 검증 명세로 바꾼 방식은 명세 작성 부담을 낮추지만, 증명이 다루는 범위도 해당 테스트와 실행 모델에 묶인다.
  • 증명 과정에서 기존 테스트가 찾기 어려웠던 메모리 오류와 논리 버그가 드러났고, 클로드는 일부 코드를 고친 뒤 새 명세를 다시 증명했다.
  • 약 1억8000만 줄의 증명을 사람이 모두 읽는 대신 증명 검사기로 확인할 수 있지만, 명세와 CPU·운영체제 모델의 정확성은 별도로 살펴야 한다.
  • 토론에서는 검증 비용이 낮아질 가능성을 인정하면서도 잘못된 명세, 증명 도구의 신뢰성, 실제 개발 현장의 채택 여부를 두고 이견이 나왔다.

버그를 찾는 AI에서 부재를 증명하는 AI로

앤트로픽은 AI가 버그를 찾고 악용하는 능력이 커지는 만큼, 공격 전에 결함을 찾아 고치는 방식도 달라져야 한다고 주장한다. 그 대안으로 내세운 형식 검증(코드가 정해진 성질을 지키는지 수학적으로 증명하는 방법)은 코드를 모델로 옮기고, 모든 가능한 실행이 명세를 만족하는지 따진다. 증명에 실패하면 어떤 조건에서 규칙이 깨질 수 있는지 조사하고, 원인을 없앤 뒤 다시 증명한다. 여기서 보장하는 것은 소프트웨어의 모든 요구사항이 아니라 명세에 적힌 성질이다.

문제는 비용이었다. 앤트로픽은 운영체제 커널 seL4를 구현하는 데 2인년이 들었지만 형식 검증에는 20인년이 들었다는 사례를 제시했다. 증명은 원래 코드보다 훨씬 길어질 수 있고, 작성에도 전문 지식이 필요하다. 그래서 형식 검증은 항공 전자장치처럼 특별히 높은 신뢰성이 필요한 영역에 주로 적용됐다. 앤트로픽의 이번 실험은 그 노동집약적인 증명 작성을 LLM이 얼마나 맡을 수 있는지 보여주려는 시도다.

기존 퍼즈 테스트를 검증 명세로

코드가 ‘올바르다’고 말하려면 먼저 올바름의 기준을 정해야 한다. 이미지 디코더처럼 정해진 형식을 구현하는 프로그램은 기준을 쓰기 비교적 쉽지만, 편집기나 브라우저의 모든 바람직한 동작을 빠짐없이 명세로 만드는 일은 어렵다. 앤트로픽은 이 난관을 피하기 위해 개발자가 이미 작성한 테스트가 항상 통과한다는 규칙을 명세로 삼았다. 새 요구사항을 처음부터 정의하는 대신, 기존 테스트가 확인하려던 성질을 증명의 출발점으로 만든 셈이다.

실험의 주된 대상은 퍼즈 테스트(입력을 대량으로 변형해 프로그램의 오류를 찾는 테스트)였다. 퍼저는 충돌을 일으키는 입력을 찾지만, 아무리 오래 실행해도 가능한 입력과 실행 경로를 모두 시험했다는 보장은 없다. 연구진은 테스트 코드를 RISC-V(프로세서 명령어 체계)용으로 컴파일한 뒤, 64MB 미만의 어떤 입력에서도 충돌하지 않는다는 명제를 세웠다. 그 명제가 증명된 진입점에서는 같은 조건으로 퍼징을 더 해도 해당 테스트가 포착할 충돌을 새로 찾을 수 없다는 뜻이다.

123개 라이브러리와 1억8000만 줄의 증명

대상은 구글(Google)의 오픈소스 지속 퍼징 사업인 OSS-Fuzz에 포함된 라이브러리였다. 클로드는 몇 주 동안 123개 라이브러리의 테스트 진입점 239개에서 발견한 버그를 고친 뒤, 정해진 조건에서 충돌이 없음을 증명했다. 증명은 소스코드가 아니라 컴파일된 RISC-V 명령어에 적용됐으며, 로크(Rocq)로 작성된 전체 증명은 약 1억8000만 줄이다. 전형적인 증명 하나가 약 60만 줄이고, 대상 실행 파일의 RISC-V 명령어 길이 중앙값은 1만8000개라고 앤트로픽은 밝혔다.

이 분량을 사람이 일일이 검토하는 방식은 아니다. 시어럼이 만든 RISC-V 명령어와 리눅스(Linux) 프로세스의 형식 모델로 실행 파일을 수학적으로 표현하고, 로크 증명 검사기가 명제가 충족되는지 확인한다. 대신 개발자가 신뢰해야 할 핵심은 모델, 실제로 증명된 명제, 증명 검사기다. 현재 증명은 메모리 예산이 고정된 단일 스레드의 정적 RISC-V 바이너리가 리눅스에서 실행된다는 가정에 놓여 있다.

증명을 시도하다 발견한 오래된 결함

증명 작업은 결함을 배제하는 데서 끝나지 않았다. 클로드가 증명 도중 버그를 발견하면 코드를 수정하고, 수정된 코드에서 명세를 다시 만들어 증명을 이어가도록 했다. 앤트로픽은 이 과정에서 수백 개의 버그가 드러났다고 밝혔다. 다만 코드를 대폭 바꿔 충돌만 피하면 증명은 쉬워질 수 있으므로, 연구진은 패치에 불이익을 주고 변경 내용을 기록·감사했다고 설명했다.

발견 사례는 기존 퍼징의 사각지대를 보여준다. 한 압축 해제 코드에서는 약 20MB 크기의 드문 형태를 가진 입력에서만 경계 밖 쓰기를 일으키는 카운터 언더플로가 발견됐다. 이미지 디코더에서는 64MB 입력과 2GB가 넘는 메모리가 필요한 경계 밖 읽기도 나왔고, 같은 파일을 가리키는 두 핸들에 특정 순서로 호출해야 나타나는 오류도 있었다. 충돌이 없는 논리 버그도 있었다. 한 라이브러리에서는 애플리케이션이 읽을 수 있는 파일을 제한하는 기능이 항상 적용되지는 않는다는 사실을 증명 과정에서 발견했다.

충돌 방지를 넘어 동작 자체의 증명으로

퍼즈 테스트가 실패할 때 프로그램을 종료하도록 작성됐다면, 충돌이 없다는 증명은 단순한 안정성 검사를 넘어설 수 있다. 예컨대 LZO 압축 테스트는 데이터를 압축했다가 풀었을 때 원본과 같아야 한다고 검사한다. 결과가 다르면 테스트가 실패하므로, 그 테스트가 주어진 범위의 어떤 입력에도 실패하지 않음을 증명하면 압축·해제의 일관성도 증명한 셈이다. 앤트로픽은 왕복 변환, 멱등성, 참조 구현과의 동등성 같은 성질도 이런 방식으로 다룰 수 있다고 설명했다.

예상 밖의 성질을 증명해야 하는 경우도 있었다. 클로드가 cpp-httplib의 테스트를 증명하려면 표준 라이브러리의 자료구조를 파괴하는 과정에서 재귀가 지나치게 깊어져 스택이 넘치지 않는다는 점을 확인해야 했다. 이를 위해 컴파일된 코드 수준에서 레드블랙 트리의 재균형이 트리 깊이를 제한한다는 성질까지 증명했다. 테스트가 확인하는 최종 결과를 보장하려면 그 결과에 이르는 하위 구성요소도 증명의 대상이 된다는 사례다.

다른 실행 파일과 인터프리터로 넓힌 실험

앤트로픽은 퍼즈 테스트 외의 형식 검증도 시도했다. 클로드에게 압축 형식을 정의한 RFC 1950의 명세를 작성하게 하고, 리눅스 커널의 zlib 구현이 이를 따르는지 x86 실행 파일 수준에서 증명하도록 했다. 이때 사용한 x86 명령어의 형식 모델도 클로드가 생성했고, 연구진은 별도로 이를 집중 시험했다고 밝혔다. 다른 널리 쓰이는 라이브러리에도 비슷한 절차를 적용해, 악용 가능성이 없는 일부 경계 사례의 작은 버그를 찾았다.

또 다른 실험에서는 클로드가 러스트(Rust)로 파이썬(Python)의 큰 부분집합을 실행하는 인터프리터를 만들고, 검증 도구 베루스(Verus)로 정해진 CPython 동작 명세를 따르는지 증명했다. 이어 무작위로 생성한 파이썬 프로그램 170만 개 이상을 실행해 비교하자 99.95%에서 CPython과 같은 결과가 나왔다. 연구진은 형식 검증을 시도하는 과정에서 10년 넘게 잠복한 논리 버그도 발견했다고 밝혔다. 널리 쓰이는 PDF 리더를 검증한 일주일 동안에는 통상 1년에 보고되는 만큼의 보안 버그를 찾았다고 설명했다.

증명 비용을 낮추되 남는 경계

대규모 적용의 걸림돌은 증명 생성에 드는 토큰이다. 앤트로픽이 OSS-Fuzz 코드로 만든 소규모 과제 36개를 비교한 결과, 오푸스 5.5(Opus 5.5)는 그중 절반을 오푸스 5보다 약 40% 적은 토큰으로 증명했다. 에이전트끼리 기존 증명을 복사해 쓸 수 있게 했을 때도 각자 작업할 때보다 필요한 토큰이 17% 줄었다. 여러 프로그램이 C 실행 환경 초기화나 어드레스새니타이저(AddressSanitizer·메모리 접근 오류 탐지 도구) 관련 코드를 공유해, 증명의 일부도 재사용할 수 있었다는 설명이다.

그러나 비용이 내려가도 증명의 적용 범위는 따로 확인해야 한다. 이번 주된 결과는 단일 스레드·정적 연결의 RISC-V 실행 파일과 64MB 미만 입력에 관한 것이며, 널리 쓰이는 x86·ARM 실행 환경이나 다른 연결 방식까지 그대로 포괄하지 않는다. 어드레스새니타이저가 모든 메모리 오류를 잡는 것도 아니고, 라이브러리의 모든 진입점이나 호출자의 잘못된 사용을 검증한 것도 아니다. 앤트로픽은 증명 검사기가 명세와 현실이 맞는지까지 판단하지는 못한다고 인정하면서, 일부 증명과 모델을 공개해 외부 검토와 재사용을 받겠다고 밝혔다.

커뮤니티 의견

한 사용자는 검증된 코드가 명세대로 동작하더라도 명세 자체가 해결해야 할 문제를 잘못 표현할 수 있다고 지적했다. 수학적으로 빈틈없는 프로그램도 엉뚱한 목표를 정확하게 달성할 수 있다는 것이다. 형식 검증이 사이버보안에 중요해질 가능성은 인정하면서도, 사람이 목표와 명세를 제대로 잡는 일이 계속 필요하다고 봤다.

실제 활용 경험을 소개한 사용자도 있었다. 러스트로 다시 작성하는 포스트그레스(Postgres) 코드와 기존 C 코드를 린(Lean)으로 옮긴 뒤, LLM이 두 함수의 동작이 같다는 증명을 작성하게 했다는 설명이다. 이 사용자는 단일 스레드 실행을 기준으로 약 7만 줄의 C 코드에 해당하는 12%가량을 증명했고, 플랫폼 간 부동소수점 결과 차이 같은 작은 불일치를 찾았다고 했다. 답글에서는 코드를 린으로 바꾸는 도구 자체의 정확성을 어떻게 확인할지가 쟁점으로 제기됐다.

한 사용자는 이런 발표가 자신이 좋아하는 프로그래밍 일을 지속할 기회를 줄일까 두렵다고 털어놨다. 답글에서는 LLM에 넘겨주게 된 문제를 아쉬워하면서도, 만들고 싶은 것을 더 쉽고 빠르게 구현할 수 있다는 상반된 경험이 나왔다. 검증 기술의 생산성뿐 아니라 개발자가 맡는 일의 변화도 토론의 일부였다.

또 다른 사용자는 실행 파일과 증명 사이의 연결을 어떻게 확인하는지 궁금해했다. 로크 검사기가 증명의 논리적 타당성을 확인하더라도, RISC-V 코드와 리눅스 실행을 표현한 모델이 실제 프로그램에 어떻게 대응하는지 보고 싶다는 주장이다. 답글에는 관련 모델과 작업 흐름을 살펴볼 수 있는 공개 저장소가 소개됐다.

확산 속도를 의심하는 의견도 나왔다. 한 사용자는 LLM 도입이 지금까지 소프트웨어 개발의 모범 관행을 강화하기보다 약화하는 방향으로 쓰인 경우를 우려했다. 답글에서는 자동 증명이 암호학이나 항공우주처럼 원래 신중한 분야에만 남고, 다른 분야는 절약한 시간을 검증되지 않은 코드를 더 빨리 내놓는 데 쓸 수 있다고 봤다.

다른 사용자는 기존 명령형 코드를 계속 증명하는 대신, AI가 다루기 쉬운 선언형 언어로 개발 방식이 이동할 수 있다고 전망했다. 의도를 더 간결하게 표현하고 제약을 언어에 담으면 생성 결과를 사람이 검토하고 검증하기도 쉬워진다는 구상이다. 반론은 복잡한 시스템 전반에 통하는 언어와 컴파일러를 만드는 일이 그 자체로 지나치게 어려울 수 있다는 데 집중됐다.

증명의 규모가 커질 때의 한계를 짚은 사용자도 있었다. 이 사용자는 에이전트가 만든 장황한 증명이 작은 과제에서는 통하더라도, 복잡한 프로그램에는 더 나은 모듈화와 추상화가 필요하다는 논의를 인용했다. 답글에서는 중복이 많고 구조가 약한 증명은 유지하기 어려운 코드와 닮았다는 의견이 이어졌다.

마지막으로 한 사용자는 충돌을 고친 뒤 그 사실을 증명하는 일이 얼마나 유용한지 물었다. 이에 대한 답글은 퍼즈 테스트가 단순한 충돌뿐 아니라 압축·해제의 일치처럼 실제 동작 규칙도 검사한다고 설명했다. 무엇을 검사하도록 테스트를 작성했느냐에 따라 ‘충돌 없음’이라는 증명이 담는 내용도 달라진다는 반박이다.

핵심통찰

이번 연구가 바꾸는 것은 모든 소프트웨어를 자동으로 ‘무결하다’고 판정하는 능력이 아니라, 이미 존재하는 테스트를 출발점으로 삼아 특정 보장을 훨씬 넓은 코드에 적용할 가능성이다. 실행 파일 수준의 증명과 재사용 가능한 증명 자산은 비용 장벽을 낮출 수 있다. 반면 현장에서 믿을 만한 결과를 얻으려면 테스트가 무엇을 빠뜨렸는지, 명세와 실행 모델이 실제 환경을 얼마나 닮았는지, AI의 패치가 원래 동작을 보존했는지를 함께 따져야 한다. 앞으로 볼 지점은 증명 줄 수보다 그 경계를 얼마나 명확히 밝히고 좁혀 가느냐다.


원본: LLMs are making formal software verification feasible at a much larger scale

토론: Hacker News