클로드가 페르마의 마지막 정리를 린으로 검증했다

앤트로픽(Anthropic)은 클로드(Claude)가 페르마의 마지막 정리 전체를 린(Lean)으로 형식화해 컴퓨터 검증을 마쳤다고 발표했다. 여러 AI 에이전트가 11일 동안 작업해 1,300만 줄의 코드와 수만 개의 중간 정리를 만들었다는 설명이다. 이번 성과는 새 수학 정리를 발견한 사례가 아니라, 사람이 읽도록 쓰인 방대한 증명을 기계가 확인할 수 있는 형태로 옮긴 사례다. 증명 검토에 오랜 시간이 드는 수학계에서 AI가 어떤 일을 맡을 수 있는지 보여준다.

핵심 요약

  • 앤트로픽은 클로드가 11일 만에 페르마의 마지막 정리에 대한 첫 완전한 컴퓨터 검증 증명을 작성했다고 밝혔으며, 핵심 성과는 새 발견보다 기존 증명의 형식화에 있다.
  • 최종 증명에는 린 코드 1,300만 줄과 중간 정리 약 2만9,500개가 쓰여, 사람이 당연하게 넘기는 단계까지 기계가 확인하도록 만드는 작업의 규모를 드러냈다.
  • 초기 에이전트들은 작업 상태를 공유하는 데 실패했지만, 프로브투미(Prove2Me)가 증명 과제를 연결하고 병렬 작업을 관리하면서 프로젝트가 진전됐다.
  • 완성된 증명은 린의 표준 공리 세 가지만 사용하며 정리의 진술도 매스립(Mathlib)의 페르마 정리 진술과 대조됐지만, 코드가 길어진 만큼 이를 어떻게 이해하고 재검토할지는 남은 과제다.
  • 앤트로픽은 자동 형식화가 새 논문의 검토 부담을 줄일 것으로 기대하며, 토론에서는 그 효용과 함께 비용·검증 도구에 대한 신뢰를 따져야 한다는 의견이 나왔다.

350년 넘게 남은 검증의 문제

피에르 드 페르마(Pierre de Fermat)는 1637년 무렵 책 여백에 (n>2)일 때 (a^n+b^n=c^n)을 만족하는 양의 정수 (a,b,c)는 없다고 적었다. 페르마의 마지막 정리로 불리게 된 이 주장은 간결하지만, 증명에는 오랜 시간이 걸렸다. 앤드루 와일스(Andrew Wiles)가 1995년 발표한 첫 올바른 증명은 129쪽에 달했고, 이를 확인하는 데도 수개월의 작업이 필요했다. 간단한 주장과 복잡한 증명 사이의 간극이 이번 형식화 작업의 출발점이다.

증명 검토가 까다로운 이유는 논리의 한 단계만 잘못돼도 그 뒤의 결론이 흔들릴 수 있기 때문이다. 와일스가 1993년 강연에서 처음 증명을 공개했을 때도 검토 과정에서 결정적인 빈틈이 발견됐다. 그는 리처드 테일러(Richard Taylor)와 함께 그 문제를 해결한 뒤 1995년에 증명을 출판했다. 앤트로픽은 이 사례를 들어 새 결과를 믿을 만큼 깊이 이해하고 검증하는 일이 수개월, 때로는 수년에 걸릴 수 있다고 설명한다.

사람의 증명을 린이 읽도록 바꾸기

이번 발표의 초점은 페르마의 마지막 정리를 새 방법으로 증명했다는 데 있지 않다. 앤트로픽은 사람이 쓴 증명의 논리를 증명 보조 도구(정해진 규칙에 따라 증명의 각 단계를 확인하는 소프트웨어)인 린이 검사할 수 있도록 옮겼다고 설명한다. 사람이 읽는 논문은 자명한 단계를 생략하고 앞선 연구를 참조하지만, 린에 입력하는 증명은 그 연결고리를 명시해야 한다. 수학적 논증을 컴퓨터가 검사할 수 있는 표현으로 바꾸는 일을 형식화라고 한다.

필요한 내용을 모두 처음부터 만드는 것은 아니다. 이번 증명은 기존 수학 증명 라이브러리인 매스립을 토대로 했고, 수학자들의 앞선 형식화 작업도 활용했다. 다만 이미 형식화된 수학은 사람이 축적한 연구 전체에 비하면 작은 일부여서, 복잡한 정리로 갈수록 준비할 정의와 보조 정리가 많아진다. 페르마의 마지막 정리 형식화는 수년이 걸릴 것으로 예상됐으며, 커뮤니티가 초기 작업을 설명하는 데 쓰던 설계 문서만 86쪽이었다.

11일 동안 쌓인 1,300만 줄

앤트로픽 연구원 톈이 펑(Tianyi Peng)은 클로드가 이 과제에서 얼마나 진척할 수 있는지 시험했다. 발표에 따르면 클로드는 대체로 자율적으로 움직이는 여러 에이전트를 통해 11일 만에 처음부터 끝까지 이어지는 증명을 완성했다. 작업 과정에서는 약 3만300개의 정리를 증명했고, 최종 증명에는 그중 약 2만9,500개를 사용했다. 린 코드의 전체 규모는 1,300만 줄로, 토대가 된 매스립보다 다섯 배 넘게 길다.

증명의 수학적 경로는 앙리 다르몽(Henri Darmon), 프레드 다이아몬드(Fred Diamond), 테일러가 정리한 와일스 증명의 단순화된 설명을 따른다. 펑이 제공한 수학적 지시는 어떤 개념이나 정리를 우선 처리할지에 관한 간헐적인 상위 수준의 요청에 그쳤다고 앤트로픽은 밝혔다. 앤트로픽이 공개한 에이전트의 작업 기록에는 최상위 목표가 증명 완료로 표시됐는지 확인하는 장면도 담겼다. 이는 긴 논증을 끝까지 연결하는 일이 프로젝트의 목표였음을 보여준다.

실패한 에이전트를 묶은 증명 지도

처음부터 여러 에이전트의 협업이 순조로웠던 것은 아니다. 앤트로픽에 따르면 초기 시도에서는 에이전트들이 프로젝트의 현재 상태를 놓치면서 서로 효과적으로 협력하지 못했다. 최종 증명에서 반복적인 부분을 제외하면, 코드 줄 수의 약 7%는 실패한 시도에서 나온 코드다. 긴 작업을 잘게 나누는 것만으로는 각 작업이 어디에 연결되는지 관리하기 어렵다는 문제였다.

전환점은 펑과 컬럼비아대학교(Columbia University) 협력자들이 만든 공개 협업 플랫폼 프로브투미를 도입한 뒤였다. 이 플랫폼은 정리 사이의 선후 관계를 방향성 비순환 그래프(순환 없이 작업의 의존 관계를 나타내는 구조)로 관리해 에이전트가 다음에 증명할 대상을 고르게 했다. 정리의 진술과 증명 코드를 별도 파일로 나눠 린의 컴파일 부담을 줄이고, 각 정리에 자연어 설명을 붙여 필요한 결과를 찾아 재사용하도록 했다. 앤트로픽은 여기에 클로드 코드(Claude Code) 기반 다중 에이전트 운영 도구를 결합했다.

린이 확인한 것과 사람이 살필 것

완성된 결과는 린으로 검사됐다. 앤트로픽은 증명이 린의 표준 공리 세 가지만 사용하며, 별도의 비교 도구로 증명 대상의 진술이 매스립에 있는 페르마의 마지막 정리 진술과 일치하는지도 확인했다고 밝혔다. 케빈 버저드(Kevin Buzzard)는 이 작업이 수학의 여러 분야를 형식화하며 쌓아 올린, 다음 작업의 토대로 삼을 수 있는 다층 증명이라고 평가했다. 전체 증명과 이를 따라가는 설명도 GitHub에 공개됐다.

그렇다고 기계가 검사한 증명이 사람을 위한 해설을 대신하는 것은 아니다. 앤트로픽도 형식화된 증명과 사람이 이해할 수 있는 설명이 함께 있어야 한다는 입장이다. 긴 코드가 무엇을 뜻하는지, 기존 연구의 어느 결과를 어떻게 이어받았는지는 수학자가 계속 살펴야 한다. 검토의 중심은 모든 논리 단계를 사람이 손으로 따라가는 일에서, 정리의 진술과 증명 구조를 이해하고 확인하는 일로 옮겨간다.

60억 토큰을 쓴 뒤의 가능성

이번 작업에는 클로드 페이블 5.1(Claude Fable 5.1)과 대략 비슷한 범용 내부 연구 모델의 출력 토큰 약 60억 개가 쓰였다. 토큰(모델이 글을 처리하고 생성할 때 쓰는 단위) 소비량만 봐도 손쉽게 반복할 수 있는 작은 실험은 아니다. 앤트로픽은 그럼에도 대규모 수학 형식화의 가능성을 보여줬다고 본다. 기존 증명에서 오류를 찾거나 새 논문 심사의 부담을 덜 수 있다는 기대다.

회사는 더 작은 규모의 실험도 소개했다. 연구진은 개인용 클로드 맥스(Claude Max) 요금제 세 개와 프로브투미를 이용해 비노그라도프의 세 소수 정리(Vinogradov’s Three Primes Theorem)를 3일 만에 형식화했다고 밝혔다. 앤트로픽은 적절한 협업 체계를 갖추면 소비자용 구독 서비스로도 주요 결과의 형식화에 도전할 수 있다고 본다. 다만 페르마의 마지막 정리 프로젝트와 이 실험은 사용한 모델과 규모가 다른 별개의 사례다.

새 증명 옆에 놓일 검증 가능한 증명

앤트로픽이 기대하는 변화는 AI가 수학적 결과를 더 많이 내놓을수록 그 결과를 확인하는 도구도 함께 발전하는 것이다. 사람이 읽는 논문과 기계가 검사할 수 있는 증명을 나란히 내놓는 방식이 흔해질 수 있다고 회사는 전망한다. 클로드가 새 수학 결과를 탐색할 때도 부분적으로 작성한 린 증명으로 자신의 가설을 점검하는 듯하다고 앤트로픽은 설명했다. 이번 발표에서 실제로 끝까지 검증한 대상은 이미 알려진 페르마의 마지막 정리다.

이 작업은 클로드만으로 성립한 결과도 아니다. 와일스와 테일러의 증명, 다르몽·다이아몬드·테일러의 설명, 기존 페르마 정리 형식화 프로젝트, 린과 매스립에 쌓인 작업이 바탕에 있다. 앤트로픽은 이 토대 위에서 증명 작성 속도를 크게 끌어올렸다고 주장한다. 앞으로 관건은 같은 방식이 다른 연구에도 적용되고, 생성된 증명을 수학자들이 이해하고 이어 쓸 수 있느냐다.

커뮤니티 의견

한 사용자는 버저드의 별도 글을 함께 읽어야 이번 성취가 뜻하는 바와 뜻하지 않는 바를 구분할 수 있다고 했다. 그 글을 인용한 답글에서는 버저드의 프로젝트에 5년간 100만 파운드가 배정된 것과 앤트로픽의 11일을 비교하며, 짧은 기간만큼 비용까지 적었는지는 궁금하다고 지적했다.

다른 사용자는 대규모 수학 문헌의 오류를 찾고 논문 심사 부담을 줄일 수 있다는 설명이 글의 앞부분에 나왔어야 한다고 했다. 11일이라는 기록 자체보다 독자가 이 작업의 필요성을 먼저 알아야 한다는 주장이다.

수학자라고 밝힌 답글 작성자는 공개된 증명 경로의 전문적인 설명이 대체로 이해되지만 자신도 해당 분야 전문가는 아니라고 했다. 다른 답글은 기존의 낮은 지수에 관한 형식화 결과를 결합하는 방식을 타당한 전략으로 보면서도, 설명이 그럴듯하다는 판단과 증명 전체를 믿는 일은 다르다고 구분했다.

소프트웨어 공학 관점의 한 사용자는 1,300만 줄의 코드가 모두 오류 없이 작성됐다고 어떻게 알 수 있는지 물었다. 답글에서는 린이 증명 코드를 정리의 진술에 맞춰 검사하므로 모든 줄을 일반 프로그램처럼 신뢰할 필요는 없다고 설명했다. 대신 의도한 정리가 정확히 입력됐는지와 린의 검사기를 신뢰할 수 있는지가 중요하다고 짚었다.

또 다른 사용자는 출력 토큰 60억 개를 API 가격에 대입해 비용을 대략 추산했다. 이에 대한 답글은 모델 사용료뿐 아니라 에이전트 운영 도구와 프로브투미를 만든 사람들의 작업도 비용에 포함해야 한다고 지적했다. 11일이라는 소요 시간과 전체 투입 자원을 별도로 봐야 한다는 의견이다.

검증 도구 자체를 걱정하는 의견도 나왔다. 한 사용자는 대규모 코드가 린의 잠재적 결함을 건드렸을 가능성을 물었고, 답글에서는 형식 검증 도구에서 잘못된 결론을 허용하는 오류가 발견되기도 한다고 설명했다. 다만 그 가능성이 이번 증명에 얼마나 해당하는지는 알 수 없다는 입장이었다.

한 사용자는 이번 결과가 인간의 수학적 탐구에 직접 새 내용을 더하지는 않지만, 긴 작업을 수행하는 에이전트의 설계법은 보여준다고 평가했다. 정리의 의존 관계를 기록하고, 진술과 증명을 분리하며, 자연어 설명으로 검색을 돕는 구성을 특히 높이 샀다. 답글에서는 자동 형식화가 인간의 수학 연구에 줄 가치를 지금 미리 제한할 수 없다는 반론이 나왔다.

살펴볼 점

이번 발표가 바꾸는 것은 AI의 수학 능력을 재는 기준이다. 클로드는 새 정리를 발견하기보다, 오래 검토해 온 증명을 기계가 확인할 수 있는 거대한 구조로 옮겼다. 그 과정에서 성패를 가른 것도 모델 하나의 답변이 아니라 에이전트가 공유하는 증명 지도였다. 다음에 지켜볼 것은 11일이라는 속도의 재현성, 전체 비용, 그리고 수학자가 검증된 코드를 읽고 재사용할 수 있느냐다.


원본: Formalizing Fermat’s Last Theorem

토론: Hacker News