AI가 시그널 암호화 코드의 보안 속성을 증명했다

구글 딥마인드(Google DeepMind)가 AI 에이전트와 인간 전문가를 함께 투입해 시그널(Signal) 암호화 프로토콜의 실제 코드가 핵심 보안 속성을 지킨다는 수학적 증명을 만들었다. 설계 문서가 아니라 컴파일된 코드까지 검증했다는 점에서 기존의 프로토콜 분석보다 한 걸음 더 나아간 시도다. 구글은 이 범위의 검증에 AI를 활용한 것도, 널리 쓰이는 프로토콜의 구현을 이 깊이까지 형식 검증한 것도 처음이라고 밝혔다. 성과의 크기만큼이나 무엇을 증명했고 무엇은 증명하지 않았는지 살펴볼 필요가 있다.

핵심요약

  • 구글 딥마인드는 알파프루프 코드(AlphaProof Code)를 이용해 시그널 핵심 암호화 코드의 보안 속성을 검증했으며, 설계와 구현 사이의 간극을 줄였다고 밝혔다.
  • 인간 전문가가 보안 목표를 형식 명세(검증할 조건을 수학적으로 적은 문서)로 정리하고 AI 에이전트가 증명을 작성해, 검증 과정에서 사람과 AI의 역할을 나눴다.
  • 에이전트는 린(Lean) 증명 코드 600만 줄 이상을 만들고 인간의 재검토가 필요한 부분을 코드베이스의 1%로 추려, 전문가의 검토 범위를 좁혔다.
  • 연구진은 수정됐던 실제 버그 두 개를 격리된 코드에 다시 넣었을 때 시스템이 두 버전의 불안전성을 증명했다고 밝혔으며, 이는 검증이 결함에 반응하는지 확인하는 시험이었다.
  • 공개될 검증 산출물은 다른 연구자의 검토에 쓰일 수 있지만, 이번 결과가 시그널의 모든 버그가 사라졌다는 뜻은 아니다.

수십억 대화를 지키는 코드에 증명 붙이기

시그널 프로토콜은 시그널과 구글 메시지(Google Messages) 같은 앱에서 수십억 건의 사적인 대화를 보호하는 기술이다. 구글 딥마인드는 이 프로토콜을 구현한 코드의 핵심 보안 속성을 수학적으로 증명했다고 발표했다. 대상은 암호화 방식에 관한 추상적인 설명에 그치지 않는다. 실제로 사용되는 구현이 연구진이 정한 보호 조건을 충족하는지 확인하는 작업이다.

이 작업에는 알파프루프 코드라는 다중 LLM 에이전트 기반의 형식 검증(프로그램이 정해진 조건을 만족함을 수학적으로 증명하는 방법) 체계가 쓰였다. 형식 검증은 강한 보안 확신을 얻는 방법이지만, 검증할 조건을 엄밀하게 쓰고 증명을 완성하는 데 많은 전문 인력이 필요하다. 구글 딥마인드는 인간 전문가의 판단과 AI 에이전트의 작업을 결합해 이 부담을 줄였다고 설명한다. 발표의 핵심은 AI가 코드를 읽고 안전하다고 평가했다는 것이 아니라, 검증기가 확인할 수 있는 증명을 만들었다는 데 있다.

사람이 정한 보안 목표, 에이전트가 쓴 증명

첫 단계에서 연구진은 여러 모델의 도움을 받아 시그널의 보안 목표를 형식 명세로 옮겼다. 인간 전문가는 그렇게 만들어진 명세를 하나씩 검토했다. 무엇을 증명할지 정하는 일은 증명 자체만큼 중요하다. 명세가 요구하지 않은 성질은 아무리 정확한 증명이 나와도 그 결과에 포함되지 않기 때문이다.

그다음 제미나이 카본(Gemini Carbon) 기반 에이전트들이 구현이 명세를 만족한다는 증명을 작성했다. 연구팀에 비유하면 인간이 연구 질문과 판정 기준을 정하고, 여러 에이전트가 증명 작업을 나눠 맡은 셈이다. 다만 AI가 내놓은 답을 사람이 그대로 믿는 구조는 아니다. 작성된 증명은 린이라는 증명 도구가 기계적으로 확인하며, 사람은 명세와 주의가 필요한 부분에 판단력을 집중한다.

린 증명 코드 600만 줄, 재검토 대상 1%

에이전트들이 생성한 린 증명 코드는 600만 줄이 넘는다. 이 숫자는 검증 대상인 시그널 코드의 길이가 아니라, 증명 과정에서 만들어진 코드의 규모를 가리킨다. 린은 증명 단계가 형식 규칙에 맞는지 검사한다. 따라서 핵심은 에이전트가 긴 설명을 그럴듯하게 썼는지가 아니라, 작성한 증명이 검증기의 확인을 통과하는지다.

에이전트들은 증명을 감사하고 사람이 다시 살펴봐야 할 지점을 코드베이스의 1%로 추렸다. 구글 딥마인드는 나머지를 린이 자동으로 확인하기 때문에 전문가가 꼭 필요한 검토에 시간을 쓸 수 있었다고 설명한다. 이는 사람이 검증에서 빠졌다는 뜻과는 다르다. 명세를 검토하는 일과 자동화된 과정에서 재검토할 부분을 판단하는 일은 여전히 인간 전문가의 몫으로 남았다.

설계 분석을 넘어 컴파일된 코드까지

암호화 프로토콜은 온라인 뱅킹과 웹 검색을 비롯한 디지털 통신의 토대다. 한 곳의 결함이 많은 이용자에게 영향을 줄 수 있어 전문가들은 오랫동안 프로토콜을 형식적으로 분석해 왔다. 하지만 기존 분석의 상당수는 프로토콜이 어떻게 작동해야 하는지를 서술한 설계 수준에서 멈췄다. 설계가 옳더라도 이를 코드로 옮기는 과정에서 문제가 생길 수 있다는 것이 이번 연구의 출발점이다.

구글 딥마인드는 이번 검증이 컴파일된 코드의 핵심 보안 속성까지 내려갔다고 강조한다. 기기가 일시적으로 침해되기 전과 후에도 메시지를 보호하는 성질이 그 예다. 설계와 구현 사이의 틈을 좁히려면 실제 코드의 동작을 증명의 대상으로 삼아야 하므로 작업이 훨씬 복잡해진다. 시그널의 최고기술책임자 에런 크렛(Ehren Kret)도 기존에는 더 작은 범위의 형식 검증에 집중할 수밖에 없었다며, 실제 코드를 유효한 린 정리로 옮기는 자동화가 검증 범위를 넓힌다고 평가했다.

수년 걸리던 작업을 4주에 마쳤다는 주장

구글 딥마인드가 밝힌 검증 소요 기간은 4주다. 회사는 과거에는 전문가 팀이 수년을 들여야 했던 종류의 작업이라고 비교했다. 속도의 차이가 중요한 까닭은 증명해야 할 범위가 설계에만 머물지 않고 구현까지 이어졌기 때문이다. 연구진은 이 기간에 시그널의 핵심 암호화 코드가 전문가들이 명세한 보호 조건을 지킨다는 증명을 완성했다고 밝혔다.

여기서 ‘보호 조건을 지킨다’는 표현에는 범위가 있다. 이번 결과는 연구진이 정하고 검토한 보안 속성에 관한 것이지, 소프트웨어의 모든 동작이 기대에 맞거나 앞으로 버그가 생기지 않는다는 선언은 아니다. 형식 검증의 강점은 정해진 조건에 대해 엄밀하게 답한다는 데 있다. 그만큼 어떤 조건을 선택했고 실제 시스템의 어느 부분까지 모델에 담았는지가 결과를 읽는 기준이 된다.

되살린 버그 두 개로 확인한 판별력

연구진은 알파프루프 코드가 올바른 코드와 결함이 있는 코드를 구분하는지도 시험했다. 이를 위해 과거에 발견돼 수정된 실제 버그 두 개를 시그널 코드의 격리된 버전에 다시 넣었다. 두 경우 모두 시스템은 버그가 들어간 버전이 안전하지 않다는 사실에 대한 기계 검증 가능한 증명을 만들었다. 단순히 정상 버전에만 통과 판정을 내리는 도구가 아닌지 확인하려는 절차였다.

이 시험은 이번 발표에서 중요한 대목이다. 증명 도구가 문제를 놓치거나, 결함이 있는 구현에도 너무 약한 명세 때문에 같은 결론을 낼 수 있다면 검증의 효용은 떨어진다. 알려진 결함을 되살린 뒤 불안전성을 포착한 결과는 연구진이 택한 조건과 절차가 적어도 그 두 사례에는 반응했음을 보여준다. 동시에 이 결과를 아직 발견되지 않은 모든 종류의 결함을 찾아낼 수 있다는 주장으로 넓혀 읽어서는 안 된다.

공개되는 검증 산출물과 다음 대상

구글 딥마인드는 이번 형식 검증 산출물을 공개하겠다고 밝혔다. 그러면 외부 연구자들도 증명과 명세를 살펴보고 후속 작업에 활용할 수 있다. 회사는 같은 방식이 의료기기 펌웨어나 전력망 소프트웨어 같은 다른 중요 시스템을 보호하는 기반이 되기를 기대한다. 다만 기법을 더 넓은 대상에 적용하려면 연구가 계속 필요하다고 덧붙였다.

회사는 코드 보안을 위한 자동 방어 에이전트 코드멘더(CodeMender)와 형식 검증을 함께 활용하는 방향도 제시했다. 빠르게 움직이는 사이버 위협에 대응하면서 소프트웨어의 보호 기능에 수학적 근거를 붙이겠다는 구상이다. 이번 사례가 보여준 것은 모든 코드를 곧바로 증명할 수 있다는 결론보다, 전문가가 세운 보안 목표를 AI가 대규모 증명 작업으로 연결할 수 있다는 가능성이다. 그 가능성이 다른 코드에서도 유지되는지는 검증 범위와 산출물을 통해 확인해야 한다.

커뮤니티 의견

한 사용자는 과거에 버그가 있었던 복잡한 코드에서 새 결함이 발견되지 않았다는 점을 의아해했다. 자신도 AI가 작성한 암호화 관련 증명을 통과시킨 뒤 별도 테스트에서 여러 버그를 찾은 경험이 있다고 했다. 답글에서는 이번 연구가 버그의 부재를 증명한 것이 아니라, 형식화한 보안 모델에 비춰 특정 보안 속성을 검증한 것이라는 설명이 나왔다.

다른 사용자는 AI에 적합한 활용 사례라고 평가하면서도 에이전트가 명세 자체에 이의를 제기하는 것은 아닌 듯하다고 짚었다. 이어진 질문은 린에서 모델링한 컴파일 코드의 동작이 실제 프로세서의 동작과 어떻게 일치하는지에 집중됐다. 증명 작성의 자동화만큼 명세와 실행 환경을 연결하는 근거가 중요하다는 관점이다.

형식 검증을 하지 않은 소프트웨어를 실행하는 일이 머지않아 낯설어질 것이라는 기대도 나왔다. 반론은 검증 가능한 범위가 아직 좁다는 데 초점을 맞췄다. 암호화의 안전성처럼 정의하기 어려운 조건이나 데이터베이스와 통신하는 GUI 프로그램의 기대 동작까지 증명하는 일은 더 발전한 LLM만으로 해결하기 어렵다는 주장이다.

직접 AI로 린 코드를 작성해 본 사용자는 AI가 증명 코드를 쓰는 방식에 허점이 있을 수 있어 별도의 비판적 검토가 필요하다고 했다. 이 사용자는 이번 연구가 되살린 버그를 찾아낸 점을 인정하면서도, 다른 개발 현장에서는 명세를 린으로 옮기는 과정에서 드러나는 숨은 가정이 더 큰 성과일 수 있다고 봤다. 명세에서 증명을 거쳐 코드로 가는 흐름이 일상적인 개발에도 쓰일 가능성도 제시했다.

한 사용자는 코딩 에이전트가 대규모 리팩터링을 끝내고 모든 테스트를 통과시켰지만, 결과는 목표와 반대로 구현돼 있었다는 경험을 전했다. 이 사례에서 우려한 것은 증명의 정확성보다 증명할 명제가 잘못 선택되는 상황이다. 답글 역시 올바른 증명이라도 개발자가 원하지 않았던 정리를 증명했다면 코드의 문제를 해결해 주지 못한다고 지적했다.

AI가 생성하는 코드 때문에 버그가 늘 것이라 걱정했지만 이런 도구에서 희망을 봤다는 반응도 있었다. 반면 거대한 증명을 코드 변경 때마다 다시 확인하는 비용을 우려하는 답글이 달렸다. 또 다른 답글은 자신의 회사에서 에이전트 코딩 이후 늘어난 개발 여력을 테스트와 자동 검토에 투입해 장애가 줄었다는 경험을 공유했다.

일반 소프트웨어에도 처음부터 린 증명을 붙일 가치가 있는지 묻는 사용자는 데이터베이스의 보장과 일반 API 서비스를 대비했다. 답글에서는 금전이 오가는 API처럼 정확한 동작이 중요한 곳이라면 문서에 적힌 보장을 증명하고 싶다는 의견이 나왔다. AI 에이전트가 실행 중 선택을 내리는 시스템도 가능한 모든 선택에 대해 지켜야 할 조건을 모델링할 수 있다는 설명이 이어졌다.

또 다른 사용자는 이번 연구의 명세에 Arm 동작 의미론을 포함해 2만6000줄이 들어간다는 점을 주목했다. 증명의 바탕이 되는 모델과 명세 자체가 크므로, 이를 신뢰하고 유지·재사용하는 일이 다음 과제라는 시각이다. 코드가 계속 바뀌는 상황에서 증명을 어떻게 갱신할지, 공통 모델을 라이브러리처럼 축적할 수 있을지도 관심사로 꼽았다.

핵심통찰

알파프루프 코드의 성과는 AI가 시그널을 ‘무결점’으로 판정했다는 데 있지 않다. 전문가가 보안 목표를 명세로 정하고, 에이전트가 대규모 증명을 작성하며, 린이 이를 확인하는 분업으로 실제 구현까지 검증 범위를 넓힌 데 있다. 앞으로 살필 것은 공개된 명세가 보호해야 할 속성을 충분히 담는지, 컴파일 코드에 대한 증명이 실제 실행 환경과 어떻게 이어지는지, 코드가 바뀔 때 증명을 얼마나 수월하게 유지할 수 있는지다. 이 질문에 대한 답이 쌓여야 이번 방식이 한 번의 성과를 넘어 반복 가능한 보안 작업이 된다.


원본: Formal Verification of Signal’s Protocol with Gemini

토론: Hacker News