AI를 늦추려면 가중치를 공개하라는 역설

제이크 골드(Jake Gold)는 AI 개발 속도를 늦추려면 공개 서비스로 내놓는 모델의 가중치를 의무적으로 공개해야 한다고 주장했다. 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei)가 업계의 속도 조절과 제3자 평가를 제안한 날, 그는 규제보다 기업의 독점 수익을 줄이는 법이 더 효과적이라는 공개서한을 보냈다. 제안은 간명하지만 논쟁적이다. 투자금이 줄면 개발도 느려진다는 계산에 맞서, 공개된 최첨단 모델이 오히려 연구와 악용을 가속할 수 있다는 반론이 붙었다.

핵심 요약

  • 골드는 공개 서비스로 제공하는 AI 모델의 가중치 공개를 법으로 의무화하면 독점 수익에 대한 기대가 줄어 후속 훈련에 들어갈 자금도 감소한다고 주장한다.
  • 제안은 내부·연구용 모델을 제외하지만, 기업이 일반 이용자나 고객에게 제공하는 모델에는 같은 공개 의무를 적용한다.
  • 골드는 제3자 평가와 연산량 기준 같은 규제가 대형 연구소의 비용 감당 능력을 경쟁 우위로 바꿀 수 있다고 본다.
  • 토론에서는 기업이 공개 서비스를 줄이거나, 공개된 가중치를 활용한 후발 연구소가 오히려 개발을 앞당길 수 있다는 반론이 나왔다.
  • 쟁점은 개발 속도를 늦추는 효과와 강력한 모델의 가중치를 누구나 사용할 때 생기는 위험을 함께 평가할 수 있느냐다.

속도 조절 선언에 공개서한으로 답하다

아모데이는 ‘프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)’는 글에서 앤트로픽에 외부 제3자 평가자를 참여시키겠다고 약속하고, 다른 최첨단 AI 기업에도 같은 기준을 요구할 수 있도록 정부가 나서야 한다고 주장했다. 프런티어(최첨단 모델 개발의 선두 영역)의 발전 속도를 낮추겠다는 취지다. 골드의 공개서한은 바로 이 목표를 받아들이는 데서 출발한다. 아모데이의 우려가 진심이라고 보기에, 앤트로픽에도 더 큰 희생을 요구하는 방안을 제시한다는 것이다.

골드가 요구한 법은 기업이 대중에게 제공하는 AI 모델의 가중치를 공개하도록 하는 것이다. 가중치(학습을 거쳐 모델에 저장된 수치 매개변수)를 배포하면 다른 주체도 그 모델을 직접 실행하거나 수정할 수 있다. 글에 든 예시대로라면 앤트로픽이 페이블(Fable)을 출시하는 날 가중치를 공개해야 하고, 오픈AI(OpenAI)도 아스트라(Astra)에 같은 조치를 해야 한다. 어느 한 회사의 자발적 선언이 아니라 공개 서비스를 내놓는 모든 기업에 적용되는 규칙이라는 점이 제안의 핵심이다.

공개 모델만 겨냥한 법

이 구상은 기업이 훈련하는 모든 모델을 공개하라는 요구가 아니다. 골드는 내부 사용이나 연구 목적으로 남겨 둔 모델은 적용 대상에서 빼고, 아직 출시하지 않은 모델에 대한 정부의 접근 가능성도 유지할 수 있다고 적었다. 공개 여부를 가르는 선은 모델을 훈련했는지가 아니라 외부에 제공했는지다. 따라서 안전성을 살피기 위해 당분간 내부에 묶어 두는 선택 자체를 금지하는 법은 아니다.

이 경계는 제안의 장점이자 약점이다. 기업이 공개 서비스를 계속 제공하려면 가중치를 내놓아야 하지만, 아예 외부 제공을 포기한 모델에는 의무가 생기지 않는다. 골드는 댓글에서 미국 의회가 법을 통과시키면 미국에서 모델 접근권을 판매하는 기업이 같은 날 규칙을 적용받을 수 있다고 설명했다. 반면 토론 참가자들은 누가 어떤 방식으로 모델에 접근했는지, 특히 기업 고객에게 제공하는 서비스를 어떻게 판별할지가 집행의 관건이라고 봤다.

독점 수익 기대를 흔드는 계산

골드가 가중치 공개를 속도 조절책으로 보는 이유는 투자 구조에 있다. 그의 주장에 따르면 최첨단 모델 개발에 필요한 자금은 가중치를 독점적으로 보유한다는 전제 아래 형성된 기업 가치에 기대고 있다. 공개 모델의 가중치를 경쟁자도 사용할 수 있게 되면 독점적 판매로 얻을 수 있는 수익에 대한 기대가 낮아진다. 투자금이 줄면 다음 모델을 훈련할 자금도 줄어들어 여러 연구소의 개발 속도가 함께 떨어진다는 논리다.

이 방식은 감독 당국이 어느 모델의 출시를 허락할지, 어느 수준의 성능을 금지할지 매번 판단하지 않아도 된다는 점을 내세운다. 공개 서비스를 시작하면 가중치를 배포한다는 조건 하나로 기업의 자금 조달 환경을 바꾸겠다는 것이다. 골드는 특정 연구소만 느리게 만드는 대신 선두 기업 전체에 같은 경제적 제약을 걸 수 있다고 본다. 다만 이 계산이 작동하려면 가중치 공개가 투자 기대를 실제로 낮추고, 공개된 모델을 발판 삼은 후발 주자의 개발 가속보다 그 효과가 커야 한다.

평가자와 연산량 기준의 역설

골드는 아모데이가 제안한 규제 방식이 결국 규제 포획(규칙을 적용받는 기업이 그 규칙의 설계와 운용에 영향력을 키우는 현상)으로 이어진다고 비판한다. 그가 든 사례는 기업 내부에 참여하는 제3자 평가자, 연산 자원 사용량에 따른 기준, 독점금지법상 예외를 동반한 업계 조율이다. 기술적 세부사항을 아는 곳이 현재의 선두 연구소들이어서, 규칙을 만드는 과정부터 이들의 의견에 의존하게 된다는 주장이다. 그 결과 속도를 줄이려던 제도가 오히려 기존 기업의 자리를 지킬 수 있다고 본다.

골드는 일단 법이 만들어지면 사고가 발생할 때마다 조항이 덧붙고 규정은 점점 복잡해질 것이라고 예상한다. 대형 기업은 법무·준법 인력을 꾸려 대응할 수 있지만, 추격하는 기업에는 같은 절차가 더 큰 부담이다. 그가 문제 삼는 것은 안전 평가 자체보다 규칙을 감당할 비용이 경쟁의 조건으로 바뀌는 상황이다. 가중치 공개 의무는 그에 비해 적용 조건이 단순하고, 제안에 나서는 앤트로픽도 예외를 얻기 어렵다는 것이 골드의 판단이다.

아모데이에게 요구한 희생

공개서한은 아모데이의 과거 선택을 들어 이번 요청을 설득한다. 골드는 그가 2020년 말 다른 연구원들과 오픈AI를 떠나 안전을 처음부터 중시하는 회사를 세운 일, 업계 규제를 요구하며 비판을 감수한 일을 언급한다. 아모데이가 앤트로픽의 시장을 줄일 수 있는 수출 통제를 추진한 일과 앤트로픽이 저자들과의 분쟁을 15억 달러에 합의한 점도 열거한다. 이는 가중치 공개가 회사에 불리하더라도 원칙에 따라 제안할 수 있는 인물이라는 골드의 평가를 뒷받침한다.

골드는 앤트로픽이 공익목적 법인(Public Benefit Corporation·PBC)이라는 점에도 주목한다. 회사가 내건 목적은 인류의 장기적 이익을 위한 첨단 AI의 책임 있는 개발과 유지이며, 그는 바로 이런 선택을 위해 해당 법인 구조가 존재한다고 본다. 단기 이익과 충돌하더라도 공개 서비스의 가중치를 내놓자는 법을 지지해 보라는 요구다. 아모데이가 속도 조절을 말하는 데서 그치지 않고, 앤트로픽의 수익 전망을 바꾸는 규칙까지 받아들일지 묻는 셈이다.

같은 목표, 엇갈리는 위험 판단

글의 마지막 문장은 최첨단 AI를 정말 늦추고 싶다면 공개 모델의 가중치를 의무적으로 배포하는 법을 요구하라는 촉구로 돌아온다. 그러나 ‘개발 속도’ 하나로 모든 위험을 판단할 수 있는지는 별개의 문제다. 가중치를 공개하면 연구자는 모델을 검토하고 활용할 수 있지만, 제공 기업도 배포 이후의 사용을 통제하기 어려워진다. 골드의 제안은 자금 조달을 통한 장기적 감속과 모델 배포 직후의 위험을 맞바꾸는 성격을 띤다.

또 공개 서비스에 조건을 거는 방식인 만큼 기업의 대응이 정책 효과를 좌우한다. 모델을 외부에 내놓지 않고 내부에서만 활용한다면 공개 가중치를 통한 경쟁과 검증도 함께 줄어든다. 반대로 기업들이 계속 출시한다면 동일한 모델을 바탕으로 다른 주체가 연구를 이어갈 수 있다. 어느 경로로 움직일지는 법 문구만으로 정해지지 않으며, 토론은 바로 이 갈림길에 집중됐다.

커뮤니티 의견

한 사용자는 가중치 공개가 투자금을 줄인다는 계산부터 성립하기 어렵다고 비판했다. 선두 연구소의 가치가 내려가더라도 새 연구소가 공개된 가중치에서 출발해 개발을 계속할 수 있다는 것이다. 이에 골드는 댓글에서 자발적 합의가 아니라 미국에서 모델 접근권을 팔려는 기업에 일괄 적용할 법을 제안한 것이라고 답했다.

다른 사용자는 기업이 의무를 피하려 공개 모델 제공을 중단할 수 있다고 봤다. 기업 고객과의 계약을 중심으로 사업을 운영하면 일반 이용자에게 접근권을 줄 유인이 작아진다는 주장이다. 반론자는 이 제안에서 기업 고객 역시 외부에 모델을 제공받는 대상이므로, 기업용 계약이 자동으로 예외가 되지는 않는다고 지적했다.

또 다른 의견은 공개 모델만 발전이 멈추고 내부 모델은 계속 고도화되는 상황을 우려했다. 공개 가중치와 외부에서 이용할 수 있는 최첨단 모델이 줄면 후발 주자의 연구 기반이 약해질 수 있다는 설명이다. 이에 대해서는 외부 판매 없이 내부 활용만으로 개발 자금을 마련하는 길도 지금보다 느리고 위험하다는 반박이 달렸다.

한 사용자는 아모데이와 샘 올트먼(Sam Altman) 등 미국 AI 기업 지도자들의 속도 조절 요구를 의심했다. 경쟁자가 따라오는 것을 막으려는 것인지, 성능 향상에 난관을 만난 것인지 알 수 없다는 주장이다. 이는 안전을 내세운 제도가 누구에게 유리하게 설계되는지 따져야 한다는 골드의 문제의식과 맞닿는다.

아모데이가 가중치 공개에 동의하기 어렵다는 의견도 나왔다. 이 사용자는 아모데이가 모델 안전을 최우선으로 보고, 가중치 공개가 안전성을 떨어뜨린다는 입장을 일관되게 밝혀 왔다고 봤다. 골드가 그에게 요구하는 선택은 사업상 양보일 뿐 아니라 안전을 확보하는 방식 자체를 바꾸라는 요청인 셈이다.

강력한 모델을 공개한 뒤의 악용 가능성을 강조하는 사용자도 있었다. 가중치를 내려받은 주체가 기업의 안전장치를 우회하거나 모델을 개조할 수 있어, 배포 전과 같은 통제는 어렵다는 주장이다. 이에 대한 답글에서는 취약점을 찾는 모델을 방어와 수정에도 쓸 수 있다고 맞섰다.

한 사용자는 제안의 투자 논리를 상세히 따라가면서도 집행상의 빈틈을 짚었다. 공개 의무가 투자 수익 기대를 낮출 수는 있지만, 서비스 접근 경로가 불투명하면 어떤 모델에 법을 적용해야 하는지 확인하기 어렵다는 것이다. 모델 자체보다 모델을 실행하는 인프라에 힘이 집중되거나 출시가 오래 미뤄질 가능성도 제기했다.

마지막으로 한 사용자는 이 글을 안전성 개선안보다 동기를 시험하는 질문으로 읽었다. 아모데이가 선언한 목표를 이루는 여러 방법 중에는 앤트로픽의 영향력과 통제력을 줄이는 길도 있다는 것이다. 그런 방법을 지지할 의사가 있는지 확인해야 속도 조절 요구의 진정성을 평가할 수 있다는 해석이다.

핵심 통찰

골드의 제안은 AI 안전 논의를 평가 절차에서 수익 구조로 옮긴다. 공개 모델의 독점 가치를 낮추면 투자와 훈련 속도도 줄어든다는 계산은 분명하지만, 같은 가중치가 후발 개발과 악용의 출발점이 될 수도 있다. 지켜볼 것은 아모데이의 찬반만이 아니다. 공개 의무가 기업의 출시 결정을 어떻게 바꾸는지, 외부 제공과 내부 사용의 경계를 집행할 수 있는지, 속도 조절의 이익이 배포 위험보다 큰지를 함께 따져야 한다.


원본: An open letter to Dario: if you mean it, open the weights!

토론: Hacker News