클로드에 쓴 일기가 경찰 신고로 이어졌다

플로리다의 한 여성이 클로드(Claude)를 일기처럼 쓰다 보안관실을 공격하겠다는 내용을 입력했고, 앤트로픽(Anthropic)이 이를 경찰에 신고한 뒤 중범죄 혐의로 기소됐다. 클로드의 안전 시스템이 글을 포착했고, 사람 검토자가 위협에 신빙성이 있다고 판단했다. 이 사건은 AI 챗봇과 나눈 대화가 어디까지 사적인 기록인지, 실제 위험을 막기 위한 신고가 어떤 법적 결과로 이어질 수 있는지 묻는다.

핵심요약

  • 플로리다 주민 칼리 미셸 헬러는 클로드에 보안관실을 공격하겠다는 내용을 적었고, 앤트로픽의 신고 이후 서면 폭력 위협 혐의로 기소됐다.
  • 클로드의 안전 시스템이 입력 내용을 표시한 뒤 사람 검토자가 신고를 결정했다는 점은 챗봇 대화가 회사의 검토 대상이 될 수 있음을 보여준다.
  • 적용된 플로리다 법은 다른 사람이 볼 수 있는 방식으로 전달된 위협 기록을 다뤄, 일기처럼 쓴 챗봇 입력이 그 요건에 해당하는지가 쟁점으로 떠올랐다.
  • 오픈AI가 총격 관련 대화를 경찰에 알리지 않았다는 비판과 소송도 소개돼, AI 기업이 신고와 비신고 양쪽에서 압박받는 상황이 드러난다.
  • 코파일럿 이미지 편집기의 사람 검토 사례까지 겹치면서, 사용자가 사적이라고 여기는 입력과 서비스 운영자가 볼 수 있는 정보 사이의 거리가 부각됐다.

클로드에 적힌 9월 26일의 글

미국 플로리다주 보니타스프링스에 사는 칼리 미셸 헬러(Carli Michelle Heller)는 9월 26일 클로드에 보안관실을 공격하겠다는 내용을 쓴 것으로 체포 보고서에 기록됐다. 그는 이후 자신이 앤트로픽의 챗봇을 일기처럼 사용한다고 말했다. 혼자 쓰는 기록이라고 여겼을 수 있는 문장이 서비스에 입력되면서, 본인이 아닌 다른 사람의 판단 대상이 된 사건이다.

보도에서 말하는 행위는 보안관실에 직접 위협을 보낸 것이 아니라 챗봇에 글을 입력한 것이다. 그러나 글의 내용은 특정 기관을 향한 공격 계획으로 읽혔고, 안전 시스템의 확인 대상이 됐다. 헬러가 챗봇을 어떤 용도로 썼다는 설명과 회사가 그 문장을 어떻게 받아들였는지가 여기서 갈린다.

이 차이는 AI 챗봇 특유의 사용 방식 때문에 더욱 두드러진다. 이용자는 답을 얻기 위해 개인적인 생각을 길게 풀어놓을 수 있지만, 그 글은 종이에 쓴 일기와 달리 서비스에 전달된다. 이번 사건은 ‘일기처럼 썼다’는 사용자의 인식이 회사의 안전 검토까지 막아 주지는 않는다는 사실을 보여준다.

안전 시스템에서 사람 검토자로

헬러의 입력 내용은 클로드의 안전 시스템에 걸렸고, 사람 검토자에게 올라갔다. 검토자는 내용을 신빙성 있는 위협으로 판단해 수사기관에 알렸다. 챗봇이 표시한 문장을 사람이 다시 살핀 뒤 신고했다는 것이 보도에 나온 절차다.

앤트로픽은 사망이나 심각한 신체적 상해를 막기 위해 정보 공개가 필요하다고 판단하는 제한적인 긴급 상황에서 사용자 정보를 공유할 수 있다고 설명한다. 이번 신고도 회사가 위험을 다루는 그 방식과 맞닿아 있다. 이용자 입장에서는 대화 상대가 화면 속 AI 하나라고 느끼더라도, 위협으로 분류된 내용은 회사 사람에게 전달될 수 있다.

사람 검토자가 개입했다는 사실은 자동 감지와 최종 판단을 구분하게 한다. 안전 시스템은 검토할 대화를 찾아냈고, 신고 여부는 내용을 본 사람이 결정했다. 다만 사람의 판단을 거쳤다는 것만으로 위협의 법적 요건까지 확정되는 것은 아니다. 회사가 경찰에 알릴 만하다고 본 기준과 법원이 혐의를 판단할 기준은 서로 다른 단계에 있다.

경찰 방문과 플로리다 법 조항

신고를 받은 보안관실 직원들은 헬러의 신원을 확인하고 집을 찾아갔다. 그는 현장에서 별다른 충돌 없이 구금됐으며, 이후 보안관실 정보 담당 수사관이 조사를 맡았다. 헬러에게 적용된 혐의는 플로리다 법에 따른 서면 폭력 위협이다.

플로리다주 법률 836.10조는 사람을 죽이거나 다치게 하겠다는 위협, 대량 총격 또는 테러 행위를 하겠다는 위협을 담은 서면·전자 기록을 보내거나 게시·전송하는 행위를 2급 중범죄로 규정한다. 여기에는 다른 사람이 그 기록을 볼 수 있는 방식이어야 한다는 조건이 붙는다. 사건의 법적 초점은 입력 문장이 위험하게 들리는지를 넘어, 챗봇에 쓴 글이 그 조건을 충족하는지로 이어진다.

헬러가 일기로 여겼다는 설명은 바로 이 지점에서 중요해진다. 글을 쓸 때 다른 사람에게 보여주려 했는지와 서비스 운영 과정에서 실제로 사람이 볼 수 있었는지는 같은 질문이 아니다. 이번에는 안전 시스템이 내용을 사람 검토자에게 전달했고, 그 검토자가 경찰에 신고했다. 기소 사실과 별개로, 이 경로를 법 조항의 ‘다른 사람이 볼 수 있는 방식’에 어떻게 적용할지가 남는다.

신고하지 않았던 오픈AI의 사례

테크스팟(TechSpot)은 앤트로픽의 결정을 설명하면서 신고하지 않았던 다른 AI 기업의 사례도 들었다. 보도에 따르면 캐나다 브리티시컬럼비아의 대량 총격을 막을 수 있었다는 주장을 둘러싸고 오픈AI(OpenAI)와 샘 올트먼(Sam Altman)을 상대로 소송이 제기됐다. 그 사건의 총격범인 18세 제시 밴 루트셀라르(Jesse Van Rootselaar)는 과거 총기 폭력 관련 대화로 오픈AI 안전팀의 주목을 받은 적이 있었다.

오픈AI는 당시 대화가 법 집행기관에 알릴 기준에 미치지 못한다고 보고 경찰에 신고하지 않았다. 이후 제기된 소송은 회사가 대화를 알고도 어느 시점에 외부에 알려야 하는지를 되묻는다. 헬러 사건에서는 반대로 앤트로픽이 사람 검토를 거쳐 신고했고, 그 결정이 이용자의 형사 사건으로 이어졌다.

보도는 플로리다주가 6월 오픈AI와 올트먼을 상대로 제기한 소송도 언급한다. 소송에서는 챗GPT(ChatGPT)가 2025년 플로리다주립대 총격을 포함한 현실의 피해에 기여했다는 주장이 나왔다. 서로 다른 사건이지만 AI 기업에 요구되는 판단은 닮아 있다. 위험 신호를 지나치지 말라는 압박과 이용자의 사적인 입력을 함부로 외부에 넘기지 말라는 요구가 동시에 놓여 있다.

일기라고 생각한 대화의 경계

이번 사건에서 헬러는 클로드를 일기처럼 썼다고 말했다. 테크스팟은 챗봇이 작성자만 볼 수 있는 사적인 일기장은 아니라고 강조한다. 서비스에 입력한 내용이 안전 시스템과 사람 검토를 거쳐 수사기관까지 전달될 수 있다는 점이 그 이유다.

그렇다고 모든 챗봇 대화가 같은 방식으로 신고된다는 뜻은 아니다. 보도에서 확인되는 경로는 특정 입력이 안전 시스템에 포착되고, 사람 검토자가 신빙성 있는 위협으로 판단한 뒤 신고하는 과정이다. 이용자가 기억해야 할 점은 그 과정이 시작되면 자신이 대화를 ‘혼자만의 기록’으로 여겼는지가 접근 가능성을 결정하지 않는다는 것이다.

여기에는 서비스의 안전 절차와 이용자의 사용 습관이 어긋나는 문제가 있다. 챗봇은 질문에 답하고 대화를 이어 가기 때문에 개인적인 글을 쓰는 공간처럼 느껴질 수 있다. 그러나 이번 사건에서 그 대화는 위험 여부를 가리는 자료이기도 했다. 같은 입력창에 일기와 위협으로 읽힐 수 있는 문장이 들어갈 때, 누가 어떤 기준으로 읽는지가 중요해진다.

코파일럿 이미지 편집기에서도 드러난 사람의 눈

테크스팟은 마이크로소프트(Microsoft) 코파일럿(Copilot) 이미지 편집기 사례도 함께 소개했다. 보도에 따르면 결과물의 정확성을 평가하는 사람 검토자는 사용자가 입력한 문장뿐 아니라 올린 사진과 AI가 만든 편집 결과도 볼 수 있다. 검토 업무에는 성적인 내용이나 충격적인 장면, 잠재적으로 불법일 수 있는 자료가 포함되기도 한다.

그 검토자들의 업무는 문제성 콘텐츠를 찾아 신고하는 것이 아니라 결과가 정확한지 평가하는 것이다. 따라서 클로드의 위협 신고와 목적은 다르다. 공통점은 이용자가 AI에 건넨 내용이 자동 처리만 거치는 것이 아니라 회사가 운영하는 사람 검토 절차에 들어갈 수 있다는 데 있다.

헬러 사건은 그 절차가 안전 판단과 경찰 신고로 이어졌을 때 벌어지는 일을 보여준다. 코파일럿 사례는 신고와 무관한 품질 평가에서도 사용자의 입력과 업로드 자료를 사람이 볼 수 있음을 보여준다. 챗봇을 일기처럼 쓰든 이미지 편집기를 개인 자료 작업에 쓰든, 이용자가 생각하는 사적 공간과 실제 서비스의 검토 범위가 일치하는지 확인해야 한다는 질문이 남는다.

커뮤니티 의견

한 사용자는 이번 일을 계기로 친구들과 장비를 마련해 오픈소스 모델을 직접 실행하자고 주장했다. 혼자 적은 내용까지 회사의 감시와 신고 대상이 될 수 있다면 표현의 자유가 위축된다는 이유다. 답글에서는 이런 방식이 현실적인 선택지가 아니라는 지적과 함께, 위협 관련 법에서 상대방이 실제로 글을 받았는지보다 볼 가능성이 중요할 수 있다는 반론이 나왔다.

다른 사용자는 앤트로픽의 처지도 이해된다고 했다. 오픈AI가 총격 관련 대화를 신고하지 않은 일을 두고 비판받은 만큼, AI 기업은 신고해도 비판받고 신고하지 않아도 비판받는 상황이라는 것이다. 다만 그는 챗봇을 비밀을 지켜 줄 친구처럼 대하지 말아야 한다며, 대화를 대규모로 자동 검토할 수 있는 기술이 사적인 표현을 위축시킬 수 있다고 우려했다.

신고하지 않았다가 실제 공격이 벌어졌다면 여론은 정반대 이유로 회사를 비판했을 것이라는 의견도 있었다. 이에 다른 사용자는 두 상황에서 분노하는 사람들이 꼭 같은 집단은 아니라며, 양쪽 반응을 하나의 모순으로 묶어서는 안 된다고 지적했다. 쟁점은 기업의 평판만이 아니라 사고 예방과 대화의 비밀을 각각 중시하는 요구가 충돌한다는 데 있다.

한 사용자는 위험을 경찰에 알린 판단 자체에는 동의하면서도, 일기처럼 쓴 내용을 근거로 보안관실이 기소한 데는 의문을 제기했다. 특히 신고 대상이 글에서 언급된 바로 그 보안관실이었다는 점을 문제 삼으며, 다른 수사기관에 알리는 편이 나았을 것이라고 했다. 답글에서는 챗봇을 사적인 기록 용도로 쓸 때 더 강한 보호 기준을 적용하는 별도 방식이 필요하다는 제안이 나왔다.

또 다른 의견은 상대방에게 전달하지 않은 글을 어떻게 위협으로 기소할 수 있느냐는 질문에 집중했다. 반대편에서는 사용자가 약관에 따라 서비스를 이용하며 내용을 회사에 전달한 것인 만큼, 이를 몰래 엿본 행위와 똑같이 볼 수는 없다고 했다. 법률에 등장하는 ‘다른 사람이 볼 수 있는 방식’에 사람 검토자가 개입한 챗봇 대화가 포함되는지가 핵심이라는 지적도 이어졌다.

소설 《마이너리티 리포트》를 떠올린 사용자도 있었다. 미래에 일어날 수 있는 일을 막기 위한 개입이 표현 자체를 처벌하는 방향으로 흐를 수 있다는 우려다. 다른 사용자는 자신도 답변을 시험하려고 실제 경험처럼 꾸민 이야기를 LLM에 입력한다며, 사람 검토자가 진심 어린 계획과 역할극을 글만 보고 구별하기 어렵다고 했다.

법 조항 자체를 따져 본 사용자들은 ‘위협’과 ‘계획을 적은 문장’이 같은지, 사적으로 썼다고 여긴 기록을 다른 사람이 볼 수 있었다고 판단할 수 있는지 물었다. 어떤 사용자는 법률 문구가 넓게 읽힌다고 봤고, 답글에서는 그렇게 해석하면 사람이 볼 가능성이 있는 거의 모든 디지털 기록이 문제 될 수 있다고 지적했다. 이들은 결국 회사의 신고 판단보다 법원이 해당 문구를 어디까지 적용할지가 중요하다고 봤다.

핵심통찰

이 사건은 AI 챗봇의 안전 장치가 답변을 제한하는 데 그치지 않고, 사용자의 입력을 사람과 경찰에게 전달하는 통로가 될 수 있음을 보여준다. 앤트로픽의 신고가 위험 예방을 위한 판단이었다 해도, 일기처럼 쓴 문장이 곧바로 형사 사건의 자료가 된 결과는 가볍지 않다. 앞으로 지켜볼 것은 법원이 ‘다른 사람이 볼 수 있는 방식’과 위협의 요건을 어떻게 판단하는지, 그리고 AI 기업이 사람 검토와 외부 신고의 기준을 이용자에게 얼마나 분명히 알리는지다.


원본: Florida woman used Claude as a diary, then Anthropic reported an entry to police

토론: Hacker News