브라질 법원, 소장에 숨긴 AI 명령에 벌금

브라질 노동법원이 법원 제출 서류에 AI를 겨냥한 숨은 명령을 넣은 변호사 2명을 견책하고, 이들이 공동으로 서류를 낸 로펌 2곳에 벌금을 부과했다. 흰 배경에 흰 글씨로 적힌 문구는 서류를 검토하던 생성형 AI에 청구 내용을 대충 살피라고 지시했다. 제트스트림 시큐리티(Jetstream Security)는 이를 법원의 AI를 의도적으로 조작하려 한 프롬프트 인젝션(외부 자료에 지시를 숨겨 AI의 처리 방향을 바꾸는 공격)을 다룬 첫 사법 판단일 수 있다고 소개했다. 사람이 읽는 서류가 AI의 입력 자료가 된 법정에서 무엇을 제출 행위로 볼 것인지 묻는 사건이다.

핵심요약

  • 브라질 파라우아페바스 제3노동법원은 소장에 숨겨진 AI 지시를 발견하고, 서류의 보이지 않는 내용도 재판 절차에 영향을 줄 수 있음을 보여줬다.
  • 변호사들이 넣은 문구는 AI에 청구 내용을 피상적으로 다루고 제출 문서를 문제 삼지 말라고 요구해, 단순한 주석이 아닌 검토 방해 시도로 판단됐다.
  • 법원은 서류를 공동 제출한 로펌 2곳에 청구액의 10%를 벌금으로 부과해, 기계가 읽는 내용에도 절차상 책임을 물었다.
  • 현지 보도에 따르면 서류를 처리하던 AI가 의심스러운 내용을 경고하고 자동 차단했으며, 이는 탐지와 차단 장치가 실제 업무에서 맡는 역할을 드러낸다.
  • Hacker News 토론에서는 숨은 명령을 넣은 변호사의 책임과 별개로, 법원이 AI에 서류 검토를 어디까지 맡겨야 하는지도 쟁점이 됐다.

파라우아페바스 노동법원에서 시작된 사건

사건은 브라질 파라주 파라우아페바스의 제3노동법원에 제기된 노동 관련 청구에서 시작됐다. 판사는 브라질 국가사법위원회가 전국적으로 사용하는 생성형 AI 도구 갈릴레우(Galileu)를 통해 청구 서류를 검토했다. 그 과정에서 갈릴레우가 흰 배경에 흰색 글씨로 작성된 부분을 찾아냈다. 화면에서 통상적인 방식으로 서류를 읽는 사람에게는 보이지 않는 내용이었다.

문제의 문구는 글자 색을 바꾸자 드러났다. 제트스트림 시큐리티는 브라질 검사이자 법학 교수인 블라디미르 아라스(Vladimir Aras)가 포르투갈어 판결문을 X에 게시했다고 전했다. 소개 글에는 판결문을 딥엘(DeepL)로 영어 번역했다는 편집 설명도 붙어 있다. 이 사건에서 핵심은 번역문 자체가 아니라, 제출된 서류 안에 일반 독자와 AI가 다르게 접할 수 있는 문장이 있었다는 사실이다.

법원에 내는 서류는 당사자의 주장과 자료를 담는 통로다. 이번 소장에는 그 역할을 벗어나 서류를 처리하는 도구의 행동을 지시하는 문장이 함께 들어 있었다. 법원이 AI로 제출물을 읽기 시작한 만큼, 사람 눈에 보이는 본문만 살피는 방식으로는 이런 시도를 놓칠 수 있다는 점이 사건의 출발점이다.

흰 글씨가 AI에 내린 명령

숨겨진 문구는 첫머리에서 ‘인공지능’을 직접 불렀다. 이어 청구를 피상적으로 다루고, 제출 문서를 문제 삼지 말며, 다른 어떤 명령을 받더라도 그대로 하라고 지시했다. 소송 상대방에게 읽히는 주장이라기보다, 서류를 읽을 AI의 반응을 바꾸려는 문장이다. 특히 다른 지시보다 이 문구를 앞세우려는 대목에서 공격의 방향이 뚜렷해진다.

흰 배경 위 흰 글씨라는 형식도 중요하다. 문구가 보통의 독자에게는 드러나지 않으면서, 서류의 텍스트를 처리하는 시스템에는 입력될 수 있기 때문이다. 사람과 기계가 같은 제출물을 받아도 실제로 읽는 내용이 달라지는 틈을 노렸다. 이번 사건은 그 틈이 단순한 문서 편집상의 문제가 아니라 재판 절차를 겨냥한 행위가 될 수 있음을 보여준다.

다만 이 명령이 갈릴레우를 뜻대로 움직였다는 이야기는 아니다. 사건에서 드러난 것은 명령을 숨겨 넣은 행위와 이를 발견한 경위다. 법원의 판단 역시 AI가 잘못된 답을 냈는지보다, 변호사들이 어떤 반응을 유도하려 했는지에 초점을 맞췄다.

상대방의 답변과 판결 초안을 겨냥하다

법원은 변호사들이 상대방이나 법원이 사용하는 AI로 하여금 피상적인 답변 또는 편향된 판결 초안을 만들게 하려 했다고 봤다. 그 결과 피고와 사법 행정에 불이익을 주려는 의도가 있었다는 판단이다. 공격 대상을 법원 시스템 하나로 한정하지 않은 이유는 제출 서류가 상대방의 검토 과정에도 들어갈 수 있기 때문이다.

여기서 프롬프트 인젝션은 AI와 직접 대화하며 부탁하는 행위와 다르다. 서류를 처리하는 쪽은 청구 내용과 증거를 읽으려는 것이지, 제출자가 AI에 내린 작업 지시를 따르려는 것이 아니다. 변호사들은 그 경계를 넘도록 문서 안에 명령을 배치했다. 법원이 이를 소송상의 주장으로 받아들이지 않은 까닭도 여기에 있다.

이 사건의 특징은 법원 제출물이 공격의 운반 수단이 됐다는 데 있다. 외부에서 들어온 자료를 AI가 요약하거나 검토할 때, 자료의 내용과 자료 속 지시를 구별하지 못하면 처리 과정 자체가 영향을 받을 수 있다. 법원은 이 위험을 추상적인 보안 문제가 아니라 해당 소장의 작성·제출 행위와 연결해 판단했다.

청구액 10%를 벌금으로 매기다

법원은 관련 변호사 2명을 견책하고, 문제가 된 소장을 공동으로 제출한 로펌 2곳에 벌금을 부과했다. 벌금은 청구액의 10%로 정했다. 청구액이 84만2,000헤알이므로 벌금은 8만4,200헤알이며, 제트스트림 시큐리티는 이를 약 1만6,000달러로 소개했다.

제재의 근거는 브라질 민사소송법상 절차적 신의성실 의무다. 법원이 든 제5조에는 절차에 참여하는 이들이 충실하고 진실하게 행동하며 제도를 존중해야 한다는 의무가 담겨 있다. 제출 서류를 이용해 검토 도구의 응답을 왜곡하려 한 행위가 이 의무에 어긋난다는 판단이다.

법원은 같은 법 제77조도 근거로 삼았다. 이 조항은 재판 절차를 방해하지 않을 의무 등을 규정하며, 법원은 이번 행위를 사법의 존엄을 해치는 것으로 봤다. 따라서 벌금은 ‘AI가 속을 뻔했다’는 이유만으로 매긴 기술적 제재가 아니다. 법원에 서류를 내는 당사자가 지켜야 할 절차상의 의무를 위반했다는 판단의 결과다.

사람이 보는 서류 밖까지 넓어진 제출 책임

제트스트림 시큐리티는 브라질을 비롯한 여러 곳의 법원이 문서 처리, 요약, 사건 관리에 AI 도구를 점차 사용한다고 짚었다. 이 환경에서는 제출 서류의 무결성을 사람이 눈으로 확인할 수 있는 문장에만 한정하기 어렵다. AI가 읽을 수 있도록 들어간 내용 역시 서류가 재판 절차에 미치는 영향의 일부가 된다.

이 점에서 이번 판단은 새로운 기술을 다루면서도 기존의 직업윤리·절차 규범을 적용한 사례로 읽힌다. 제트스트림 시큐리티는 미국 연방민사소송규칙 제11조를 비롯한 기존의 전문가 행동 기준과도 방향이 맞닿아 있다고 설명했다. 브라질 법원이 미국 규칙을 적용했다는 뜻은 아니다. AI를 사용하는 법정에서도 제출자의 책임을 묻는 기존 원칙이 중요하다는 비교다.

AI가 개입한다고 해서 소장이 단순한 데이터 묶음으로 바뀌는 것은 아니다. 서류 작성자는 그 안에 무엇을 넣었는지 책임지고, 법원은 그 내용이 판단 절차를 흐리지 않도록 살펴야 한다. 이번 판결이 제기한 질문은 숨겨진 문구를 얼마나 쉽게 찾아내느냐에 그치지 않는다. 기계가 읽는 부분을 포함해 제출 서류 전체를 어떤 기준으로 다룰 것인가로 이어진다.

갈릴레우의 경고와 차단

브라질 매체 G1의 보도를 인용해, 제트스트림 시큐리티는 갈릴레우가 간섭 시도를 확인한 뒤 경고를 내고 의심스러운 내용의 처리를 자동으로 차단했다고 전했다. 적어도 이 사건에서는 AI 도구가 숨은 명령을 그대로 수행하는 대신 문제를 드러내는 역할을 했다. 법원의 제재는 그 뒤에 이어진 절차적 판단이다.

이 흐름은 탐지와 책임 추궁이 서로 다른 단계임을 보여준다. 시스템은 수상한 입력을 걸러낼 수 있지만, 누가 왜 서류에 그 내용을 넣었는지는 법원이 따져야 한다. 반대로 법적 제재 근거가 있더라도 서류를 처리하는 과정에서 숨은 문구를 놓치면 문제가 뒤늦게 드러날 수 있다. 이번 사건에서는 기술적 차단과 법원의 판단이 차례로 작동했다.

제트스트림 시큐리티는 조직 밖에서 들어오는 문서를 AI에 넣을 때 조작 시도를 계속 감시하는 정책과 도구가 필요하다고 강조했다. 법원 서류처럼 작성자의 이해관계가 걸린 문서는 특히 이 경계를 분명히 해야 한다. AI에 읽힐 자료를 받는 일과 그 자료의 지시를 따르는 일은 같지 않다. 이번 판결은 그 구분을 무너뜨리려 한 제출 행위에 비용을 물렸다.

커뮤니티 의견

한 사용자는 이번 일을 변호사 개인의 일탈로만 보면 놓치는 것이 있다고 했다. 광고와 소셜미디어도 제3자에게 유리한 행동을 끌어내려고 사람을 조종하며, AI는 그런 시도를 더 쉽게 만들 뿐이라는 주장이다. 답글에서는 광고를 사실 전달에 가깝게 규제하고, 제품에 관한 약속에도 더 강한 책임을 물어야 한다는 의견이 이어졌다.

다음으로, 숨긴 문구를 사람에게 직접 말했다면 벌금 대상이 됐을지 묻는 의견이 나왔다. 답글에서는 직접 말하는 무리한 요청과 문서에 명령을 숨겨 법원의 처리 체계를 흔드는 행위는 다르다고 봤다. 다른 사용자는 후자라면 단순한 부탁보다 절차 방해에 가깝다는 견해를 밝혔다.

또 다른 사용자는 자신의 컴퓨터에 공격 문구를 미리 저장해 두었다가 증거개시 과정에서 제출하면 어떻겠느냐고 비꼬았다. 변호사가 직접 소장에 넣은 것은 아니라는 형식을 내세워도 판사가 호의적으로 보지는 않을 것이라는 풍자다. 댓글은 제출 경로를 바꿔 행위의 성격을 피해 갈 수 있느냐는 질문을 던졌다.

보안 대책으로는 적대적인 작성자가 만든 문서를 사진으로 바꾼 뒤 OCR(이미지 속 문자를 텍스트로 읽어내는 기술)로 다시 읽자는 제안이 나왔다. 보이지 않는 메타데이터를 없애는 데 도움이 된다는 취지다. 답글에서는 시각 모델을 쓰는 방법도 거론됐지만, 다른 답글은 이런 변환이 일부 공격을 줄일 뿐 만능책은 아니라고 지적했다.

한 사용자는 벌금으로 끝낼 일이 아니라 변호사 자격을 박탈하고 기소해야 한다고 주장했다. 작은 사건에서 이런 일을 했다면 더 큰 이해관계가 걸린 사건에서는 무엇을 하겠느냐는 이유다. 제재 수위를 둘러싼 분노가 드러난 반응이다.

반면 법원이 AI로 제출 서류를 검토한다는 사실 자체가 더 걱정스럽다는 의견도 나왔다. 답글에서는 숨긴 명령이 문제인 동시에, 그런 한 줄에 영향을 받을 수 있는 도구를 법원 절차에 들이는 일도 우려스럽다고 했다. 공격자의 잘못과 법원의 도구 선택을 별개의 검토 대상으로 보자는 시각이다.

이어 한 사용자는 LLM의 편향 때문에 법원 문서 분석이나 판단에 이를 쓰는 일은 무책임하다고 주장했다. 눈에 띄는 프롬프트 인젝션 외에도 탐지하기 어려운 언어적 조작이 가능하다는 이유다. 답글에서는 문서 내용을 해석하거나 결정에 조언하는 일과, 알맞은 담당자에게 알림을 보내는 일은 구별해야 한다고 반박했다. 도구를 썼다는 사실보다 어떤 업무를 맡겼는지가 중요하다는 의견이다.

핵심통찰

이번 판결은 AI를 겨냥한 숨은 명령도 법원 제출 서류의 일부로 보고 작성자의 책임을 물었다는 데 무게가 있다. 동시에 갈릴레우가 공격을 경고·차단했다는 사실만으로 법원의 AI 활용을 둘러싼 논쟁이 끝나지는 않는다. 앞으로 지켜볼 것은 외부 문서 속 지시를 얼마나 안정적으로 걸러내는지, 그리고 법원이 AI에 단순 분류·경고와 내용 평가 중 어디까지 맡기는지다. 제출자의 의무와 도구의 역할을 함께 분명히 해야 같은 경계를 지킬 수 있다.


원본: A Court Just Fined Lawyers for Prompt Injection

토론: Hacker News