AI가 쓴 글은 왜 읽기 어려울까
AI 생성 참고 이미지

AI가 쓴 영어는 같은 내용을 다른 말로 풀어 쓴 문장보다 사람이 읽기 까다로운 표현을 더 자주 쓴다. 토머스 히카루 클라크(Thomas Hikaru Clark) 등 연구진은 14개 언어모델의 대화·코딩·에세이를 분석하고, 문장을 짧게 쓰도록 보상한 별도 실험에서 표현 선택이 어떻게 달라지는지도 살폈다. 연구진은 수학·코딩 문제의 정답을 맞히는 훈련이 독자에게 설명하는 일과는 다른 방향으로 모델을 밀 수 있다고 본다. AI 답변이 매끄러워 보이는데도 읽다 보면 피로해지는 이유를 문장의 구조에서 찾은 연구다.

핵심요약

  • 연구진이 분석한 최상위·준최상위 모델 9개 모두 인간 글과 비교해 드문 단어 조합과 무생물을 사람처럼 행동시키는 표현을 더 자주 써, 답변의 자연스러움과 읽기 쉬움이 별개임을 보여줬다.
  • AI 문장을 영어에서 일본어로 번역한 뒤 다시 영어로 옮기자 여러 읽기 부담 지표가 줄어, 같은 내용을 표현하는 방식에도 차이가 있음을 보여줬다.
  • 대화와 코딩 답변에서 어려운 문장 구조가 에세이보다 두드러져, 여러 차례 이어지는 상호작용의 문체를 따로 살펴볼 필요가 생겼다.
  • 문장 길이에 벌점을 준 추가 학습에서는 모델이 같은 뜻의 짧은 표현을 강하게 선호해, 훈련 보상이 문법적 선택까지 바꿀 수 있음을 보여줬다.
  • 모델 계열과 버전에 따라 결과가 달라, 읽기 쉬운 답변을 만드는 방향으로 모델을 조정할 여지도 드러났다.

매끄럽지만 읽기 힘든 문장

논문은 문장이 ‘독자의 인내심 예산을 먹는다’는 식의 일부러 꼬아 쓴 영어 문장으로 시작한다. 문법에 어긋나지는 않지만, 무생물을 살아 있는 주어처럼 다루고 명사를 연달아 붙이며 명사를 동사로 바꾸는 표현이 한데 들어 있다. 연구진이 주목한 것은 AI 특유의 단어나 말투를 찾아내는 일이 아니다. 그런 표현을 읽는 사람이 문장의 뜻을 따라가는 데 부담을 느끼는 이유다.

사람은 문장을 읽을 때 앞서 나온 단어를 기억하며 뒤에 나오는 말과 연결한다. 서로 관계있는 단어가 멀리 떨어져 있거나 다음 단어를 예상하기 어려우면 그만큼 처리할 일이 늘어난다. 연구진은 인간의 글쓰기가 말하는 사람의 수고와 듣는 사람의 이해 사이에서 균형을 잡아 왔다고 설명한다. 반면 오늘날 언어모델은 사람이 쓴 글을 학습한 뒤에도 수학, 코드, 추론 문제의 정답을 맞히도록 추가 훈련을 받는다.

이 차이에서 논문의 두 질문이 나온다. 최근 모델은 사람이 읽기 힘들다고 알려진 문장 구조를 실제로 더 많이 쓰는가. 그렇다면 적은 토큰(모델이 글을 처리하는 단위)에 정보를 담으려는 훈련 압력이 그 선택에 영향을 줄 수 있는가. 연구진은 첫 질문에는 모델 답변을 분석해, 두 번째 질문에는 학습 조건을 직접 바꿔 답했다.

드문 표현부터 겹친 명사까지

연구진이 살핀 지표 중 하나는 드문 엔그램(n-gram·연속된 단어 묶음)이다. 익숙하지 않은 단어 조합은 다음 말을 예상하기 어렵게 만들고, 읽는 시간과 관련된 부담 지표가 된다. 통사적 의존 거리(문장 안에서 서로 연결되는 단어 사이의 거리)도 측정했다. 문장 전체 길이가 길어서 거리가 늘어나는 효과와 구별하기 위해 문장 길이를 보정했다.

목적격 관계절(앞의 명사를 뒤의 절에서 목적어로 받는 구조), 특히 영어의 ‘that’을 생략한 형태도 대상이었다. 같은 뜻을 더 길게 표현할 수 있는데도 짧은 구조를 택했는지 살펴보려는 것이다. 명사 세 개 이상을 줄줄이 붙인 표현은 뜻을 압축하는 대신 어느 단어끼리 묶어 읽어야 할지 헷갈리게 할 수 있다. 명사를 즉석에서 동사로 쓰는 표현 역시 단어의 품사를 다시 판단하게 만든다.

‘코드가 오류를 삼킨다’처럼 무생물에 보통 생물이 하는 행동을 맡기는 문장도 셌다. 이런 표현은 비유로 이해할 수 있지만, 문맥에 따라 독자는 주어와 동사의 관계를 다시 해석해야 한다. 논문의 지표들은 사람이 AI 문장을 읽고 실제로 얼마나 이해했는지를 시험한 점수와는 다르다. 연구진은 이미 심리언어학에서 처리 부담과 관련이 알려진 특징들이 AI 답변에 얼마나 나타나는지 비교했다.

대화·코딩·에세이 14개 모델 비교

연구진은 최상위·준최상위 모델 9개와 더 작은 공개 모델 5개, 총 14개를 조사했다. 클로드(Claude) 계열, GPT-5.6 계열, 키미(Kimi) K2.5, GLM 5에 올모(Olmo)와 라마(Llama)의 여러 학습 단계 모델을 더했다. 대화에는 취미나 이사 같은 주제 10개를, 코딩에는 공개 GitHub 저장소에서 버그를 찾고 고치는 과제 5개를 썼다. 별도로 7개 과제에 대한 설득형 에세이도 생성했다.

비교할 인간 글도 글의 종류에 맞춰 골랐다. 대화에는 자막 자료, 코딩에는 스택 익스체인지(Stack Exchange) 글, 에세이에는 학생이 쓴 글을 활용하고 위키피디아(Wikipedia)도 비교 대상으로 넣었다. 다만 코딩 과제는 도구를 쓰는 장시간 작업이어서 최상위·준최상위 9개 모델에만 실시했다. 연구진은 코딩 중간의 도구 호출 기록이 아니라, 사용자에게 돌아간 최종 답변의 문장을 분석했다.

뜻은 비슷한데 표현만 달라졌을 때도 차이가 남는지 확인하려고 역번역(다른 언어로 옮겼다가 원래 언어로 되돌리는 방식)을 했다. AI가 쓴 영어 문장을 일본어로 번역한 뒤 다시 영어로 옮기고 원래 문장과 짝지어 비교했다. 번역은 흔한 어휘와 문장 구조 쪽으로 표현을 바꾸는 경향이 있다. 따라서 역번역 뒤 특정 구조가 줄어든다면, 모델이 같은 내용을 전하면서도 그 구조를 선택했다는 단서를 얻을 수 있다.

역번역 뒤 줄어든 읽기 부담 지표

대화·코딩·에세이 전반에서 대부분의 최상위·준최상위 모델 답변은 역번역한 문장보다 드문 두 단어 조합이 많고, 연속된 단어의 예측도도 낮았다. 명사를 동사로 쓰거나 무생물을 살아 있는 주어처럼 다루는 표현, ‘that’을 뺀 목적격 관계절에서도 대체로 비슷한 방향의 차이가 나타났다. 반대로 ‘that’을 넣은 목적격 관계절은 상대적으로 덜 써서, 선택 가능한 단어를 생략하는 경향과 맞아떨어졌다. 인간 글과 비교했을 때도 최상위·준최상위 모델 9개 모두 무생물을 생물처럼 행동시키는 표현과 드문 단어 조합을 더 자주 썼다.

그 양상은 글의 종류마다 같지 않았다. 대화와 코딩 답변에서는 겹친 명사와 긴 의존 거리도 역번역을 거치며 대체로 줄었다. 에세이에서는 이 두 지표의 변화가 작거나 다른 방향을 보였고, 여러 지표에서 역번역 전후 차이 자체가 더 작았다. 연구진은 에세이가 한 번의 요청으로 끝나는 반면 대화와 코딩은 말을 주고받으며 맥락이 쌓인다는 점을 가능한 설명으로 제시했다.

모델 사이 차이도 뚜렷했다. 라마 모델과 올모의 기본·지시형 모델은 역번역 전후 변화가 작았지만, 추론형인 올모 씽크(Olmo Think)는 최상위 모델과 비슷한 양상을 보였다. 클로드 오퍼스(Claude Opus) 5.5는 이전 버전인 오퍼스 5보다 읽기 부담과 관련된 지표가 21개 비교 중 19개에서 낮았다. 같은 계열 안에서도 문장 스타일이 달라질 수 있다는 결과다.

짧게 쓰라는 보상이 문법을 바꿀 때

두 번째 실험은 이런 문체가 생길 수 있는 경로를 좁혀 살폈다. 연구진은 큐원(Qwen) 2.5의 15억 매개변수 지시형 모델에 구조화된 사건 정보를 영어 한 문장으로 바꾸는 과제를 줬다. 뜻이 같아도 영어의 ‘that’을 넣거나 빼는 등 길이가 다른 문장을 만들 수 있게 설계했다. 두 답 모두 과제상 정답일 때, 길이에 벌점을 주면 모델이 어느 쪽을 고르는지 본 것이다.

결과는 분명했다. 길이 벌점이 커질수록 짧은 표현을 고를 가능성이 높아졌고, 원래 모델의 표현 습관에서 멀어지는 것을 억제하는 조건에서도 같은 방향의 변화가 나타났다. 그 억제 조건이 없고 길이 벌점이 있을 때는 학습한 ‘that’ 선택 과제에서 짧은 형태의 비율이 98%를 넘었다. 모델은 특정 문장을 외우는 데 그치지 않고, 훈련에 쓰지 않은 비슷한 ‘that’ 구조에서도 생략하는 경향을 보였다.

다만 전혀 다른 문장 구조로의 확산은 제한적이었다. 시험한 네 종류 가운데 소유격 표현에서만, 그것도 원래 모델에서 멀어지는 것을 억제하지 않았을 때 길이 벌점에 따른 변화가 관찰됐다. 이 실험은 실제 최상위 모델의 훈련 과정을 재현한 것이 아니라, 길이에 대한 보상만으로 문법 선택이 움직일 수 있음을 보여주는 실험이다. 중요한 점은 두 표현 모두 정답인데도 모델은 상황에 맞춰 고르는 대신 짧은 쪽으로 쏠릴 수 있었다는 사실이다.

정답과 설명을 따로 보상하는 훈련

연구진은 검증 가능한 정답을 보상하는 훈련이 인간 독자에게 잘 설명하는 능력과 별도로 작동한다고 해석한다. 수학이나 코드 문제에서는 결과가 맞는지 검사할 수 있지만, 같은 답을 독자가 얼마나 수월하게 이해하는지는 그 검사에 들어가지 않을 수 있다. 반대로 인간 피드백을 이용한 훈련에서는 더 긴 답변이 보상받는다는 선행 연구도 언급하며, 모든 추가 학습을 단순한 ‘짧게 쓰기’로 묶지 않는다.

논문의 관심은 문법적으로 허용되는 영어와 사람이 편하게 읽는 영어 사이의 간격이다. 모델이 긴 맥락을 다루고 복잡한 문제를 푸는 데 쓰는 언어가, 독자에게 설명할 때도 좋은 언어일 필요는 없다는 것이다. 연구진은 의사소통 자체를 보상한다면 다른 방향의 개선도 가능하다고 본다. 동시에 이번 분석은 영어, 일부 모델, 제한된 대화 주제와 코드 저장소를 다뤘고, 실제 최상위 모델의 훈련 단계별 변화를 직접 추적한 것은 아니다.

커뮤니티 의견

한 기술 문서 작성자는 AI 답변이 좋은 글 자체보다 ‘좋아 보이는 글’에 맞춰진 듯하다고 했다. 제목과 목록, 눈길을 끄는 표현, 긴 설명은 평가자가 빠르게 알아볼 수 있지만 정작 독자에게 필요한 정보인지는 별개의 문제라는 주장이다. 답글에서는 문장마다 기계적으로 간결함을 요구하면 글의 속도나 강조점이 무너질 수 있다는 경험도 나왔다.

다른 사용자는 논문이 다루지 않은 표현으로, 영어에서 목적어가 필요한 동사를 AI가 목적어 없이 쓰는 버릇을 들었다. 버튼을 누른 뒤 ‘양식이 제출한다’고 쓰면 무엇을 제출하는지 독자가 추측해야 한다는 예다. 특히 정확성이 중요한 기술 문서에서 이런 추측을 독자에게 넘겨서는 안 된다고 지적했다.

또 다른 사용자는 길이 벌점이 문법 선택을 바꿨다는 실험을 이번 연구의 핵심으로 꼽았다. 모델을 다뤄 본 사람에게는 직관적인 결과일 수 있어도 수치로 확인한 데 가치가 있다는 평가다. 다만 클로드의 기본 말투에서 잘 보이는 특성이 프롬프트로 다른 문체를 요청했을 때도 그대로 나타나는지는 구별해야 한다고 했다.

훈련 데이터에 주목한 의견도 있었다. 한 사용자는 상업적 문구와 설득을 목적으로 쓴 글이 학습 자료에 포함돼 있어, 읽기 어려운 AI 문체의 원인을 보상 방식에서만 찾을 수 없다고 봤다. 그 관점에서는 사람의 판단을 움직이려는 글쓰기 습관도 모델 답변에 남을 수 있다.

글을 읽을 때 저자의 의도와 생각을 짐작한다는 관점도 나왔다. 한 사용자는 AI 문장이 언어 규칙을 따르더라도 다른 사람의 머릿속 모형을 따라가는 느낌을 주지 못해 어렵게 읽힌다고 주장했다. 반론은 사고를 언어만으로 설명하는 주장 자체가 논쟁적이며, 시각이나 촉각 같은 감각 경험도 인지에 중요하다고 짚었다.

비유를 문제 삼은 사용자는 AI에 인간 중심의 물리적 현실 모형이 부족해 어색한 은유가 나온다고 봤다. 답글에서는 명백히 틀린 문장이 강하게 불이익을 받는다면, 뜻이 흐릿해 틀렸는지 판단하기 어려운 문장에 상대적인 이점이 생길 수 있다는 추측도 제기됐다. 이는 논문의 문장 구조 분석과는 다른 원인 설명이다.

마지막으로 한 사용자는 AI 문체를 더 정확히 지적할 말을 찾으며 글쓰기 명료성을 높이는 프롬프트를 계속 고치고 있다고 했다. 이에 대한 답글은 초안을 먼저 완성한 뒤 고치는 편이 수정 지시를 계속 늘리는 것보다 효율적일 수 있다고 제안했다. 기본 답변의 말투와 최종 글의 읽기 쉬움을 분리해 다루자는 실용적인 의견이다.

핵심통찰

이번 연구가 바꾸는 질문은 ‘AI가 문법에 맞게 쓰는가’에서 ‘독자가 적은 노력으로 뜻을 따라갈 수 있게 쓰는가’로의 이동이다. 같은 내용도 문장 구조를 바꾸면 읽기 부담과 관련된 지표가 달라졌고, 정답을 유지한 채 길이만 보상해도 모델의 표현 선택이 기울었다. 앞으로는 과제 정답률과 별개로 사람이 실제로 이해한 정도를 살피고, 대화·코딩처럼 맥락이 길어지는 환경에서 문체가 어떻게 변하는지 확인해야 한다. 훈련 보상과 답변 문체를 조정할 여지가 있는 만큼, 더 똑똑한 모델이 설명도 더 잘하는지는 따로 물어야 한다.


원본: Why is AI-generated language so hard to understand?

토론: Hacker News