신경망 벡터 속 ‘기호 구조’를 찾아내다

신경망이 언어와 논리의 규칙을 다루는 데 쓰는 내부 벡터에는 기호처럼 조합되는 구조가 숨어 있다는 분석이 나왔다. 토머스 매코이(R. Thomas McCoy) 등 연구진은 신경망의 표현을 ‘무엇이 어느 자리에 있는가’라는 식으로 다시 구성해도 모델의 답이 대체로 유지된다고 보고했다. 글자 배열을 다루는 작은 모델부터 대규모 언어모델까지 살핀 결과다. 숫자 벡터로 작동하는 AI가 어떻게 문장 구조와 계산 순서를 구별하는지 보여준다는 점에서 주목할 만하다.

핵심 요약

  • 연구진은 신경망의 벡터 표현을 기호의 내용과 위치를 결합한 수식으로 근사해도 모델의 행동이 대체로 유지된다고 보고했다.
  • 글자 배열 과제의 여러 신경망과 대규모 언어모델 7개에서 비슷한 구조를 찾아, 한 모델만의 특성인지 살폈다.
  • GPT-OSS의 산술·논리·코드·언어 과제에서는 입력 표현을 구조화된 근사값으로 바꿔도 원래 모델에 가까운 성능이 나왔다.
  • 내부 표현에서 단어나 문장 속 역할을 바꾸자 답도 예상한 방향으로 달라져, 찾아낸 구조가 행동과 연결됨을 보였다.
  • 연구진은 신경망이 정확한 기호 체계라기보다 이를 근사한다고 해석하며, 그 구조가 학습 중 어떻게 생기는지는 후속 과제로 남겼다.

같은 단어, 다른 자리

‘고양이가 개를 쫓는다’와 ‘개가 고양이를 쫓는다’에는 같은 단어가 들어가지만 뜻은 다르다. 단어마다 대응하는 벡터를 정해 모두 더하기만 하면 두 문장을 구별할 수 없다. 산술에서도 4−7과 7−4가 다르고, 코드에서도 함수에 넣는 인자의 순서가 결과를 바꾼다. 연구진이 파고든 것은 신경망이 이런 ‘자리’ 정보를 내부 벡터에 어떻게 담는가 하는 문제다.

이 질문은 결합 문제(정보의 내용과 그것이 차지하는 위치를 어떻게 연결하는가)로 이어진다. 연구진은 텐서곱 표현(Tensor Product Representations·TPR, 내용과 역할을 짝지어 벡터로 나타내는 방식)을 분석 틀로 삼았다. 문장이라면 ‘고양이’라는 내용에 ‘주어’라는 역할을, ‘개’에는 ‘목적어’라는 역할을 붙이는 식이다. 각 짝을 수학적으로 결합하고 합치면, 겉보기에는 숫자 목록인 벡터에도 누가 무엇을 했는지 구별하는 구조를 담을 수 있다.

벡터를 수식으로 바꿔 끼우는 시험

이를 검사하는 도구는 디스커버(DISCOVER)다. 먼저 분석 대상 모델이 만든 벡터에 가까운 값을 내도록 TPR 기반 모델을 학습시킨다. 그다음 대상 모델의 표현 생성 과정을 디스커버의 수식으로 만든 벡터로 대신하고, 나머지 모델이 여전히 올바른 출력을 내는지 본다. 벡터에 어떤 정보가 들어 있는지 읽어내는 데서 그치지 않고, 대체 표현이 실제 작업에 쓰일 수 있는지 시험하는 셈이다.

연구진은 글자 목록을 거꾸로 출력하도록 학습한 순환 신경망으로 절차를 설명했다. 글자를 왼쪽부터 센 위치, 오른쪽부터 센 위치, 양쪽을 함께 센 위치 등 서로 다른 ‘역할’ 가설을 시험했더니 양쪽 위치를 쓰는 방식은 10차례 실험 모두에서 거의 완벽하게 원래 표현을 대신했다. 가장 낮은 근사 정확도도 99.98%였고, 글자의 위치를 무시하는 방식은 성능이 낮았다. 다만 디스커버는 사람이 먼저 어떤 역할을 찾을지 정하는 감독형 방법이며, 근사에 성공해도 신경망이 실제로 텐서곱을 계산한다는 뜻은 아니다.

복사·뒤집기·번갈아 뽑기

연구진은 글자 목록을 그대로 복사하거나 뒤집고, 양끝에서 번갈아 글자를 뽑는 세 과제로 시험을 넓혔다. 다층 퍼셉트론, 순환 신경망, 트랜스포머(Transformer), 첫 입력 위치의 벡터만 출력에 쓰도록 제한한 트랜스포머를 비교했다. 마지막 구조는 여러 글자 정보를 한 벡터에 담게 해, 트랜스포머가 정보를 합치는 방식을 살피기 위한 장치다. 각 과제는 어떤 글자가 나왔는지만이 아니라 어디에 있었는지도 알아야 풀 수 있다.

네 구조와 세 과제를 조합한 12개 조건에서 양쪽 방향의 위치를 쓰는 TPR 근사가 모두 강한 성능을 보였다. 평균 근사 정확도가 가장 낮은 조건도 0.973이었고, 나머지는 모두 0.99를 넘었다. 복사에는 왼쪽부터 센 위치가, 뒤집기에는 오른쪽부터 센 위치가 상대적으로 유용했다. 반면 입력 순서가 중요하지 않은 알파벳순 정렬 과제에서는 위치를 무시한 근사도 잘 작동해, 모델이 맡은 일이 어떤 구조를 필요로 하는지가 중요함을 보여줬다.

문장 끝의 마침표가 기억한 순서

대규모 언어모델에서는 어느 벡터를 분석할지부터 정해야 한다. 모델은 입력의 각 토큰(모델이 처리하는 글이나 단어의 단위)마다, 또 층마다 별도의 벡터를 만들기 때문이다. 연구진은 문장이나 목록의 끝에 오는 마침표의 벡터에 주목했다. 앞선 내용을 모두 본 뒤에 만들어지는 위치이므로, 그 문장의 정보를 모아 담았을 가능성이 있다는 판단이었다.

연구진은 공개 가중치를 가진 언어모델 7개에서 마침표 벡터만 받아 앞의 목록이나 문장을 복원하는 별도 모델을 학습시켰다. 주어·동사·목적어로 이뤄진 단순 문장은 조사한 모든 층에서 완벽하게 복원됐고, 목록과 복잡한 문장도 상당 부분 복원됐다. 이어 TPR 근사 벡터를 넣었을 때도 복원이 잘 됐다. 특히 복잡한 문장의 마침표 벡터는 문법적 역할보다 단어의 앞뒤 순서를 기준으로 근사한 결과가 더 좋았으며, 일부 조건에서는 근사 벡터가 원래 벡터보다 복원에 더 유리했다.

GPT-OSS의 입력 전체를 교체하다

마침표 실험에서 답을 낸 것은 원래 언어모델이 아니라 새로 학습한 복원 모델이다. 연구진은 이 간격을 좁히려고 GPT-OSS를 골라 산술, 삼단논법, 파이썬 코드 실행, 영어 문장 변환을 수행할 때의 입력 표현을 분석했다. 이번에는 마침표 하나가 아니라 입력의 여러 토큰과 층에 걸친 벡터를 디스커버의 근사값으로 교체한 뒤, GPT-OSS 자체가 어떤 답을 내는지 확인했다. 여섯 과제 가운데 원래 모델의 정확도가 가장 낮은 것은 삼단논법의 0.76이었고, 나머지 가운데 수동태 변환은 0.94, 그 밖의 과제는 0.96을 넘었다.

연구진은 단어 자체만 담는 가설과 이전 토큰의 정보까지 함께 담는 가설, 단순한 앞뒤 위치와 과제별 역할을 쓰는 가설을 비교했다. 여섯 과제 모두에서 각 토큰에 자신과 앞선 토큰의 정보를 과제별 역할에 맞춰 담는 방식이 가장 좋은 근사를 냈다. 원래 GPT-OSS의 정확도와 근사 표현을 넣었을 때의 평균 정확도 차이가 가장 큰 산술 과제에서도 그 차이는 2.36%포인트였다. 연구진은 이를 한 토큰의 벡터가 주변 맥락의 여러 요소와 역할을 함께 담는다는 근거로 해석했다.

단어와 역할을 바꿔 본 실험

근사 표현이 답을 유지시키는 것과, 그 안에서 찾아낸 구조가 답을 좌우하는 것은 다른 문제다. 연구진은 내부 표현에서 특정 ‘내용·역할’ 짝을 빼고 다른 짝을 더하는 방식으로 이를 시험했다. 문장에서 형용사가 목적어를 꾸미는 역할을 지우고 주어를 꾸미는 역할을 넣으면, 모델이 형용사의 위치가 바뀐 문장을 받은 것처럼 답하는지를 본 것이다. GPT-OSS의 여섯 과제에 걸친 31종의 개입은 평균 0.903의 정확도를 냈다.

단어를 다른 단어로 바꾸는 개입뿐 아니라 숫자의 자리, 코드의 목록 사이에 놓인 글자, 문장 속 수식어의 역할을 옮기는 개입도 작동했다. 역할을 바꿀 때 해당 단어의 벡터만 수정하면 성능이 크게 떨어졌지만, 뒤따르는 토큰들에 남은 관련 표현까지 고치면 성능이 높았다. 이는 이 실험에서 단어의 정체성보다 구조 정보가 여러 토큰에 더 넓게 퍼져 있음을 시사한다. 연구진은 단순히 단어의 선형 위치만 옮긴 것으로 결과를 설명할 수 있는지도 별도로 비교해, 문장 구조에 맞는 편집이 더 잘 작동한다고 보고했다.

처음 만난 조합과 남은 거리

‘과학자’와 ‘주어’를 각각 알아도 ‘과학자가 주어인 문장’은 본 적이 없다면 어떻게 표현할까. 연구진은 디스커버를 학습시킬 때 일부 내용·역할 조합을 빼고, 처음 보는 조합의 벡터도 근사할 수 있는지 시험했다. 대부분의 대상 모델에서 우연에 기대는 기준보다 잘 일반화됐지만, 글자 번갈아 뽑기의 한 트랜스포머 조건과 GPT-OSS의 산술 과제 등에는 예외가 있었다. 연구진은 이 결과를 내용과 역할이 이미 본 짝으로만 통째로 저장되는 것은 아니라는 근거로 제시했다.

논문은 이를 기호주의의 완승으로 해석하지 않는다. 근사와 내부 편집은 대체로 성공했지만 항상 완벽하지는 않았고, 실험 과제도 규칙을 명확히 쓸 수 있는 영역에 집중됐다. 연구진은 신경망이 정확한 기호 체계를 그대로 구현한다기보다 그 구조에 가까워진다고 본다. 앞으로는 이런 표현이 학습 과정에서 어떻게 생기고, 더 폭넓고 덜 규칙적인 언어 입력에서도 같은 분석이 가능한지 살펴야 한다.

커뮤니티 의견

한 사용자는 닫힌 형태의 수식으로 표현을 근사했다면 이를 계산하는 비용도 낮출 수 있는지 물었다. 가능하다면 모델을 더 작은 장치로 옮기거나 학습한 모델에서 새로운 기호적 해법을 찾는 데 가치가 있을 것이라고 기대했다. 다만 이는 논문이 시험한 표현 대체와 계산 효율 개선을 구별해야 하는 질문이다.

감독형 해석 방법이 연구자가 찾으려는 구조를 그럴듯하게 발견할 위험을 지적하는 의견도 나왔다. 이 사용자는 모델 행동을 원하는 방향으로 바꾸는 방법이 여럿일 수 있어, 개입에 성공한 것만으로 해석이 충분히 충실한지 따져야 한다고 주장했다. 답글에서는 논문을 충분히 읽지 않은 상태에서 다른 방법의 약점을 이 연구에 적용하는 것 아니냐는 반문과, 왜 인과적 개입이 부족한지 설명해 달라는 요청이 이어졌다.

다른 사용자는 여러 층에 퍼진 잡음처럼 보이던 정보에서 사람이 수학적으로 이해할 수 있는 문법 관계를 찾아냈다는 점이 흥미롭다고 했다. 연구의 수학과 실험을 모두 따라가지는 못했지만, 모델이 그럴듯한 답에 도달하는 내부 표현을 설명할 실마리로 받아들였다. 이 반응은 성능 수치보다 ‘벡터를 이해할 언어가 생겼다’는 데 무게를 둔다.

한 사용자는 이번 작업을 바이트코드에서 자바 프로그램을 복원하는 일과 비교하며 무엇이 더 새로운지 물었다. 답글에서는 AI의 작동을 인간의 깊은 ‘이해’와 곧바로 연결하는 데 반대하는 의견이 나왔다. 기호적 설명을 찾았다는 사실을 모델이 사람처럼 입력을 이해한다는 주장으로 확대하지 말자는 취지다.

또 다른 사용자는 신경망이 원래 기호적인 대상을 손실이 있는 벡터로 학습했다면 이런 결과가 어느 정도 자연스러운 것 아니냐고 반응했다. 신경망이 함수를 근사할 수 있다는 일반적 사실과 이번에 조사한 사례의 차이가 무엇인지 묻는 시각이다. 논문의 핵심은 근사 가능성 자체보다, 특정한 내용·역할 구조로 표현을 대체하고 부분 수정까지 시험했다는 데 있다.

방법의 적용 범위와 견고함을 더 확인해야 한다는 의견도 있었다. 이 사용자는 논문이 디스커버의 해석 범위를 제한하고 연구자가 역할 가설을 정해야 한다고 밝힌 점을 짚었다. 기존의 다른 해석 연구와 어느 하나를 택할 필요는 없지만, 여러 입력과 모델로 넓혀 검증하기 전에는 신중하게 봐야 한다고 주장했다.

‘다음 토큰 예측기’라는 설명이 언어모델의 내부 작동을 지나치게 축소한다는 반응도 나왔다. 이에 대한 답글은 이번 연구가 모델의 다음 토큰 예측이라는 작동 방식 자체를 뒤집는 것은 아니라고 반박했다. 모델이 무엇을 예측하도록 학습됐는지와 예측에 쓸 정보를 내부에서 어떻게 표현하는지는 다른 질문이라는 논점이 드러난다.

마지막으로 한 사용자는 뇌도 별도의 기호 처리 장치 없이 기호적 구조를 다룬다며 논문의 출발점에 의문을 제기했다. 답글에서는 인공 신경망과 생물학적 뇌를 같은 메커니즘으로 취급해서는 안 된다는 반론이 나왔다. 논문 역시 인공 모델의 결과를 뇌로 확장하려면 뇌 기록 자료를 이용한 별도 연구가 필요하다고 본다.

핵심 통찰

이번 연구가 바꾸는 것은 ‘벡터인가, 기호인가’라는 양자택일의 구도다. 연구진은 숫자 벡터를 내용과 역할의 조합으로 다시 쓰고, 그 일부를 고쳤을 때 답까지 바뀌는 모습을 보였다. 그렇다고 모델을 간단한 기호 프로그램으로 바꿀 수 있다는 뜻은 아니다. 앞으로 볼 것은 사람이 정한 역할 가설을 넘어서는 발견이 가능한지, 규칙이 흐릿한 실제 언어에서도 같은 구조가 작동하는지, 그리고 이 설명이 모델의 계산 과정까지 밝혀줄 수 있는지다.


원본: The Emergent Symbolic Structure of Artificial Neural Networks

토론: Hacker News