글 없이 목소리로만 배운 대화 AI, 데사

블록(Block)의 AI 연구팀이 글이 아닌 사람의 대화 소리만으로 학습한 음성 대화 모델 데사(Dessa)를 공개했다. 블록은 데사가 상대의 말을 들으면서 동시에 말하고, 웃음과 한숨, 말의 강약까지 대화에 반영한다고 설명한다. 공개된 녹음에서는 답변 내용만큼이나 언제 끼어들고 어떻게 반응하는지가 눈길을 끈다. 다만 사람 같은 목소리와 깊이 있는 대화는 별개의 문제다. 이번 발표는 음성 AI가 문자 변환에 의존하지 않고 어디까지 갈 수 있는지, 또 그 자연스러움을 어떻게 평가해야 하는지 묻는다.

핵심요약

  • 블록은 데사를 사전학습 모델이나 텍스트 없이 사람의 대화 음성만으로 처음부터 학습시켰으며, 이는 음성 자체를 AI의 입력이자 학습 대상으로 삼으려는 시도다.
  • 데사는 듣기와 말하기를 동시에 수행하는 풀듀플렉스(동시 양방향 대화) 모델로, 답의 내용뿐 아니라 웃거나 끼어드는 시점도 스스로 정한다고 블록은 밝혔다.
  • 블록은 데사가 맥북 프로 M4 맥스급 기기에서 로컬로 작동하고 엔비디아 GB200 NVL72 한 대로 학습됐다고 밝혀, 자연스러운 대화와 필요한 연산량에 관심을 모았다.
  • 공개 녹음은 감정 표현과 반응 속도를 보여주지만, Hacker News에서는 답변의 지적 깊이와 지나친 끼어들기에 대한 비판도 나왔다.
  • 블록은 목소리에 담긴 고통이나 감정을 놓치지 않는 것을 안전 목표로 내세웠고, 토론에서는 같은 자연스러움이 사칭에 쓰일 위험도 제기됐다.

글자로 바꾸는 순간 사라지는 것

블록이 데사에서 바꾸려 한 것은 목소리의 겉모습만이 아니다. 회사는 기존 음성 AI가 말을 먼저 글자로 바꾸는 과정에서 억양과 감정처럼 글에 담기 어려운 정보를 버린다고 본다. 같은 단어라도 어디에 힘을 주는지에 따라 뜻이 달라지고, 잠깐의 침묵이나 한숨도 상대에게는 신호가 된다. 블록은 이런 정보를 이해하지 못하는 AI와의 대화가 어색해질 뿐 아니라, 중요한 상황에서는 위험할 수 있다고 주장한다.

데사는 음성을 입력받아 음성으로 답하는 모델이다. 블록은 사전학습된 모델이나 텍스트를 쓰지 않고 사람의 실제 대화 소리만으로 처음부터 학습시켰다고 밝혔다. 회사가 내세우는 핵심은 말한 내용을 글로 옮겨 처리하는 대신, 말하는 방식과 대화의 흐름까지 소리에서 익혔다는 점이다. 블록은 자신들이 아는 한 사람의 음성만으로 학습해 현실적인 실시간 대화를 할 수 있는 첫 AI라고 소개했다.

이 접근은 언어를 배우는 경로에도 질문을 던진다. 블록은 문자 없이 말을 익히는 아이처럼 모델도 대화 소리만 듣고 언어를 배울 수 있는지 확인하고 싶었다고 설명한다. 그 결과를 데사로 제시하면서도, 음성 모델이 글로 학습하는 모델에 비해 언어와 사실을 얼마나 효율적으로 배우는지, 새로운 언어에는 어떻게 적응하는지 등을 앞으로 살펴볼 연구 문제로 남겨뒀다. 이번 공개는 완성된 대화 지능의 선언인 동시에 다른 학습 경로의 제안이다.

웃는 타이밍까지 모델이 정한 녹음

블록은 사람이 데사와 실시간으로 나눈 대화 녹음을 여러 개 공개했다. 회사 설명에 따르면 데사에게 답변을 지시하거나 대화 흐름을 뒤에서 조종한 사람은 없고, 자막은 녹음 뒤에 덧붙였다. 무엇을 말할지뿐 아니라 언제, 어떤 목소리로 말할지도 데사가 정했다는 것이다. 따라서 녹음에서 볼 부분은 매끄러운 문장만이 아니라 상대의 말이 이어지는 동안 모델이 보이는 반응이다.

공개 사례에는 우스운 대목에서 문장 중간에 웃거나, 더 크게 말해 달라는 요청에 목소리를 높이는 장면이 있다. 사람이 영화 제목을 떠올리지 못하자 말을 이어 주고, 기념일의 깜짝 소식에는 작게 놀란 뒤 감정이 실린 듯한 목소리로 답한다. 블록은 이런 반응을 미리 정한 신호에 맞춰 재생한 것이 아니라 대화 속에서 나온 행동으로 설명한다. 한편 녹음에서 감정이 생생하게 들린다는 것과 상대의 상황을 정확히 이해했다는 것은 별도로 살펴봐야 할 문제다.

데사가 GPT-Live-1과 대화하는 녹음도 포함됐다. 이 사례에서는 양쪽 목소리가 모두 AI가 만든 것이며, 블록은 GPT-Live-1 개발사가 데사와 관계가 없고 이를 검토하거나 보증하지도 않았다고 명시했다. 사람과의 대화와 AI끼리의 대화를 함께 제시한 것은 자연스러운 말투가 여러 상대 앞에서도 유지되는지 들려주려는 구성이다. 동시에 두 모델이 말을 주고받는 모습은 목소리의 유창함과 대화 내용의 충실함을 따로 듣게 한다.

기다리지 않고 듣고 말하는 방식

데사의 대화 방식은 풀듀플렉스에 맞춰져 있다. 상대가 말을 마칠 때까지 조용히 기다렸다가 답하는 대신, 듣는 도중에도 말하거나 짧게 호응할 수 있다. 블록은 데사가 언제 끼어들고 언제 “응”, “알겠어”처럼 백채널(상대가 말하는 동안 보내는 짧은 호응)을 넣을지 대화에서 배웠다고 설명한다. 사람이 대화할 때 서로의 반응을 확인하며 말의 속도와 방향을 조절하는 방식에 가까워지려는 것이다.

블록은 데사의 추론(학습한 모델로 답을 만들어 내는 과정)이 실시간보다 빠르게 돌아가 어색한 기다림이 없다고 밝혔다. 실행 환경으로는 M4 맥스 이상의 맥북 프로(MacBook Pro)를 제시하며, 기기 안에서 로컬로 구동된다고 설명했다. 이는 공개 녹음에서 들리는 반응 속도가 어떤 연산 규모에서 가능한지 가늠하게 하는 정보다. 다만 빠른 응답이 언제나 좋은 대화는 아니다. 웃음과 맞장구가 알맞은 순간에 나오느냐, 상대의 말을 끝까지 듣느냐도 사용자가 체감하는 품질을 좌우한다.

블록이 강조하는 감지 대상에는 비꼼, 웃음, 답답한 한숨, 슬픔으로 갈라지는 목소리도 들어 있다. 글로 바꿔 놓으면 같은 문장으로 남을 말이 음성에서는 전혀 다른 뜻으로 들릴 수 있다는 설명이다. 데사는 이 차이를 입력에서 듣고 출력에서 다시 표현하도록 설계된 모델로 소개됐다. 말소리를 단순한 전달 수단이 아니라 대화의 일부로 취급한다는 점이 기존의 ‘음성으로 질문하고 글에 기반해 답하기’와 갈리는 지점이다.

같은 문장도 같지 않은 학습 데이터

음성만으로 언어를 익히는 일은 글을 학습하는 것과 조건이 다르다. 블록은 데사가 대규모 언어모델보다 수백 배 적은 수의 단어에서 언어를 배웠다고 주장하면서, 글로 학습하는 모델은 프로그래밍 언어 같은 내용도 함께 익혀야 한다는 단서를 달았다. 데사가 처리해야 할 정보는 단어에 그치지 않는다. 억양, 발음의 차이, 숨소리, 쉬는 위치, 농담과 감정, 끼어들 시점이 모두 말의 해석에 관여한다.

글은 누가 입력하든 같은 문장이면 같은 문자열로 남지만, 말소리는 같은 사람이 같은 문장을 반복해도 데이터가 달라진다. 블록은 말로 한 단어가 글자로 적힌 같은 단어보다 수천 배 많은 바이트를 차지한다고 설명한다. 학습 자료가 더 크고 매번 달라지는 상황에서 텍스트를 발판으로 삼지 않았다는 점이 데사의 기술적 도전이다. 반대로 이런 정보량이 풍부한 목소리에서 모델이 무엇을 실제로 배웠는지 판단하려면, 자연스러운 발성과 지식·추론 능력을 구분해 들어야 한다.

학습에 쓴 장비에 대해서도 블록은 구체적인 수치를 내놨다. 회사는 데사를 엔비디아(NVIDIA) GB200 NVL72 한 대에서 학습시켰다고 밝혔다. 이 설명은 로컬 실행에 관한 발표와 함께, 음성 대화 모델에 필요한 자원을 묻는 독자들의 관심을 끌었다. 다만 블록이 제시한 핵심 성과는 장비 숫자 자체보다, 글을 거치지 않은 학습으로 실시간 대화의 리듬을 만들었다는 데 있다.

호기심에서 출발한 안전 문제

블록은 데사를 만든 이유로 호기심, 사람과 AI 사이의 더 나은 이해, 안전을 꼽았다. 글을 보지 않고도 말을 배우는 모델을 만들 수 있는지 시험했고, 음성이 지능과 상호작용하는 가장 자연스러운 수단이라고 판단했다는 설명이다. 특히 AI의 능력과 자율성이 커지는데도 사용자의 목소리에 담긴 감정에는 거의 귀를 기울이지 못한다는 점을 문제로 들었다. 심한 고통을 겪는 사람이 말을 걸어도 음성 AI가 이를 알아차리지 못한 채 평소처럼 대화를 이어가는 상황이 블록이 제시한 위험 사례다.

데사의 자연스러운 감정 표현은 이 목표를 보여주는 동시에 평가를 어렵게 한다. 놀라거나 공감하는 것처럼 들리는 반응이 적절한지 판단하려면, 듣기 좋은 목소리뿐 아니라 앞서 들은 말과 상황에 맞는 답인지 살펴야 한다. 블록은 데사가 감정과 대화의 타이밍을 음성에서 직접 배우도록 했다고 강조한다. 이 모델이 사용자를 더 잘 이해하는 방향으로 쓰이려면, 매끄러운 반응 뒤의 판단도 그에 걸맞아야 한다.

작은 연구팀이 외부 검토를 요청한 이유

데사를 만든 팀은 블록 안의 소규모 AI 연구실이다. 토론토의 딥러닝 스타트업 데사 출신 구성원들이 설립했으며, 블록은 팀이 2012년부터 딥러닝 모델을, 8년 넘게 생성형 음성 모델을 만들어 왔다고 소개했다. 연구팀은 블록 공동창업자 잭 도시(Jack Dorsey)에게 직접 보고한다고 밝혔다. 데사 책임자 라가반 투라이라트남(Ragavan Thurairatnam)은 이번 모델을 음성만으로 말하기를 배운 새로운 연구 영역으로 제시했다.

블록은 예상하지 못한 위험을 찾기 위해 소수의 AI 안전 연구자에게 데사를 먼저 공개하겠다고 했다. 사람 같은 목소리는 감정 신호를 더 잘 받아들이는 수단이 될 수 있지만, 듣는 사람이 상대를 사람으로 착각하기 쉬워지는 변화이기도 하다. 공개 녹음이 보여주는 것은 그 가능성의 출발점이며, 외부 검토가 겨눌 대상은 자연스러운 발성이 실제 대화에서 어떻게 작동하는지다. 말할 줄 아는 AI가 된 만큼 무엇을 잘못 알아듣고, 언제 잘못 개입하는지도 중요해졌다.

커뮤니티 의견

한 사용자는 데사의 목소리가 매우 자연스럽지만, 실제 발언을 따라가면 지적 깊이가 부족하다고 평가했다. 답글에서도 녹음을 조금 듣고 나면 대화가 흘러가는 모양새에 비해 내용이 비어 있다는 느낌이 든다는 의견이 나왔다. 특히 GPT-Live-1과의 대화에서 그 차이가 뚜렷하다는 반응이었다.

다른 사용자는 M4 맥스 맥북 프로에서의 로컬 실행과 GB200 NVL72 한 대를 이용한 학습이 가장 놀라웠다고 했다. 낮은 지연과 풍부한 표현을 실제로 함께 구현했다면 상당한 성과라는 평가다. 다만 블록 산하 팀을 독립적인 소규모 연구 주체처럼 부르는 데는 이견이 있었고, 맥북 프로에서 시연한 음성 기술이 전례 없는 일은 아니라는 답글도 달렸다.

풀듀플렉스 대화의 타이밍에는 불만이 제기됐다. 한 사용자는 동시에 말할 수 있는 능력은 흥미롭지만, 첫 녹음의 웃음이 꼭 필요했는지 모르겠다며 사람이 문장을 마치기도 전에 모델이 말을 가로챈다고 지적했다. 답글에서는 이런 방식이 고객 지원 음성 상담에 들어오면 거슬릴 것이라는 반응도 나왔다. 자연스러운 끼어들기와 잦은 방해 사이에 경계가 있다는 뜻이다.

사람과 비슷해지는 방향 자체를 짚는 의견도 있었다. 한 사용자는 최근 풀듀플렉스 모델들이 영화 속 인간형 음성 AI를 떠올리게 한다며, 데사가 사람과 구별하기 어려운 수준의 대화를 겨냥하는 것 같다고 봤다. 댓글에서는 공개된 친밀한 대화 녹음을 두고 AI 연인 같은 용도가 떠오른다는 반응이 이어졌다. 이는 기술의 유창함을 기대하는 시선과 인간관계를 흉내 내는 용도를 불편해하는 시선이 맞닿는 지점이다.

사칭 위험을 걱정한 사용자는 녹음만 들었다면 AI인지 알아채지 못했을 것이라고 했다. 의심스러운 전화가 오면 아는 사람과 공유한 기억을 물어보겠다는 대응책까지 제시하며, 목소리 복제와 전화번호 탈취가 결합된 사기를 우려했다. 반론에서는 영화에 관한 녹음의 잘못된 내용이 오히려 AI임을 알아챌 단서였을 것이라는 지적이 나왔다. 자연스러운 소리와 정확하지 않은 답이 함께 나타날 수 있다는 관찰이다.

또 다른 사용자는 음성이 대개 다른 추론 시스템에 접근하는 수단인데, 데사는 목소리 자체가 주된 성과로 보인다고 평가했다. 대화 내용이 충분히 똑똑하지 않다면 남는 용도는 사람을 흉내 내는 일이라는 비판이다. 이에 모든 AI가 어떤 방식으로든 지능을 흉내 낸다는 짧은 반론도 붙었다. 양쪽 모두 음성의 사실성이 커질수록 모델이 실제로 제공하는 가치가 무엇인지 더 엄격하게 물어야 한다는 논점을 드러낸다.

실용적인 기능을 비교하는 의견도 있었다. 한 사용자는 데사의 목소리가 몰입감 있지만, 풀듀플렉스 모델에서는 도구 호출(대화 도중 외부 기능을 실행하는 일)이 늘 어려운 과제라고 짚었다. 이 사용자는 GPT-Live-1이 실제 작업을 수행하는 에이전트로 활용된다는 점을 높이 평가하며, 데사가 이 기능을 어떻게 구현할지 궁금해했다. 듣기 좋은 대화를 넘어 일을 처리할 수 있느냐는 질문이다.

시연의 표현 방식을 경계하는 반응도 나왔다. 한 사용자는 짧게 들은 녹음에서 팟캐스트를 연상했고, ‘가장 진짜 같은’ 식의 표현은 마케팅 문구에 가깝다고 비판했다. 답글에서는 일부 반응이 드라마 대사처럼 지나치게 완벽하게 들린다는 감상도 제시됐다. 이들은 학습 자료를 확인한 것이 아니라 녹음을 들은 인상을 말한 것으로, 공개 시연만으로 모델의 학습 과정과 평소 대화 품질을 판단하기 어렵다는 문제를 짚는다.

핵심통찰

데사가 바꾸려는 기준은 AI가 말을 얼마나 사람처럼 내느냐에서 사람의 말을 얼마나 온전히 듣느냐로 옮겨가는 것이다. 소리만으로 익힌 대화의 타이밍과 감정 표현은 텍스트를 거치는 음성 AI의 빈틈을 드러낸다. 그러나 토론이 보여주듯 자연스러운 목소리는 얕은 답변, 불필요한 끼어들기, 사칭 위험까지 더 그럴듯하게 만들 수 있다. 앞으로 지켜볼 것은 시연에서의 생생함만이 아니다. 데사가 긴 대화에서 내용을 정확히 따라가고, 필요한 때만 반응하며, 실제 작업과 안전 검토에서도 그 장점을 유지하는지가 관건이다.


원본: Dessa - the Conversation Model trained only on speech

토론: Hacker News