구글(Google)이 음성을 받아 적는 데서 그치지 않고 말의 맥락을 살려 문장까지 다듬는 ‘제미나이 3.5 트랜스크라이브(Gemini 3.5 Transcribe)’를 공개했다. 이 모델은 실시간 대화와 녹음 파일을 각각 처리하는 API로 개발자에게 제공되며, 안드로이드 음성 입력과 맥용 제미나이 앱에도 쓰인다. 구글은 낮은 단어 오류율과 빠른 처리 속도를 내세우지만, 이용자 토론에서는 자동으로 말을 다듬는 기능이 화자의 의도까지 지울 수 있다는 지적이 나온다. 정확한 받아쓰기와 읽기 좋은 문장 사이의 경계가 이 제품의 핵심 쟁점이다.
핵심 요약
- 구글은 제미나이 3.5 트랜스크라이브가 잡음과 전문 용어, 머뭇거림이 섞인 음성을 읽기 좋게 정리하도록 설계됐다고 밝혔다.
- 실시간 스트리밍과 녹음 파일 처리에 별도 API를 제공하므로, 음성 대화 앱과 회의록 처리 도구가 서로 다른 방식으로 모델을 쓸 수 있다.
- 구글이 인용한 측정에서 평균 단어 오류율은 스트리밍 4.0%, 비스트리밍 2.6%였지만, 댓글에서는 오류율만으로 편집 부담을 설명하기 어렵다는 의견이 나왔다.
- 안드로이드의 램블러와 맥용 제미나이 앱은 받아쓴 문장을 다듬거나 음성 명령을 다른 작업으로 연결해, 음성 입력의 쓰임을 넓힌다.
- 개발자는 공개 미리보기로 이용할 수 있으나, 실제 선택에서는 다국어 대화 처리, 지연 시간, 비용, 원문 보존 여부를 따져야 한다.
받아쓰기를 넘어 문장을 다듬는 모델
구글은 제미나이 3.5 트랜스크라이브를 자사의 가장 정확한 음성·텍스트 변환 모델로 소개했다. 이 모델이 겨냥한 것은 말을 글자로 바꾸는 작업만이 아니다. 주변 소음, 복잡한 전문 용어, 말하다가 고쳐 말하는 상황을 처리하고, 음성을 바로 형식이 정돈된 텍스트로 바꾸겠다는 것이다. 구글은 안드로이드와 제미나이 앱에서 이용자들이 이미 이 모델을 활용한 새 음성 기능을 쓰고 있다고 밝혔다.
이 접근은 음성 입력 결과를 사람이 다시 손보는 시간을 줄이려는 시도다. 회의 중 말을 더듬거나 메시지를 쓰다가 표현을 바꿔도, 최종 문장이 자연스럽게 보이도록 정리하는 식이다. 다만 ‘잘 정리된 글’과 ‘실제로 한 말’은 같은 결과물이 아닐 수 있다. 어떤 말을 남기고 지울지는 받아쓰기의 정확도만큼 중요한 제품 결정이 된다.
실시간 대화와 녹음 파일, 두 갈래 API
개발자는 구글 AI 스튜디오(Google AI Studio)와 제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)의 제미나이 API를 통해 모델을 사용할 수 있다. 구글은 음성 에이전트, 실시간 자막, 통화 후 분석처럼 처리 방식이 다른 작업을 염두에 뒀다. 실시간용은 라이브 API(Live API)의 gemini-3.5-transcribe-live로 제공하며, 양방향 스트리밍과 1초 미만의 지연 시간을 내세운다. 사용자가 말하는 동안 응답이 이어져야 하는 음성 앱을 위한 경로다.
녹음 파일에는 인터랙션스 API(Interactions API)의 gemini-3.5-transcribe를 쓴다. 회의나 통화 기록을 받아쓰면서 누가 말했는지 표시하고, 각 단어가 나온 시각도 붙일 수 있다. 실시간 대화에서는 응답 속도가 중요하지만, 이미 끝난 대화에서는 화자 구분과 시각 정보가 더 유용할 수 있다. 구글이 API를 나눈 이유도 두 작업의 요구가 다르기 때문이다.
고쳐 말하기와 전문 용어를 처리하는 법
구글은 새 모델이 자연스러운 말투를 반영해 의도를 파악하고, 사용자가 지정한 어휘를 인식하도록 설계됐다고 설명한다. 예를 들어 약속 날짜를 말했다가 곧바로 다른 날로 정정하면 수정된 내용을 반영하고, ‘음’ 같은 군더더기는 덜어낼 수 있다. 받아쓴 글의 형식도 자동으로 정리한다. 전문 분야의 용어나 특이한 철자는 별도로 제공한 맞춤 어휘를 참고한다.
85개가 넘는 언어를 자동으로 감지해 받아쓰며, 지역별 억양과 방언도 처리 대상으로 삼는다. 구글은 말하는 도중 언어가 바뀌는 상황도 지원한다고 소개했다. 녹음 파일에서는 최대 세 명의 화자를 구분해 발언 시각을 표시하며, 세 명을 넘는 화자에 대한 지원은 실험 단계다. 이런 기능은 여러 사람이 참여하고 전문 용어가 오가는 대화를 텍스트로 옮길 때 특히 중요하다.
오류율 수치와 최종 결과가 나오는 시간
구글이 인용한 알티피셜 애널리시스(Artificial Analysis)의 측정에서 평균 단어 오류율(WER·원문 단어와 받아쓴 단어의 차이를 나타내는 비율)은 스트리밍 4.0%, 비스트리밍 2.6%였다. 구글은 우편번호나 주문 ID처럼 숫자와 문자가 섞인 표현도 실제 소음 환경에서 정확히 잡아낸다고 설명했다. 다만 오류율은 말의 일부를 생략했을 때 화자의 의도가 얼마나 달라지는지까지 보여주는 지표는 아니다. 문장부호와 줄바꿈이 편집 작업을 얼마나 늘리는지도 별도로 봐야 한다.
이전 음성 인식 모델인 처프 3(Chirp 3)와 비교하면, 구글은 최종 받아쓰기 결과가 나오는 시간이 70% 개선됐다고 밝혔다. 다국어 음성 평가인 플뢰르(FLEURS)에서도 처프 3보다 나은 결과를 제시했다. 구글이 밝힌 플뢰르의 단어 오류율은 주요 언어·지역 묶음에서 스트리밍 5.50%, 비스트리밍 5.04%다. 같은 모델이라도 어떤 언어를 어떤 환경에서 얼마나 빨리 처리하느냐에 따라 체감 성능은 달라진다.
안드로이드 키보드에서 맥의 음성 명령까지
안드로이드 지보드(Gboard)의 새 기능 램블러(Rambler)는 말로 풀어낸 생각을 문장으로 정리하고 군더더기를 걸러낸다. 이용자는 목소리로 오탈자를 고치거나 문체를 바꾸는 편집도 할 수 있다. 구글의 개발 도구 안티그래비티(Antigravity)는 허가를 받은 경우 화면 내용과 채팅 기록을 참고해 파일 이름이나 열린 문서에 나오는 표현을 더 정확히 받아쓴다. AI 스튜디오의 빌드 모드에서는 음성으로 앱을 만드는 작업에도 이 모델을 쓸 수 있다.
맥용 제미나이 앱에서는 자연스럽게 말한 내용을 정돈된 텍스트로 옮기는 데 더해, 음성 명령을 화면 맥락과 연결한다. 구글은 앱이 백그라운드에서 다른 제미나이 모델을 활용해 로컬 파일 요약, 앱 사이의 텍스트 재활용, 커서 위치에서의 이미지 생성 등을 처리한다고 설명했다. 이는 받아쓰기 모델 자체의 출력과 앱 전체가 수행하는 작업을 구별해 읽어야 하는 대목이다. 크롬(Chrome)에서는 앞으로 웹 입력창 어디서나 말로 글을 쓰는 기능을 제공할 예정이다.
개발 플랫폼 연동과 현재 이용 범위
구글은 아고라(Agora), 피시잼(Fishjam), 랭체인(LangChain), 라이브킷(LiveKit), 파이프캣(Pipecat), 버셀(Vercel), 비전 에이전츠(Vision Agents) 같은 개발 플랫폼이 라이브 API를 활용한다고 밝혔다. 이들 플랫폼은 실시간 미디어 스트리밍의 복잡한 처리를 맡아, 개발자가 음성 인터페이스의 사용 경험에 집중하도록 돕는다는 설명이다. 비보(vivo), 인텔리텍 헬스(Intellitek Health), 링고팔(Lingopal)은 지연 시간과 정확도, 지원 언어 범위에 긍정적인 반응을 전했다고 구글은 덧붙였다.
개발자에게는 AI 스튜디오와 안티그래비티의 제미나이 API에서 공개 미리보기로 제공된다. 기업은 제미나이 엔터프라이즈 에이전트 플랫폼에서 공개 미리보기를 이용할 수 있고, 고객 경험용 제미나이 엔터프라이즈에는 추후 들어갈 예정이다. 일반 이용자는 영어로 제공되는 맥용 제미나이 앱과 일부 국가·언어의 안드로이드 램블러에서 먼저 접한다. 크롬 기능은 아직 출시 예정인 만큼, 발표된 기능이라도 이용 경로와 언어 범위는 구분해서 봐야 한다.
커뮤니티 의견
한 사용자는 회사 회의에서 나온 독일어·이탈리아어·영어 음성으로 20개 이상의 음성 인식 모델을 시험했다고 했다. 문장마다 언어가 바뀌고 업계 용어가 섞이는 환경에서는 로컬에서 실행하는 복스트랄 미니 3B(Voxtral Mini 3b)가 자신에게 가장 잘 맞았고, 유료 API 중에는 일레븐랩스(ElevenLabs)가 조금 나았다는 평가다. 새 구글 모델도 시험해 보겠지만, 자기 컴퓨터에서 쉽게 돌리는 모델을 바꿀지는 모르겠다고 했다.
다른 사용자는 긴 생각을 편하게 말할 때는 자동 정리가 유용하지만, 특정 표현을 정확히 전하려 할 때는 뜻이 훼손된다고 지적했다. 자신이 무언가를 확인할지 망설였다는 앞부분을 말했는데, 결과에는 나중에 확인했어야 한다는 결론만 남았다는 것이다. 답글에서는 말한 그대로 옮기는 모드와 스마트 모드 중 어느 쪽을 썼는지 물었다.
기능 호출을 둘러싼 설명이 혼란스럽다는 의견도 나왔다. 한 사용자는 블로그 글만 보면 음성 인식 모델이 직접 다른 작업을 실행하는 듯하지만, 자신이 확인한 개발자 문서에는 해당 모델이 기능 호출을 지원하지 않는다고 적혀 있다고 했다. 답글에서는 음성을 해석해 실행할 기능과 인자를 앱에 돌려주고, 실제 실행은 앱이 맡는 방식일 수 있다고 설명했다.
구글 API를 더 쓰고 싶어도 결제와 이용 등급을 다루는 과정이 번거롭다는 불만이 뒤따랐다. 모델 성능이 좋아도 토큰을 구매하고 서비스를 연결하는 일이 복잡하면 개발 과정에서 걸림돌이 된다는 주장이다. 한 답글은 구글 클라우드 콘솔을 다루는 대신 오픈라우터(OpenRouter)를 쓴다고 했다.
단어 오류율이 받아쓰기의 불편을 제대로 드러내지 못한다는 지적도 있었다. 한 사용자는 엉뚱한 곳에 문장이 끊기면 안드로이드에서 커서를 옮겨 고치는 일이 직접 입력하는 것보다 어려울 때가 있다고 했다. 다른 모델로 받아쓴 결과를 한 번 더 정리하자는 답글도 나왔다.
실시간 번역기를 만드는 사용자는 소음 속 언어 감지와 정확도뿐 아니라 지연 시간이 가장 중요하다고 했다. 자신의 시험에서는 소니옥스 STT v5(Soniox STT v5)를 가장 높게 평가하면서, 구글 모델은 정확하지만 속도를 더 다듬어야 한다고 봤다. 반면 회의록에는 지연 시간이 중요하지 않다는 답글과, 비교 시연에서는 오히려 구글 모델이 조금 빨랐다는 답글이 함께 달렸다.
다국어 음성 인식 평가 사이트에 모델을 추가한 사용자는 정확도와 지연 시간 모두 최상위 수준에 이르지는 못했다고 평했다. 그러나 답글에서는 그 사이트의 순위표상 구글 모델이 정확도 1위로 보인다며 평가의 기준을 물었다. 같은 결과를 보더라도 정확도 하나를 볼지, 실시간 사용에 필요한 속도까지 합쳐 볼지에 따라 결론이 달라지는 셈이다.
이전 모델 처프 3의 오류를 기억하는 사용자는 소음이나 소리가 거의 없는 파일에서 없는 말을 반복해서 만들어내던 문제가 개선됐는지 궁금해했다. 그는 그 때문에 위스퍼(Whisper)로 단어 시각을 잡고 제미나이 플래시(Gemini Flash)로 받아쓴 글을 고치는 방식으로 돌아갔다고 했다. 반면 새 모델을 하루 종일 받아쓰기에 쓴 다른 사용자는 정확도와 지연 시간, 문장 정리 모두 자신이 써본 모델 중 가장 좋았다고 평가했다.
핵심 통찰
제미나이 3.5 트랜스크라이브가 바꾸려는 것은 음성 인식의 점수만이 아니라, 받아쓴 뒤 사람이 문장을 다듬고 작업을 이어 가는 과정이다. 그러나 자동 정리가 화자의 망설임이나 강조까지 지우면 편리함은 곧 편집 위험이 된다. 앞으로는 오류율과 지연 시간에 더해, 원문 보존과 문장 정리를 얼마나 분명하게 선택할 수 있는지 봐야 한다. 실시간 번역, 회의록, 개인 메시지는 원하는 결과물이 서로 다르기 때문이다.
원본: Intelligent transcription with Gemini 3.5 Transcribe
토론: Hacker News