작은 AI 모델 18종, 클라우드 호출을 기기로 옮긴다

데저트 앤트 랩스(Desert Ant Labs)가 스마트폰과 노트북에서 직접 실행하는 소형 AI 모델 18종을 공개했다. 음성 전사, 녹음 보정, 개인정보 가리기처럼 반복되는 일을 클라우드 API 대신 기기 안에서 처리하겠다는 구상이다. 회사는 빠른 응답과 호출당 비용이 없는 추론을 내세우지만, 모델의 성능뿐 아니라 지원 기기와 배포 방식도 제품에 넣을 수 있는지를 가른다. 이번 발표는 ‘더 큰 모델’이 아니라 ‘알맞은 일을 하는 작은 모델’을 앱의 기본 부품으로 만들려는 시도다.

핵심 요약

  • 데저트 앤트 랩스는 안정 버전 12종과 베타 6종을 내놓고, 스위프트·코틀린·자바스크립트용 단일 SDK로 기기 내 AI 기능을 구현하도록 했다.
  • 보즈는 아이폰에서 10분 분량의 음성을 2초에 전사하고, 클리어는 9MB 모델로 5분짜리 녹음을 1초에 보정한다고 회사는 밝혔다.
  • 리댁트는 개인정보가 서버에 도착하기 전에 가리는 용도로 설계돼, 기기 내 처리의 이점을 속도뿐 아니라 데이터 이동 감소로 넓힌다.
  • 회사는 영상 앱 디테일에서 쓰던 클라우드 API를 자체 모델로 대체하며, 반복 작업에 대형 범용 모델이 필요한지 묻는다.
  • 토론에서는 과금 기준, 파이썬과 비(非)애플 플랫폼 지원, 공개 모델을 활용한 제품의 차별성이 실제 도입의 쟁점으로 떠올랐다.

모델 18종을 하나의 SDK로

데저트 앤트 랩스는 자신을 기기 내 AI에 집중하는 유럽의 AI 연구소로 소개했다. 첫 공개 모델은 안정 버전 12종과 베타 6종을 합쳐 18종이며, 음성·영상·텍스트의 개별 작업에 맞춰 만들었다고 설명한다. 목표는 범용 모델 하나에 여러 일을 맡기는 대신 작업마다 작고 빠른 모델을 골라 앱에 넣는 것이다. 회사는 5년 된 휴대전화에서도 실행할 만큼 작고, 영상의 매 프레임이나 키 입력마다 쓸 만큼 빠른 모델을 지향한다고 밝혔다.

개발자는 SDK(앱에 기능을 넣는 개발 도구 묶음) 하나로 스위프트(Swift), 코틀린(Kotlin), 자바스크립트(JavaScript) 환경에서 모델에 접근할 수 있다. 회사는 모든 모델을 월간 활성 기기 10만 대까지 무료로 제공하며, 토큰 과금이나 로그인을 요구하지 않는다고 밝혔다. 이는 AI 기능을 호출할 때마다 비용을 계산해야 하는 클라우드 API와 다른 제안이다. 다만 무료 구간 이후의 과금이 개발자에게 얼마나 설득력 있을지는 별개의 문제로 남는다.

10분 전사와 9MB 녹음 보정

음성 전사 모델 보즈(Voz)는 아이폰에서 10분짜리 녹음을 2초 만에 처리한다고 회사는 밝혔다. 음성 인식 모델 위스퍼(Whisper)보다 4.7배 빠르다는 비교와 함께, 전사한 모든 단어에 시작·종료 시각을 붙인다고 설명했다. 오디오 보정 모델 클리어(Clear)는 크기가 9MB이며, 노트북으로 녹음한 5분 분량을 기기에서 1초 만에 보정할 수 있다는 것이 회사의 주장이다. 녹음 정리와 전사를 서버로 보내지 않고 앱 안에서 끝내려는 구성이다.

개인정보 가림 모델 리댁트(Redact)는 이름·주소·카드 번호를 27개 언어에서 실시간으로 찾아 가리도록 설계됐다. 회사가 제시한 수치로는 12MB 모델이 텍스트 속 개인정보의 88.8%를 포착하며, 크기가 2.3GB인 글라이너-PII(GLiNER-PII)에 근접한다. 언어 식별 모델 텅(Tongue)은 2MB로 세 단어만 보고 84개 언어를 구별하며, 회사의 비교에서 정확도 점수 0.933을 기록했다. 비교 대상인 293MB 언어 감지기의 점수는 0.887이었다.

서버에 닿기 전에 데이터를 가린다

회사가 속도만큼 강조하는 것은 데이터가 이동하지 않는다는 점이다. 리댁트가 기기에서 개인정보를 먼저 가리면 해당 정보는 기능을 운영하는 서버까지 전달되지 않는다. 회사는 이를 유럽에서 기기 내 처리를 기본값으로 삼는 접근이라고 설명했다. 외부 클라우드에 기능을 의존하지 않고, 업로드하지 않은 데이터는 서버에 대한 요구로도 넘겨줄 수 없다는 논리다.

이 구상에서 작은 모델의 가치는 한 번의 어려운 질문에 답하는 능력보다 자주 실행되는 작업을 맡는 데 있다. 메시지마다 개인정보를 확인하거나 입력 중 언어를 판별하려면 응답 속도와 반복 호출 비용이 중요해진다. 회사가 제시한 성능 수치는 이런 쓰임새를 겨냥하지만, 모델별 정확도와 체감 품질은 실제 적용 작업에서 함께 살펴야 한다. 개인정보를 가리는 기능이라면 처리 속도 못지않게 놓치는 정보가 무엇인지도 중요하다.

디테일의 클라우드 요금에서 출발

데저트 앤트 랩스가 소형 모델을 만들게 된 출발점은 자사의 영상 앱 디테일(Detail)이었다. 회사는 5년 동안 이 앱을 기기 내 처리를 우선하는 방식으로 개발했지만, 짧은 영상을 만드는 자동 편집과 팟캐스트 음성 보정에는 클라우드 API를 써야 했다고 설명했다. 앱 사용이 늘수록 인프라 비용도 커졌다. 필요한 로컬 실행 모델을 찾기 위해 허깅페이스(Hugging Face)를 뒤졌지만, 바로 제품에 넣을 만한 선택지는 부족했다고 한다.

회사는 칩과 코어 ML(Core ML), 관련 연구처럼 기초 조건은 갖춰져 있었다고 봤다. 문제는 연구 결과와 실제 앱 기능 사이, 즉 몇 줄의 코드로 넣고 배포할 수 있는 모델의 부재였다. 이에 직접 모델과 실행 방식을 개발했다고 밝혔다. 모델 학습을 성능 경쟁만이 아니라 어떤 작업을 맡기고 개발자가 어떻게 쓰게 할지를 정하는 제품 설계로 본 셈이다.

디테일 6에서 클라우드 API 대체

디테일에서 회사가 제시한 교체 사례는 구체적이다. 음성 보정에는 기존에 쓰던 돌비(Dolby) 대신 클리어를 적용했고, 보즈로 기기 내 전사 속도를 5배 높였다고 밝혔다. 영상 편집용 클립스(Clips)는 크기가 284MB이며, 10분짜리 영상에서 5초 만에 짧은 영상 12개를 뽑는다고 한다. 회사는 이를 클로드 소넷(Claude Sonnet)과 비교해 품질은 같고 속도는 10배, 에너지 사용량은 470배 적다고 주장했다.

추가로 회사는 클리어가 휴대전화에서 실제 재생 시간보다 302배 빠르게 음성을 처리한다고 제시했다. 보즈에 대해서는 아이폰 17 프로(iPhone 17 Pro)에서 실제 재생 시간보다 298배 빠른 전사 속도에 도달한다고 설명했다. 이런 수치는 각 기능에서 처리량을 얼마나 높일 수 있는지를 보여주려는 것이다. 회사는 iOS 27과 함께 나올 디테일 6에서 모든 클라우드 API를 자체 모델로 바꾸고 앱을 온전히 기기에서 실행할 계획이다.

매번 호출하는 일에 큰 모델이 필요한가

회사는 지난 몇 년간 개발자들이 대형 언어 모델(LLM)을 다른 API처럼 호출하는 방식에 익숙해졌다고 짚었다. 하지만 녹음을 정리하고, 사진에 태그를 붙이고, 문장에서 날짜를 추출하고, 서버로 보내기 전에 이름을 찾는 일까지 최상위 범용 모델에 맡길 필요는 없다는 주장이다. 같은 절차가 하루에 수없이 반복된다면 작업에 특화된 작은 모델의 속도와 비용 구조가 더 중요해진다. 회사가 말하는 ‘기기 내 지능’은 이런 잦은 호출을 제품 곳곳에 배치하는 방식이다.

근거로는 엔비디아(NVIDIA) 연구진이 에이전트 시스템 세 개를 분석한 추정치를 들었다. 해당 분석에서 대형 모델 호출의 40~70%는 작고 특화된 모델로 넘길 수 있는 것으로 추산됐다. 데저트 앤트 랩스는 이를 모든 호출을 작은 모델로 바꾸자는 뜻으로 제시하지 않는다. 어떤 일이 로컬 모델로 충분하고, 어느 순간 더 큰 모델이 필요한지를 나누는 데 초점이 있다.

이미 팔린 기기의 연산 능력

회사는 올해 업계가 데이터센터에 약 4,500억 달러를 쓰는 한편, 세계에서는 성능이 높아진 칩을 탑재한 휴대전화·태블릿·노트북이 10억 대 넘게 출하된다고 강조했다. 사람들이 손에 쥔 기기의 총 연산 능력이 전 세계 AI 데이터센터보다 크다는 주장도 폈다. 이미 기기에 들어간 칩에서 추론(학습된 모델로 결과를 계산하는 과정)을 수행하면 호출마다 외부 서버의 연산 비용을 치르지 않아도 된다는 논리다. 네트워크 왕복 시간이 사라지고 데이터도 기기를 떠나지 않는다.

이 차이는 기능을 언제 실행할지에 영향을 준다. 클라우드 호출 비용을 아끼려고 일부 메시지만 검사했다면, 기기 내 모델은 모든 메시지에 적용하는 선택을 가능하게 한다는 설명이다. 물론 회사가 말하는 ‘무료 추론’은 자체 칩에서 실행할 때 클라우드 서비스에 건별 요금을 내지 않는다는 뜻이다. 그 조건이 실제 제품 경험으로 이어지려면 개발자가 쓰는 기기와 플랫폼에서도 충분한 성능을 내야 한다.

작은 뇌에서 모델 선택 계층으로

데저트 앤트 랩스는 첫 100개 모델을 소뇌에 비유한다. 균형과 타이밍처럼 계속 돌아가지만 의식하지 않는 일을, 빠른 특화 모델들이 제품 안에서 맡도록 하겠다는 뜻이다. 다음 단계로 제시한 것은 요청을 어느 모델에 보낼지 결정하는 계층이다. 작은 기기 내 모델을 먼저 쓰고, 필요하면 더 큰 모델을 선택하며, 작업이 기기 밖으로 나가야 할 때만 클라우드를 사용한다는 순서다.

회사는 모델마다 기본 동작을 정해 제공하면서도 개발자가 이를 조정할 수 있게 하겠다고 밝혔다. 실행 환경까지 함께 최적화해 아이폰에서는 클리어와 보즈를 뉴럴 엔진(기기 내 AI 연산용 칩 구성요소)에서 돌리고, 브라우저에서는 클리어의 같은 가중치를 웹어셈블리(WebAssembly)로 실행한다. SDK는 GitHub에서 제공하며, 맥용 명령줄 도구와 허깅페이스의 브라우저 체험판도 안내했다. 결국 이 계획의 성패는 모델 수를 늘리는 것뿐 아니라 개발자가 원하는 작업과 환경에서 쉽게 시험하고 배포할 수 있는지에 달려 있다.

커뮤니티 의견

한 사용자는 로컬 특화 모델의 접근에는 호감을 보이면서도 수익 모델을 물었다. 클라우드 AI는 요청할 때마다 남의 컴퓨터를 쓰지만, 내려받은 모델은 기존 소프트웨어처럼 계속 쓸 수 있다는 이유다. 월간 활성 기기 10만 대를 넘을 만큼 제품이 성공했을 때 비용을 내는 구조라면 공급자와 개발자의 이해가 맞는다는 답글도 나왔다.

다른 사용자는 생명과학 이미지 분석 경험을 들어 작은 모델에 별도 GPU가 꼭 필요한 것은 아니라고 했다. 모든 작업에 같은 하드웨어가 필요한 것처럼 소개되지만, 사용자가 원하는 일부 이미지 판별 작업은 책상 위 노트북으로도 처리할 수 있다는 주장이다. 이 의견은 이미 보급된 기기의 연산 능력을 활용하자는 회사의 방향에 힘을 실었다.

작업별 작은 모델의 가능성을 인정하면서도 파이썬 SDK가 없어 바로 시험해 보기는 어렵다는 의견도 있었다. 스위프트·코틀린·자바스크립트 지원은 휴대전화와 앱을 우선하는 회사의 목표에 맞지만, 간단히 설치해 데스크톱에서 실험하려는 개발자에게는 진입 장벽이라는 지적이다. 답글에서도 모바일 우선순위는 이해하지만 데스크톱 체험 경로가 더 쉬웠으면 좋겠다는 반응이 나왔다.

보즈를 두고는 새로운 전사 모델로 기대했는데 기존 패러킷(Parakeet) v3에 애플 운영체제용 실행 코드를 더한 것으로 보인다는 지적이 나왔다. 이에 답글은 보즈가 패러킷을 애플 뉴럴 엔진에 맞게 최적화하고 자체 추론 방식을 적용한 버전이라고 설명했다. 처음부터 학습한 차세대 보즈와 안드로이드 등 다른 플랫폼 지원도 예고했다. 이 논쟁은 새 모델의 학습 성과와 기존 모델을 기기에서 빠르게 실행하는 기술을 구분해 봐야 함을 보여준다.

웹용 콘텐츠 관리 시스템에 모델을 쓰고 싶지만 상당수가 iOS 중심으로 보인다는 의견도 있었다. 제시된 벤치마크가 최신 아이폰에서 측정돼 저렴한 가상 서버에서도 같은 속도를 기대하기 어렵다는 이유다. 답글은 일부 모델만 출시 순서상 iOS를 먼저 지원하며, 몇 주 안에 모든 모델의 지원 범위를 여러 플랫폼으로 넓힐 계획이라고 밝혔다.

클리어 체험판을 들어 보니 보정 전후가 똑같이 들렸다는 사용자도 있었다. 답글에서는 기반 모델로 지목한 딥필터넷 3(DeepFilterNet 3)이 작고 빠르지만 품질 면에서는 다른 잡음 제거 모델을 선호한다는 평가가 나왔다. 수치로 표시한 처리 속도와 사용자가 실제로 듣는 개선 폭은 다른 기준이라는 문제 제기다.

받아쓰기 앱을 사용해 본 사용자는 2021년형 M1 프로 맥에서도 로컬 모델을 지원하는 앱들이 있었지만, 원하는 수준의 음성 인식 개선을 추구하면 모델 크기가 부담스러워졌다고 했다. 이 사용자는 완전 오프라인 구성을 유지하며 새 모델을 시험해 보고 싶어 했다. 다만 실시간·스트리밍 전사를 지원하는지는 궁금하다고 덧붙였다.

또 다른 사용자는 보즈와 클리어 등 일부 제품이 공개 모델을 토대로 한 것이라며, 기존 모델 위에 마케팅과 독점 코드가 얹힌 것 아니냐고 물었다. 이 관점에서 중요한 것은 모델의 새로움보다 기존 모델을 더 빠르고 쓰기 쉽게 만든 가치가 얼마만큼인지다. 발표에서 강조한 실행 속도가 여러 기기와 작업에서도 재현되는지가 판단 기준으로 남는다.

살펴볼 점

데저트 앤트 랩스가 바꾸려는 것은 AI 모델의 크기 경쟁보다 앱이 AI를 호출하는 습관이다. 매번 서버에 보내던 짧고 반복적인 일을 기기 안으로 옮기면, 비용 때문에 제한했던 기능을 더 자주 실행하고 개인정보 이동도 줄일 수 있다. 다만 발표 수치만으로 개발자의 선택이 끝나지는 않는다. 공개 모델을 최적화한 결과가 다양한 기기에서 얼마나 일관되게 작동하는지, 체감 품질과 SDK 지원이 따라오는지, 무료 구간 이후 과금이 납득 가능한지를 지켜봐야 한다.


원본: On-device intelligence for every product

토론: Hacker News