제브가 겨냥한 AI 자동화의 빈틈

타입세이프 AI(TypeSafe AI)가 대화문 대신 소프트웨어가 바로 쓸 수 있는 결정을 내놓는 AI 모델 ‘제브(Jev)’를 공개했다. 오픈AI(OpenAI)에서 챗봇 연구에 참여했던 창업자 디오구 알메이다(Diogo Almeida)는 언어모델이 사람과 대화하는 능력만큼 업무 자동화에 쓰이지 못하는 이유를 출력 방식에서 찾았다. 제브는 미리 정한 선택지와 점수, 확률을 빠르게 반환하도록 설계됐다. 회사가 내세운 속도와 비용도 눈길을 끌지만, 무엇보다 ‘형식이 틀리지 않는 답’과 ‘내용까지 맞는 답’의 차이를 살펴볼 만하다.

핵심 요약

  • 타입세이프 AI는 자동화에 필요한 구조화된 결정을 겨냥한 첫 ‘시스템 원 모델(System One Model)’ 제브를 공개하고 조기 접근을 시작했다.
  • 제브는 자유로운 문장 생성 대신 정해진 형식의 선택·점수·확률을 내놓아, 소프트웨어가 답변을 파싱하고 형식을 검사하는 부담을 줄이려 한다.
  • 회사는 시스템 원 형태의 작업에서 제브가 기존 LLM과 비슷한 판단 수준을 보이면서 훨씬 빠르고 저렴하다고 주장하지만, 비교 작업의 조건도 함께 봐야 한다.
  • 출력이 지정된 형식을 벗어나지 않는다는 회사의 보장은 유효한 형식 안에서 잘못된 값을 고를 가능성까지 없애지는 않는다.
  • Hacker News 토론에서는 좁은 판단 작업에 특화한 접근을 반기면서도 속도 비교, 다른 모델에 대한 의존, 실제 도입 비용을 따지는 의견이 나왔다.

채팅 모델에서 자동화 모델로

알메이다는 지난 4년간 ‘대화에 능숙한 모델이 왜 더 많은 일을 자동화하지 못하는가’를 고민했다고 밝혔다. 그는 오픈AI에서 언어모델이 지시를 따르고 사람과 대화하도록 만드는 연구에 참여했고, 그 작업이 챗GPT(ChatGPT)의 바탕이 됐다고 설명한다. 한때 채팅 모델이 범용 인공지능으로 이어질 수 있다고 봤지만, 자동화에는 다른 요소가 필요하다는 결론에 이르렀다는 것이다.

타입세이프 AI가 약 2년간 비공개로 개발한 첫 결과가 제브다. 회사는 이를 빠른 직관적 판단을 겨냥한 ‘시스템 원 모델’의 첫 공개 제품이라고 부른다. 조기 접근 형태로 이용자를 받고 있으며, 개발자에게 어떤 결정을 자동화해야 하는지와 제브가 어디서 실패하는지 알려 달라고 요청했다.

이 구상에서 모델은 긴 답변을 작성하는 주인공이 아니다. 주변 프로그램이 정한 절차 안에서 분류하고, 경로를 고르고, 점수를 매기거나 다음 분기를 결정하는 부품에 가깝다. 알메이다가 내세운 목표도 AI가 소프트웨어에서 의존할 수 있는 인터페이스를 갖추는 것이다.

문자열 대신 정해진 선택과 확률

일반적인 LLM은 문자열을 생성하므로 답변, 코드, 설명을 폭넓게 만들 수 있다. 반면 프로그램이 그 결과를 쓰려면 필요한 값을 찾아 해석하고, 예상한 형식에 맞는지 확인해야 한다. 타입세이프 AI는 이 유연성이 사람과 대화할 때는 장점이지만, 정해진 판단을 반복하는 코드 안에서는 비용과 불확실성을 키운다고 본다.

제브는 상태 정보를 입력받아 미리 정의된 형식의 결정을 반환한다. 선택지 중 하나를 고르거나, 항목에 점수를 매기거나, 예·아니요에 해당하는 판단을 내리는 식이다. 각 답에는 확률과 신뢰도 정보가 붙는다. 회사는 이를 ‘비정형 상태를 넣으면 자료형이 정해진 확률적 결정이 나오는 함수 호출’에 비유한다.

여기서 자료형 안전성(출력이 약속된 종류와 구조를 지키는 성질)은 중요한 설계 목표다. 가능한 출력과 구조를 먼저 정하므로 모델이 그 밖의 형식으로 답하지 않는다는 게 회사 설명이다. 입력은 텍스트뿐 아니라 여러 텍스트 값을 담은 JSON 같은 구조화된 상태일 수도 있다. 다만 토론에 참여한 회사 측 설명에 따르면 입력은 현재 JSON 기반이며, 이미지 같은 다중양식 입력은 지원하지 않는다.

한 번에 내놓는 결정, 다른 방식으로 매기는 비용

타입세이프 AI는 새 모델 구조와 병렬 샘플러, ‘보정된 결정을 위한 강화학습(RLCD)’을 함께 개발했다고 밝혔다. 회사 설명대로라면 기존 LLM이 앞서 생성한 토큰(모델이 처리하는 텍스트 단위)을 바탕으로 다음 토큰을 순차적으로 만드는 것과 달리, 제브는 필요한 출력의 확률을 한 번의 질의에서 병렬로 낸다. RLCD는 사람이 선호하는 문장이나 정답 여부만이 아니라, 판단에 붙인 확률이 실제 정확도에 맞도록 훈련하는 접근이다.

회사 표에 제시된 제브의 입력 가격은 100만 토큰당 0.042달러이며, 출력 토큰에는 별도 요금을 매기지 않는다. 같은 표에서 기존 LLM의 입력 가격은 100만 토큰당 0.20~10달러, 출력 토큰은 입력보다 약 5배 비싸다고 비교했다. 그러나 제브는 애초에 자유로운 문장을 생성하지 않으므로, 출력 토큰 가격을 나란히 놓은 수치만으로 두 모델의 쓰임새가 같다고 볼 수는 없다.

응답 시간으로는 제브의 종단 간 처리 시간이 70500밀리초, 비교 대상인 최상위권 모델은 3329초라고 제시했다. 회사는 시스템 원 형태의 질의에서 비슷한 판단 수준을 놓고 보면 40~200배 빠를 수 있다고 주장한다. 이 수치는 긴 글이나 코드를 만드는 모든 작업의 속도 차이가 아니라, 구조화된 결정을 요구하는 작업에서 얻은 비교다. 회사도 간단히 나란히 비교하는 시연에는 짧고 정보가 빽빽한 입력을 써 제브에 유리한 면이 있다고 인정했다.

같은 워크플로에 넣어 본 평가

타입세이프 AI는 실제 코드 안에서 모델이 어떻게 작동하는지 보려고 별도의 워크플로 평가를 만들었다. 정답이 하나인 분류 문제만 채점하는 대신, 같은 코드상 작업 절차를 각 모델에 적용하고 외부의 강력한 모델들이 낸 확률의 평균을 기준으로 비교한다. 회사 홈페이지에 제시한 ‘193.6배 빠르고 444.6배 저렴하다’는 수치는 이 워크플로 평가에서 나왔다. 회사는 이 수치가 실제 환경에서 기대할 수 있는 이득의 상단에 가까울 것으로 예상한다고 덧붙였다.

이 평가가 겨냥하는 작업은 한 번에 답을 고르는 단순 분류보다 복잡하다. 회사 설명에 따르면 안정적인 업무 절차에는 서로 독립적인 질문이 여럿 있고, 최종 분기로 가기 전에 각 답의 확률에 따라 세부 동작이 달라진다. 모든 논리를 LLM의 사고 과정 안에서 처리하도록 프롬프트를 생성하는 방식도 비교했지만, 회사 평가에서는 코드를 통한 워크플로보다 성능이 낮은 경향을 보였다.

비교에는 해석할 조건도 있다. 기준 답은 GPT-6 아스트라(Astra)와 페이블(Fable) 5.1의 평균이며, LLM에는 회사 API와 호환되는 구조화된 결정을 내도록 자체 래퍼를 씌웠다. 타입세이프 AI는 이것이 LLM에서 정확한 결정을 얻는 방식이지만, 확률 없이 결정만 받는 방식보다 느리고 비쌀 수 있다고 설명했다. 평가용 워크플로도 모델 성능팀 구성원이 만들었으므로, 회사는 선택 편향의 가능성을 언급했다.

별도로 나란히 비교하는 시연에서는 제브와 GPT-5.6 테라(Terra)가 기록된 실행에서 ‘이탈 가능성 수준’을 제외하고 같은 판단을 내렸다고 회사는 설명했다. 그 한 항목의 답은 회사도 모호하다고 봤다. 시연에 쓰인 질문은 화면에서 이해하기 쉬운 이름으로 단순화됐고, 회사는 이를 실제 업무용 평가보다 가벼운 예로 구분한다.

형식 오류 0%와 판단 오류의 거리

회사는 제브가 정의된 출력 형식을 어기는 일이 없다고 강조한다. 도구 호출이 잘못된 형식으로 나오면 수정할 시간이 있는 대화형 작업과 달리, 응답 시간이 중요하거나 여러 소프트웨어 계층 안에 들어간 판단에서는 그런 오류가 치명적일 수 있다는 논리다. 회사가 도표에 표시한 오류율 0%는 관측된 오답률이 아니라, 지정된 출력 구조를 벗어나지 않는다는 설계상 보장이다.

이 구분은 ‘환각을 일으키지 않는다’는 회사 표현을 읽을 때도 필요하다. 제브가 존재하지 않는 출력 항목이나 잘못된 자료형을 만들어내지 않는다는 것과, 허용된 선택지 가운데 언제나 옳은 것을 고른다는 것은 다른 문제다. 확률 보정(높게 표시한 확신이 실제로도 높은 정답률에 대응하는 성질)이 잘 작동한다면 프로그램은 불확실한 답을 따로 처리할 수 있다. 하지만 그 확률을 어떻게 업무상 결재·검토·재질의로 연결할지는 여전히 주변 코드가 정해야 한다.

둠과 위키피디아에서 보여 준 쓰임새

타입세이프 AI는 실시간 판단 사례로 게임 둠(Doom)을 조작하는 시연을 내놓았다. 모델이 보는 것은 게임 화면 이미지가 아니라 텍스트를 포함한 구조화된 상태 데이터다. 회사는 기존 방식으로 만든 봇이 게임을 더 잘할 수 있다고 인정하면서도, 상태의 표현이 달라져도 지시를 따라 반응하는 AI를 보여 주는 데 목적이 있다고 설명했다. 초당 10회 질의하는 방식의 예상 비용은 시간당 약 7달러라고 밝혔다.

다른 시연은 위키피디아(Wikipedia)의 한 문서에서 출발해 링크만 따라 목표 문서에 도달하는 게임이다. 매번 수백 개에서 수천 개의 링크 가운데 다음 경로를 골라야 하므로, 존재하지 않는 선택지를 만들어내지 않는 특성이 중요해진다. 제브가 직접 다루는 선택지 수는 최대 255개이며, 이를 넘으면 후보를 따로 채점한 뒤 명시적으로 고르는 두 단계 방식을 쓴다. 회사는 이 과정에서 가끔 속도가 느려진다고 설명했다.

위키피디아 시연의 속도 향상 폭은 앞선 비교보다 작았다. 비교 대상 LLM 대부분을 추론을 강화하지 않은 모드로 실행했고, 아스트라도 가장 낮은 추론 설정을 사용했기 때문이다. 따라서 시연에서 제브가 더 적은 단계로 목적지에 도달한 장면은 흥미롭지만, 모델 설정을 바꾸면 비교 모습도 달라진다.

조기 접근을 여는 이유

제브는 현재 조기 접근 단계다. 타입세이프 AI는 대기 중인 개발자를 순차적으로 받아들이며, 실제로 어떤 결정에서 효과가 있고 어디에서 부족한지 확인하려 한다. 회사가 제시한 사용처는 분류·경로 지정·점수화뿐 아니라 대량 데이터 처리, 실시간 애플리케이션, 다른 LLM의 출력과 추론 과정을 검사하는 일까지 걸쳐 있다.

이름에는 제품의 방향이 담겼다. ‘시스템 원’은 대니얼 카너먼(Daniel Kahneman)이 구분한 빠르고 직관적인 사고에서 가져왔고, ‘제브’는 경제학자 윌리엄 스탠리 제번스(William Stanley Jevons)의 이름을 땄다. 회사는 지능을 쓰는 비용이 낮아지면 활용 수요가 늘어날 것으로 기대한다. 그 기대가 현실이 될지는 제한된 판단을 빠르게 반복하는 이 모델을 개발자들이 얼마나 안정적으로 워크플로에 끼워 넣느냐에 달렸다.

커뮤니티 의견

한 사용자는 발표문보다 문서를 읽어야 제품의 형태가 분명해진다고 했다. 상태 정보와 질문을 넣으면 선택·점수·예·아니요 판단이 확률과 함께 나온다는 설명이다. 회사 대표도 LLM의 출력 토큰과 제브의 출력을 비교하기 어렵다고 인정하며, 이런 결정을 각각 프로그램의 분기·정렬·조건문에 연결할 수 있다고 답했다.

또 다른 사용자는 범용 생성 능력을 포기하고 빠른 구조화 판단을 얻는 절충 관계가 제목부터 더 분명해야 한다고 지적했다. 코드까지 생성하는 모델과 제브의 속도를 직접 비교하면 기능 범위의 차이가 가려진다는 것이다. 특히 형식상 유효하지만 내용은 틀린 값을 고를 수 있으므로, ‘환각이 없다’는 표현에는 반론을 제기했다.

홈 어시스턴트 시연을 본 사용자는 제품의 쓰임새가 그제야 와닿았다고 말했다. 반면 답글에서는 요청을 나누는 등 더 복잡한 작업에 앤트로픽(Anthropic) 모델을 호출하는 장면이 보였다며 평가를 낮췄다. 제브가 전체 작업을 대신한다기보다, 다른 모델과 역할을 나누는 부품일 수 있다는 관찰이다.

소프트웨어의 계약 조건을 활용해 온 한 사용자는 제브의 빠른 판단을 계약의 사후 조건이나 작업 절차의 분기에 붙일 가능성을 떠올렸다. 이미 설계한 데이터 모델을 제브가 받는 형식으로 바꾸면 여러 단계를 잇는 작업을 더 촘촘하게 구성할 수 있다는 생각이다. 다만 본인도 실제로 가능한지는 더 검토해야 한다며 대기 명단에 올라 시험하겠다고 했다.

문서의 API 예시를 살핀 사용자는 고객 문의가 청구 문제인지, 어조가 어떤지, 얼마나 급한지를 각각 다른 형태의 질문으로 묻는 구성이 발표문보다 이해하기 쉽다고 봤다. 답글에서는 코드 규칙과 텍스트 설명, AI 판단을 연결하는 부분이 지나치게 번거로워 보인다는 불만도 나왔다. 모델 호출이 빨라져도 이를 업무 규칙에 맞게 정의하는 작업까지 사라지는 것은 아니라는 지적이다.

실제 업무에서 이미 LLM의 출력 범위를 좁혀 구조화된 값만 받는다는 사용자는 제브의 방향에 공감했다. 확정적으로 처리할 일은 코드로 빼고, 모델에는 최소한의 선택만 맡기는 방식이다. 제브가 주장한 속도와 신뢰도 정보를 구현해 낸다면 에이전트 시스템의 일반적인 구성 방식이 될 수 있다고 기대했다.

속도 수치에 회의적인 사용자도 있었다. 긴 사고 과정을 거치는 LLM과 문장 생성을 하지 않는 제브의 시간을 나란히 놓는 것은 비교 조건을 따져야 한다는 주장이다. 이에 대한 답글은 위키피디아 링크 탐색처럼 목표를 함께 수행한 평가라면 비교할 이유가 충분하다고 맞섰다. 쟁점은 빠르다는 사실 자체보다 같은 품질의 판단을 얻기 위해 무엇을 함께 실행했는지다.

마지막으로 한 사용자는 별도 모델 업체를 직접 추가하는 데 따르는 개인정보·보안·구매 검토를 걱정했다. 기존에 쓰는 모델 허브나 클라우드 경로로 제브 같은 기능에 접근할 수 있다면 도입이 쉬울 것이라는 의견이다. 답글에서는 중개 경로가 오히려 보안과 개인정보 보호에 적합한지 따져야 한다는 반론이 나왔다.

핵심 통찰

제브가 바꾸려는 것은 AI가 답을 잘 쓰는 방식이 아니라, 프로그램이 AI의 판단을 받는 방식이다. 정해진 형식과 확률을 빠르게 돌려주는 모델은 사람이 매번 결과를 읽어 정리하던 단계를 코드 안의 분기로 옮길 수 있다. 다만 형식 오류가 없다는 보장만으로 잘못된 결정을 막을 수는 없다. 앞으로 볼 것은 시연 속 최고 속도보다 실제 워크플로에서 확률이 얼마나 정확하게 보정되는지, 실패한 판단을 주변 코드가 어떻게 처리하는지, 그 구성을 만드는 수고까지 포함해 이득이 남는지다.


원본: Introducing System One Models & Jev - TypeSafe AI Blog

토론: Hacker News