클로드 페이블 5.2, 지능 65점의 비용

앤트로픽(Anthropic)의 클로드 페이블 5.2(Claude Fable 5.2) 최대 추론 설정이 아티피셜 애널리시스(Artificial Analysis) 지능 지수에서 65점을 기록했다. Hacker News에서는 이를 지금까지의 최고 점수로 소개했지만, 같은 평가에서 드러난 작업당 비용과 응답 시간도 눈길을 끈다. 이 모델은 비슷한 가격대의 비교 대상보다 높은 점수를 받는 대신 훨씬 많은 토큰을 생성하고 오래 걸렸다. 최고 성능을 사려면 무엇을 더 지불해야 하는지 보여 주는 사례다.

핵심요약

  • 클로드 페이블 5.2의 최대 추론 설정은 지능 지수 65점으로, 비슷한 가격대 모델의 중앙값 40점을 크게 웃돌았다.
  • 지능 지수 평가에서 생성한 출력 토큰은 2억7500만 개로 비교 대상 중앙값 7280만 개보다 많아, 높은 점수에 긴 출력이 동반됐다.
  • 평가 작업당 평균 비용은 26.54달러이고 입력·출력 토큰 가격도 각각 비교 대상 중앙값의 네 배여서 비용 부담이 크다.
  • 작업당 시간은 44.4분, 첫 답변 토큰까지의 시간은 230.35초로 집계돼 빠른 왕복 대화에는 불리한 모습이다.
  • 토론에서는 최대 추론 설정 대신 높은 수준이나 중간 수준을 비교해야 실제 사용에 가까운 판단이 가능하다는 의견이 나왔다.

65점이 가리키는 모델

아티피셜 애널리시스가 평가한 대상은 클로드 페이블 5.2의 ‘최대 추론·기본 대체 설정’이다. 이 모델의 지능 지수는 65점으로, 비슷한 가격대 모델의 중앙값 40점보다 높다. 사이트는 이를 지능 면에서 선두권에 속하는 모델로 평가하면서도, 비슷한 모델과 견주면 특히 비싸고 작업당 처리 시간이 길며 출력량도 많다고 설명한다. 점수 하나만 보면 놓치기 쉬운 조건들이 평가 요약에 함께 적혀 있는 셈이다.

클로드 페이블 5.2는 2026년 11월 9일 출시된 비공개 모델이다. 평가 페이지는 복잡한 문제를 풀기 전에 추가로 사고하는 추론 모델 버전을 보여 주며, 비추론 버전이 따로 있을 가능성도 언급한다. 모델 가중치는 공개되지 않았고 앤트로픽도 모델 크기나 매개변수 수를 밝히지 않았다. 따라서 이 페이지에서 직접 비교할 수 있는 것은 내부 규모가 아니라 관측된 성능, 출력량, 가격, 속도다.

‘비슷한 모델’은 어떻게 골랐나

65점 옆의 중앙값을 읽으려면 비교 집단부터 확인해야 한다. 아티피셜 애널리시스는 모델 유형에 따라 비교 범위를 달리 잡는다. 비추론 모델은 다른 비추론 모델과 비교하지만, 추론 모델은 추론·비추론 모델을 모두 포함해 비교한다. 공개 가중치 모델에는 크기별 구간을 적용하고, 비공개 모델에는 가격대를 기준으로 공개 가중치 모델까지 포함한다.

비공개 모델의 가격대는 입력과 출력 가격을 3대 1로 혼합한 비율로 나눈다. 백만 토큰당 0.15달러 미만, 0.15~1달러, 1달러 초과가 구간이며, 평가 페이지에는 같은 분류에 속한 모델이 237개로 표시된다. 여기서 중앙값 40점은 모든 AI 모델의 보편적인 평균이 아니다. 페이블 5.2와 비교하도록 설정된 집단 안에서 읽어야 할 기준점이다.

이 구분은 ‘점수가 몇 점 더 높다’는 말의 범위를 정한다. 같은 가격대에서 높은 점수를 받은 사실과, 그 점수를 얻는 데 드는 비용이 합리적인지는 별개의 질문이다. 특히 최대 추론 설정은 모델이 문제를 풀기 위해 얼마나 많은 토큰을 쓰는지에 영향을 줄 수 있다. 토론에서 설정별 비교를 요구한 이유도 이 지점과 맞닿아 있다.

지식부터 터미널 작업까지 묶은 지수

지능 지수 5.0.1은 하나의 시험 결과가 아니라 여러 평가를 합친 지표다. 구성 항목에는 지식 작업을 다루는 AA-브리프케이스, 자동화 작업 평가, 터미널·코딩 평가, 과학 분야 터미널 작업, 일반 지식과 전문 문서 추론 평가 등이 들어간다. 평가 페이지는 이 지수가 지식 작업, 코딩, 과학, 일반 지식을 가로지른다고 설명한다. 따라서 65점은 특정 업무 한 가지의 성공률이 아니라 여러 과제를 결합한 결과다.

페이지는 지능 지수 외에도 능력별 지표를 따로 제시한다. 금융·회계, SaaS 업무 흐름, 오픈소스 저장소의 소프트웨어 엔지니어링, 법률 작업, 의료 분야의 긴 문맥 추론, 시각적 추론처럼 쓰임새가 서로 다른 항목들이다. 실제로 필요한 일이 코딩인지 문서 분석인지에 따라 살펴볼 평가도 달라진다. 종합 점수가 모델을 추리는 출발점이라면, 세부 지표는 해당 작업과의 거리를 확인하는 수단이다.

평가 페이지는 답변의 성격도 별도로 구분한다. 예컨대 AA-옴니사이언스 지표는 맞힌 답에 보상을 주고 사실과 다른 답에는 불이익을 주지만, 답변 거부에는 불이익을 주지 않는 방식으로 지식의 신뢰성을 본다. 잘 쓰인 문장, 훑어보기 쉬운 구성, 불확실성을 인정하는 태도, 상투적 표현의 사용도 살펴보는 항목으로 제시된다. 높은 종합 점수가 곧 모든 답변에서 같은 품질을 뜻하는 것은 아니므로, 어떤 오류를 피하고 싶은지도 평가 선택에 중요하다.

출력 토큰 2억7500만 개의 무게

페이블 5.2는 지능 지수 평가 과정에서 출력 토큰 2억7500만 개를 생성했다. 비교 대상의 중앙값은 7280만 개로, 평가 페이지는 이 모델을 출력량이 특히 많은 편으로 분류한다. 여기서 토큰은 모델이 처리하거나 만들어 내는 텍스트 단위이며, 추론 과정에서 쓰는 토큰도 비용과 처리 시간에 영향을 준다. 같은 시험에서 좋은 점수를 받아도 그 과정에 필요한 출력량이 다르면 사용 경험과 지출이 달라진다.

앤트로픽 API 기준 가격은 입력 백만 토큰당 8달러, 출력 백만 토큰당 40달러다. 각각 비교 대상 중앙값인 2달러와 10달러의 네 배다. 캐시에서 재사용한 입력, 새 입력, 출력의 비율을 7대 2대 1로 섞어 계산한 가격은 백만 토큰당 5.74달러로 제시된다. 다만 제공 업체에 따라 실제 가격은 달라질 수 있다.

지능 지수의 평가 작업당 평균 비용은 26.54달러다. 이 수치는 입력과 출력만 단순히 더한 값이 아니라 캐시 적중·기록, 추론, 답변 토큰 가격을 반영하고 각 평가의 비중에 따라 가중한 결과다. 따라서 API의 백만 토큰당 단가와 작업당 비용은 서로 다른 질문에 답한다. 전자가 사용량의 가격표라면, 후자는 해당 평가 작업을 끝내기 위해 실제로 얼마나 많은 처리가 필요했는지를 보여 준다.

이미지 입력과 100만 토큰 문맥

이 모델은 텍스트와 이미지를 입력받고 텍스트를 출력한다. 이미지의 내용을 분석하거나 이에 관한 질문에 답할 수 있지만, 평가 페이지에 제시된 출력 형식은 텍스트다. 문맥 창(한 번의 요청에서 함께 처리할 수 있는 입력과 출력의 최대 범위)은 100만 토큰이다. 긴 문서나 대화 기록을 다루는 작업에 참고할 만한 사양이지만, 출력 토큰에는 모델마다 별도로 더 낮은 한도가 적용될 수 있다.

페이지는 긴 문맥 창이 대량의 자료에서 정보를 찾아 답변을 만드는 검색 증강 생성(RAG) 작업에 관련된다고 설명한다. 다만 입력을 넉넉히 담을 수 있는 능력과 그 입력을 경제적이고 빠르게 처리하는 능력은 다르다. 페이블 5.2는 여섯 곳의 API 제공 업체를 통해 이용할 수 있으며, 앞서 제시된 가격과 속도 수치는 앤트로픽 API를 기준으로 한다. 제공 경로를 고를 때도 지원 기능뿐 아니라 가격 조건을 함께 살필 필요가 있다.

44.4분의 작업, 230초의 첫 답변

아티피셜 애널리시스가 집계한 지능 지수 작업당 시간은 44.4분이다. 비슷한 가격대 모델의 중앙값 12.8분보다 길다. 이 지표는 각 평가의 작업당 출력 토큰 수를 출력 속도로 나눈 뒤 평가 비중에 따라 가중한 평균이다. 단순히 모델에 질문 하나를 보내고 벽시계로 잰 시간이 아니라, 지능 지수의 작업량과 생성 속도를 결합한 수치다.

사용자가 체감할 기다림에 더 가까운 수치로는 ‘첫 답변 토큰까지의 시간’이 있다. 페이블 5.2는 앤트로픽 API에서 230.35초로, 비교 대상 중앙값 12.09초보다 길었다. 추론 모델에서는 이 시간이 답변을 내놓기 전 사고하는 과정까지 포함한다. 긴 문제를 맡기는 경우와 짧은 질문을 주고받는 경우에 같은 지연이 다르게 받아들여질 수 있는 이유다.

속도 지표의 집계 방식도 구분해야 한다. 페이지는 작업당 시간 외에 요청부터 마지막 토큰까지 추론 토큰을 포함해 계산하는 종단 간 출력 속도와 첫 토큰까지의 지연을 제시한다. 속도·지연 지표는 최근 5일간 각 접속 지점의 실행을 평균하며, 평가 작업은 6시간마다 수행한다고 설명한다. 65점이 능력의 한 면이라면, 26.54달러와 44.4분, 첫 답변까지 230.35초는 그 능력을 꺼내 쓰는 조건이다.

커뮤니티 의견

한 사용자는 점수보다 작업당 비용을 보라고 했다. 이전 버전도 이미 비쌌는데 5.2에서는 작업당 출력 토큰이 11만8000개에서 27만4000개로 늘었다는 주장이다. 이에 최대 추론 설정에서 나온 수치이며 권장되는 높은 수준 설정은 토큰을 훨씬 적게 쓴다는 답글이 달렸다.

다른 사용자는 점수와 작업 시간의 조합을 중시했다. 5.2의 낮은 수준과 중간 수준 설정이 시간 대비 지능에서 매력적인 선택지로 보이며, 모델과 질문을 주고받는 속도를 판단하는 데 이 비교가 유용하다고 했다. 최대 설정 하나만으로 제품 전체의 속도를 평가하지 말자는 관점이다.

가격 경쟁력을 의심하는 의견도 나왔다. 한 사용자는 딥시크 플래시(DeepSeek-Flash)처럼 성능이 괜찮은 저렴한 모델과 비교하면 앤트로픽 모델의 추가 성능에 붙는 가격이 지나치다고 주장했다. 반대로 작은 성능 향상이 이전에는 안정적으로 처리하지 못했던 경제적 가치가 큰 작업을 가능하게 한다면, 그 차이의 값이 오히려 클 수 있다는 답글도 이어졌다.

또 다른 사용자는 비용 증가에 비해 지능 점수 상승이 크지 않아 보인다고 했다. 다만 벤치마크보다 실제 작업에서 차이가 더 뚜렷할 가능성은 열어 뒀다. 답글에서는 특히 최대 추론 설정을 기본 비교 화면에 놓는 방식이 문제라며, 높은 수준이나 중간 수준 설정에서는 속도와 작업당 비용이 더 나은 상태에서 성능 향상을 볼 수 있다고 지적했다.

평가 자체를 경계하는 목소리도 있었다. 한 사용자는 평가 기관과 AI 기업의 관계, 공개되지 않은 시험 내용을 들어 다른 벤치마크를 기다리겠다고 했다. 이에 방법론은 공개돼 있으며 시험 문제까지 전부 공개하면 모델이 해당 문제에 맞춰 학습될 수 있다는 반론이 나왔다. 논쟁의 초점은 65점이라는 숫자뿐 아니라 그 숫자를 만드는 평가 절차를 어디까지 신뢰할 것인가에 있었다.

개발자와 기업의 지출을 기준으로 효율성 그래프를 보자는 의견도 제시됐다. 이 사용자는 같은 지능 점수를 얻는 데 드는 비용을 비교해야 한다고 강조했다. 답글은 저렴한 모델이 아예 해결하지 못하는 작업이라면 가격만으로 선택할 수 없다고 맞섰다. 비용 최적화가 유효하려면 먼저 필요한 작업을 끝낼 수 있어야 한다는 지적이다.

사용 사례에 따라 평가는 달랐다. 한 사용자는 3D 모델링에서 5.1이 기능 요구는 맞췄지만 결과물이 보기 좋지 않을 때가 있었고, 5.2는 더 단순하고 효율적인 형태로 보여 외관도 나아졌다고 전했다. 이는 점수표보다 특정 작업의 완성도를 중시하는 경험담이다. 다만 그 사용자가 느낀 차이는 자신의 작업에 관한 평가로 읽는 편이 적절하다.

다른 사용자는 페이블을 모든 일을 수행하는 주력 모델보다 계획을 세우거나 검토하는 모델로 봤다. 이런 역할이라면 가장 성능이 좋은 모델에 더 지불할 이유가 있지만, 이번 비용 상승이 그 용도마저 부담스럽게 만드는지는 궁금하다고 했다. 모델을 얼마나 자주 호출하고 어떤 단계에 배치하느냐가 가격 판단의 핵심이라는 시각이다.

핵심통찰

페이블 5.2의 65점은 더 높은 추론 성능을 원하는 사용자에게 눈에 띄는 수치다. 그러나 최대 추론 설정에서 출력 토큰과 작업 시간이 크게 늘어난 만큼, 선택 기준도 종합 점수에서 ‘내 작업을 어느 설정으로, 얼마에, 얼마나 기다려 끝내는가’로 옮겨가야 한다. 지켜볼 대목은 높은 수준·중간 수준 설정의 효율과 실제 작업에서의 성능 차이다. 비싼 모델이 확실히 해결하는 어려운 일에 집중될지, 일상적인 왕복 작업에도 쓰일지는 그 비교가 가를 것이다.


원본: Claude Fable 5.2 (max) - Intelligence, Performance & Price Analysis | Artificial Analysis

토론: Hacker News