오픈라우터에서 같은 모델이 다르게 답하는 이유

모 무스타파(Mo Moustafa)는 같은 AI 모델을 오픈라우터(OpenRouter)에서 호출해도 어느 업체가 실행하느냐에 따라 성능과 응답 형식이 크게 달라진다고 지적했다. 그는 아이메시지(iMessage)에서 작동하는 AI 비서 올리(Olly)를 운영하며 1,800만 건 넘는 메시지를 처리했고, 그중 약 3분의 1을 오픈라우터를 거친 오픈 모델로 처리했다. 이 글은 모델 선택만큼 제공 업체 선택이 중요하다는 사실을 벤치마크, 이미지 인식 오류, 빈 응답, 장애 사례로 보여준다. 여러 업체를 자동으로 오가는 편리함이 실제 서비스에서는 어떤 검증 부담을 낳는지 살펴볼 만하다.

핵심 요약

  • 무스타파가 운영하는 올리는 1,800만 건 넘는 메시지 중 약 3분의 1을 오픈라우터를 통한 오픈 모델로 처리했고, 그 과정에서 같은 모델도 제공 업체마다 다르게 작동한다는 문제를 겪었다.
  • 동일한 딥시크 모델의 도구 호출 벤치마크 점수는 업체에 따라 81%와 58%로 갈려, 에이전트 서비스에서는 모델 이름만 보고 품질을 예상하기 어렵다.
  • 일부 이미지 모델 제공 업체는 입력 이미지를 제대로 처리하지 못하면서도 정상 응답을 반환해, HTTP 성공 여부와 실제 작업 성공 여부를 따로 확인해야 한다.
  • 추론 강도 설정, 양자화 정보, 도구 호출 형식, 대화 기록 처리 규칙이 업체마다 달라, 서비스 운영에는 업체별 검증과 예외 처리가 필요하다.
  • 신뢰하던 업체 세 곳을 지정해도 접속 제한과 모델 제공 중단이 겹쳐 장애가 났다는 사례는 업체 고정만으로 안정성을 확보하기 어렵다는 점을 보여준다.

같은 모델을 누가 실행하는가

무스타파는 모델과 제공 업체를 구분하는 데서 이야기를 시작한다. 모델은 학습된 가중치이고, 제공 업체는 그 모델을 자체 GPU에서 실제로 실행하는 곳이다. 업체마다 연산 정밀도와 최적화 방식, 도구 호출을 해석하는 코드가 다르다. 따라서 오픈라우터에서 모델 하나를 골라도 실제 요청은 서로 다른 운영 방식을 가진 여러 업체 중 한 곳으로 향할 수 있다.

이 차이는 모델을 교체할 때만 생기는 문제가 아니다. 무스타파에 따르면 딥시크(DeepSeek) 모델 하나를 요청해도 약 20개 업체 중 어디로 연결되느냐에 따라 결과가 달라진다. 같은 가중치를 제공한다는 표기만으로 응답 품질이나 형식까지 같다고 기대하기 어렵다는 뜻이다. 그가 올리의 운영 경험을 열 가지 주의점으로 정리한 이유도 여기에 있다.

도구 호출 점수는 81%와 58%

첫 번째 차이는 벤치마크에서 드러난다. 오픈라우터가 제공 업체별로 측정한 딥시크 V4 플래시 0731(DeepSeek V4 Flash 0731)의 점수를 보면, 딥시크가 직접 제공한 경우 GPQA 다이아몬드(GPQA Diamond, 지식 문제 평가)는 90%, TAU-벤치 에어라인(TAU-Bench Airline, 도구 호출을 포함한 작업 평가)은 81%였다. 같은 가중치를 제공한 디지털오션(DigitalOcean)은 각각 75%, 58%를 기록했다. 모델 이름은 같지만 작업 수행 결과는 크게 벌어진 셈이다.

무스타파는 특히 도구를 써서 일을 처리하는 에이전트라면 TAU 점수를 봐야 한다고 강조한다. 상당수 호스팅 업체의 도구 호출 점수는 딥시크가 직접 제공한 경우보다 5~7%포인트 낮았고, 그가 제시한 7월 사례에서는 파이어웍스(Fireworks)가 46%에 그쳤다. 업체의 순위도 모델이 바뀌면 그대로 유지되지 않았다. 그는 자기 서비스의 작업과 가까운 벤치마크를 확인하고, 모델을 바꿀 때 다시 비교하라고 권한다.

이미지를 받는다고 해서 보는 것은 아니다

이미지 입력을 지원한다고 표시된 모델에서도 업체별 차이가 나타났다. 무스타파는 글자 한 개, 단색 화면, 배경 위의 단어로 이뤄진 작은 이미지 세 장을 두 오픈 비전 모델의 여러 제공 업체에 보냈다. 딥인프라(DeepInfra)의 퀀(Qwen) 엔드포인트는 K를 R로 읽고 빨간색을 파란색이라고 답했다. ‘umbrella’라는 단어에는 글자를 읽는 대신 엉뚱한 묘사를 내놨지만, 같은 가중치를 제공한 다른 업체 네 곳은 세 이미지를 모두 맞혔다.

미니맥스(MiniMax) 모델을 제공한 베니스(Venice)와 투게더(Together)에서는 이미지가 아예 전달되지 않았다. 더 곤란한 점은 이런 경우에도 요청 자체는 HTTP 200이라는 성공 상태로 끝날 수 있다는 것이다. 모델 소개에 이미지 입력 지원이라고 적혀 있어도, 연결된 업체가 해당 입력을 실제로 처리하는지는 별도로 확인해야 한다.

추론 강도와 양자화가 말해주지 않는 것

추론 강도를 지정하는 reasoning.effort 설정도 입력을 받아들이는 것과 실제 반영하는 것은 별개였다. 무스타파는 딥시크 V4 플래시 0731을 제공하는 업체별로 낮음·높음·최대 설정을 각각 세 차례 시험하고, 추론 과정에 사용된 토큰 수를 살폈다. 그는 설정값만 전달한 뒤 효과가 있을 것이라고 가정하지 말고, 업체별로 추론 토큰이 어떻게 달라지는지 추적하라고 조언한다. 같은 요청 형식을 지원해도 모델과 제공 업체의 조합에 따라 작동이 다를 수 있어서다.

양자화(모델 수치를 더 적은 비트로 표현하는 방식) 표기도 품질을 대신 설명하지 못했다. 무스타파는 한 달 동안 딥시크 요청에 fp8 정밀도 필터를 적용한 뒤 업체별 점수와 표기를 비교했다. fp4 업체는 fp8 업체들 사이의 중간 수준에 있었고, GPQA 점수가 가장 낮은 세 업체에는 fp4, fp8, 정밀도 미표기 업체가 하나씩 포함됐다. 그는 정밀도만으로 업체를 걸러내면 장애 때 대체할 수 있는 업체까지 줄어든다며, 비트 수보다 실제 성능표를 기준으로 삼으라고 제안한다.

도구 호출이 답변 텍스트로 새어 나올 때

에이전트는 모델이 도구 사용을 요청하면 제공 업체가 이를 구조화된 호출로 해석하고, 서비스 코드가 실행하는 방식으로 움직인다. 그런데 제공 업체의 해석기가 호출을 놓치면 검색 도구를 쓰라는 지시가 일반 답변 텍스트에 그대로 나타날 수 있다. 무스타파는 이런 일이 업체에 따라 다른 빈도로 반복된다고 설명한다. 서비스가 도구 호출을 받았다고 믿고 다음 단계로 넘어가기 전에, 실제 응답 형식을 확인해야 하는 이유다.

그는 결국 자기 코드에서도 새어 나온 도구 호출을 판별해야 한다고 말한다. 완전히 감싸진 도구 호출과 일부만 감싸진 응답은 서로 다르게 처리해야 한다는 점도 짚었다. 정상적인 구조화 호출만 예상해 만든 에이전트라면, 모델이 도구를 쓰려 했는데도 사용자에게 호출 문법을 보여주거나 작업을 중단할 수 있다. 업체별 오류가 응답 형식의 문제로 서비스 안쪽까지 들어오는 셈이다.

HTTP 200인데 보여줄 답이 없다

성공 상태 코드는 답변의 존재를 보증하지 않는다. 무스타파가 겪은 한 경우에는 추론 모델이 내용을 추론 필드에만 넣고, 사용자에게 보여줄 본문은 null로 반환했다. 완료 토큰 345개가 기록되고 요청은 HTTP 200으로 끝났지만, 화면에 표시할 답은 없었다. 그는 본문도 도구 호출도 없다면 실패로 간주해 다시 시도해야 한다고 말한다.

이와 별도로 추론 내용과 본문이 모두 비어 있고 사용량 정보마저 없는 ‘빈 껍데기 완료’도 있었다. 무스타파에 따르면 7월에는 스트림레이크(StreamLake)가 딥시크 요청 트래픽의 약 20%를 처리하면서 빈 응답의 92%를 차지했다. 한 달 뒤에는 투게더에서도 딥시크 0731 모델을 대상으로 같은 현상을 겪었다. 두 사례는 단순히 본문이 없는 응답과 기록 자체가 거의 남지 않는 응답을 구분해 감시할 필요를 보여준다.

대화 기록 규칙과 접속 위치까지 다르다

에이전트가 도구를 사용한 뒤 이전 대화를 다시 모델에 보낼 때도 업체별 규칙이 엇갈렸다. 딥시크의 추론 모드는 reasoning_content라는 추론 내용을 담는 필드를 쓰는데, 도구 호출 과정에서는 이 값이 비어 있을 수 있다. 무스타파에 따르면 같은 기록을 실리콘플로(SiliconFlow)에 보내면 해당 필드를 다시 전달해야 한다는 오류가 났지만, 바이두(Baidu)·알리바바(Alibaba)·클라우드플레어(Cloudflare)는 받아들였다. 그렇다고 도구 사용 기록을 빼면 모델이 같은 일을 다시 시도할 수 있어, 기록을 유지하면서 업체별 요구에 맞춰야 한다.

시험 요청을 어디서 보내는지도 결과를 바꿨다. 베니스와 노비타(Novita)는 무스타파의 맥에서는 딥시크 요청에 정상 응답했지만, 실제 서비스 인프라에서 보낸 점검 요청에는 거의 매번 429 오류를 반환했다. 그는 같은 키를 같은 시간대에 썼다는 점에서 IP별 요청 제한을 의심한다. 노트북에서의 성공을 운영 환경의 성공으로 받아들이지 말고, 서비스가 돌아가는 곳에서 여러 차례 시험하라는 조언이다.

세 업체를 지정했는데도 올리는 멈췄다

여러 문제를 피하려고 신뢰할 만한 제공 업체만 지정하는 방법도 있다. 무스타파는 클라우드플레어, 바이두, 알리바바 세 곳을 순서대로 지정하고 다른 업체로 자동 전환하는 기능을 껐다. 하지만 2주 뒤 바이두는 요청 제한 오류를 내기 시작했고, 클라우드플레어는 해당 모델을 더는 제공하지 않았다. 모든 요청이 알리바바로 몰린 뒤 그곳에서도 429 오류가 발생했다.

그 결과 무스타파가 오픈라우터에서 가장 인기 있는 모델이라고 소개한 딥시크 V4 플래시를 쓰는 올리도 멈췄다. 이 사례는 아무 업체로나 연결하는 방식과 검증한 업체만 고정하는 방식이 각기 다른 위험을 가진다는 점을 드러낸다. 전자는 예기치 않은 품질 차이에, 후자는 지정한 업체들의 동시 장애나 제공 중단에 취약하다. 모델을 고르는 일만큼 현재 어느 업체가 그 모델을 안정적으로 제공하는지 계속 확인하는 일이 중요해졌다.

커뮤니티 의견

한 사용자는 자신의 이용 규모는 훨씬 작지만, 업체를 자유롭게 바꿔 쓸 수 있다는 기대와 실제 경험 사이의 간극에 공감한다고 했다. 업체를 고정하지 않으면 성능과 기능이 흔들리고, 고정하더라도 안정성을 장담하기 어렵다는 주장이다. 반면 답글에서는 여러 업체의 계정과 잔액, 인증 정보를 따로 관리하지 않아도 된다는 것만으로도 오픈라우터가 쓸모 있으며, 검증한 업체 한 곳을 지정해 위험을 줄인다는 의견이 나왔다.

다른 사용자는 토큰 캐싱(반복되는 입력의 처리 결과를 재사용하는 기능)이 제대로 작동하지 않는 업체가 경로에 새로 들어올 때 비용 절감 효과가 사라졌다고 말했다. 로그를 보면 캐시되지 않는 요청이 늘어나는 패턴이 분명했다며, 이를 더 빨리 감지해야 한다고 주장했다. 이에 오픈라우터 측은 캐싱을 크게 개선했고 모델 페이지의 성능 영역에 업체별 캐시 비율을 게시한다고 답했다.

업체 간 점수 차이가 공개되지 않은 양자화 때문일 수 있다는 추측도 나왔다. 다만 답글에서는 업체가 양자화 수준을 밝히더라도 비트 수가 높다고 반드시 더 좋은 점수가 나오는 것은 아니라며, 무스타파의 비교 결과를 짚었다. 또 다른 사용자는 오픈라우터가 업체들을 정기적으로 평가하고 품질이 낮은 곳을 피하도록 해주는 일이야말로 중개 서비스의 역할이라고 봤다.

빈 응답을 겪었다는 사용자는 HTTP 200과 비어 있는 content를 보고 자신의 코드부터 거듭 점검했다고 말했다. 또 다른 사용자는 GLM-5.2 제공 업체에서 비정상적인 파일 반복 읽기 때문에 입력 처리량과 요금이 늘어난 경험을 전했다. 그는 오픈라우터가 새 모델을 시험하기에는 좋지만, 느리거나 품질이 낮은 업체를 만나면 시간과 비용을 치러야 한다고 평가했다.

실제 서비스에 오픈라우터를 쓰는 사용자는 달리기 기록 앱의 실시간 코칭과 운동 후 분석을 위해 여러 모델을 비교해 왔다고 밝혔다. 그동안 이유 없이 모델 성능이 떨어진다고 느낀 적이 있었다며, 앞으로는 평가 대상에 모델뿐 아니라 제공 업체도 포함하겠다고 했다. 같은 모델의 점수가 흔들릴 때 무엇을 함께 기록해야 하는지에 관한 반응이다.

오픈라우터의 공동창업자 겸 최고운영책임자라고 밝힌 사용자는 다양한 업체의 처리 용량을 손쉽게 쓰게 하는 목표와 폭넓은 가격·성능·데이터 정책 선택지를 제공하는 목표가 때로 충돌한다고 설명했다. 그는 실제 엔드포인트의 벤치마크를 지속적으로 측정하고, 성능이 기준에서 크게 벗어나는 업체를 기본 경로에서 제외한다고 밝혔다. 이미지 입력 문제에 대해서는 잘못된 동작이라고 인정하고 고치겠다고 답했다.

연구에 오픈라우터를 쓰던 한 사용자는 이런 차이를 보고 결과의 일관성을 다시 생각하게 됐다고 했다. 답글에서는 연구에 일관성이 중요하다면 제공 업체와 실행 환경을 면밀히 검증해야 한다며, 여러 호스팅 경로에서 결과가 지나치게 달라 결국 GPU를 빌려 직접 모델을 실행했다는 경험이 나왔다. 대안을 묻는 질문과 함께, 편리한 경로 선택보다 실행 환경의 통제가 우선일 수 있다는 의견이 이어졌다.

추론 시스템 운영 자체가 어렵다는 의견도 있었다. 여러 GPU와 노드에서 모델을 실행할 때는 설정이 잘못돼도 겉으로는 응답이 나올 수 있어 문제를 발견하고 원인을 찾기가 쉽지 않다는 것이다. 반대로 한 사용자는 업체까지 고를 수 있다는 유연성이 오픈라우터의 장점이라고 평가했다. 또 다른 사용자는 모델을 한 계정에서 바꿔 쓰고 충전한 금액 안에서 비용을 관리할 수 있어, 품질 차이를 느끼면서도 계속 이용한다고 말했다.

핵심 통찰

오픈라우터가 단순한 모델 선택창이 아니라 여러 실행 환경을 연결하는 서비스라는 점이 이번 사례의 핵심이다. 자동 경로 선택은 접속을 편하게 만들지만, 같은 가중치 아래 숨은 품질·형식·요청 제한의 차이까지 없애지는 못한다. 운영자는 모델별 점수뿐 아니라 실제 서비스 위치에서의 응답, 도구 호출, 빈 결과, 캐싱을 업체별로 살펴야 한다. 앞으로 지켜볼 것은 오픈라우터가 이런 차이를 얼마나 빨리 감지해 기본 경로에서 걸러내는지, 그리고 이용자가 필요한 업체를 통제하면서도 장애 때 대체 경로를 확보할 수 있는지다.


원본: So you want to use OpenRouter? — Mo Moustafa

토론: Hacker News