IBM “공개 가중치 AI, 사내 운영할 만큼 저렴해졌다”

아이비엠(IBM) 최고경영자 아르빈드 크리슈나(Arvind Krishna)는 공개 가중치 AI 모델이 이제 기업 내부에서 직접 운영할 만큼 성능은 좋아지고 비용은 낮아졌다고 주장했다. 최상위 모델의 약 90% 성능을 훨씬 낮은 토큰 비용으로 얻을 수 있어, 많은 업무에 가장 비싼 모델이 필요하지 않다는 판단이다. 다만 기업이 서버를 사들이는 것만으로 이런 계산이 성립하지는 않는다. 모델을 안정적으로 돌릴 인력과 기술, 실제 사용량까지 따져야 한다는 점에서 AI 운영 방식의 선택을 둘러싼 발언이다.

핵심요약

  • 크리슈나는 공개 가중치 모델과 최상위 폐쇄형 모델의 성능 격차가 줄어, 기업이 업무별로 더 저렴한 모델을 선택할 여지가 커졌다고 말했다.
  • 그가 제시한 공개 가중치 모델의 토큰 비용은 최상위 모델의 10~25% 수준으로, 이메일·계약서·고객 응대처럼 사용량이 많은 업무에서 비용 차이가 중요해진다.
  • 아이비엠은 기업이 서버 랙 두세 개로 유용한 AI 인프라를 구축할 수 있다고 보지만, GPU 배치와 네트워크·캐시 운영에는 전문 인력이 필요하다고 짚었다.
  • 아이비엠의 분기 매출은 5% 늘었으나 인프라 매출 증가율은 경쟁사보다 낮아, 사내 AI 수요를 실제 사업 성과로 연결하는 일이 관건이다.
  • 토론에서는 데이터 통제권을 얻는다는 기대와 함께 장비값, 가동률, 운영 부담을 포함해 클라우드 서비스와 비교해야 한다는 반론이 나왔다.

70 대 20에서 좁혀진 모델 격차

크리슈나는 3분기 실적 발표에서 공개 가중치 모델이 온프레미스(기업 자체 시설에 시스템을 설치해 운영하는 방식) AI에 적합해졌다고 말했다. 공개 가중치 모델은 학습된 모델의 가중치를 받아 자체 인프라에서 실행할 수 있는 모델을 뜻한다. 그의 설명에서 출발점은 가격보다 성능이었다. 2024년에는 폐쇄형 최상위 모델이 폭넓은 평가에서 뚜렷하게 앞섰다는 것이다.

크리슈나는 당시 최고 모델이 70점을 받는 평가라면 공개 모델은 20~30점 수준이었을 것이라고 설명했다. 2025년 말에는 그 격차가 70 대 50 정도로 줄어들기 시작했다고 덧붙였다. 이 숫자는 특정 시험의 공식 성적을 나열한 것이 아니라, 기업이 체감하는 모델 간 간격이 어떻게 달라졌는지를 설명하기 위해 그가 든 비교다. 그의 주장은 이제 모델 선택의 기준을 최고 점수 하나에만 둘 필요가 없다는 데 있다.

토큰 비용을 바꾸는 ‘충분한 성능’

크리슈나가 제시한 현재의 비용 차이는 더 직접적이다. 그는 공개 가중치 모델의 토큰 비용이 프런티어 모델(성능 경쟁의 최전선에 있는 모델)의 10~25% 수준이며, 효과는 약 90%에 이른다고 말했다. 가장 유리한 비교에서는 비슷한 일을 처리하는 데 드는 비용이 10분의 1인 셈이다. 기업 입장에서는 추가 성능을 얻기 위해 훨씬 높은 비용을 낼 업무가 얼마나 많은지가 핵심 질문이 된다.

그는 그런 업무가 일부 존재한다는 점을 인정하면서도, 대다수는 더 저렴한 모델로 처리할 수 있다고 봤다. 이메일 요약과 작성, 계약서 검토, 고객 전화 응대가 그가 꼽은 사례다. 이 업무들은 모두 같은 수준의 정밀도를 요구하지는 않지만, 반복해서 처리할 가능성이 크다는 공통점이 있다. 크리슈나의 계산대로라면 기업은 모든 요청을 최고가 모델로 보내기보다 업무별로 필요한 성능을 가려 비용을 줄이게 된다.

여기서 90%라는 표현은 기업이 곧바로 전체 AI 예산을 90% 줄일 수 있다는 뜻이 아니다. 크리슈나가 비교한 것은 모델의 효과와 토큰 비용이다. 자체 장비를 구매하고 운영하는 비용, 업무에 맞게 모델을 연결하는 비용은 별도로 남는다. 따라서 그의 주장은 저렴해진 모델이 선택지를 넓혔다는 것이지, 모든 기업의 자체 운영 비용이 같아졌다는 이야기는 아니다.

랙 두세 개보다 어려운 운영 인력

크리슈나는 이런 가격 대비 성능 변화가 온프레미스 AI 인프라에 대한 관심을 키우고 있다고 말했다. 그는 많은 기업이 서버 랙 두세 개만으로도 유용한 AI 환경을 만들 수 있다고 본다. 그러나 필요한 장비의 규모가 비교적 작다는 설명 뒤에는 운영의 어려움이 따라붙는다. 장비를 들여놓은 다음 실제 서비스에서 빠르고 안정적인 응답을 내는 일은 별개이기 때문이다.

그가 열거한 문제는 구체적이다. 커널을 다룰 엔지니어와 기반 네트워크를 살필 인력을 어디서 찾을지, 모델을 실행할 GPU를 네트워크상 가까운 곳에 어떻게 묶을지, 결과를 어떻게 캐싱(재사용할 결과를 저장해 응답 부담을 줄이는 일)할지 기업이 고민해야 한다고 했다. 이 가운데 하나라도 매끄럽지 않으면 모델 자체의 낮은 토큰 비용만으로 좋은 사용 경험을 보장하기 어렵다. 그는 이에 대한 구체적인 해법 대신, 아이비엠이 AI 배포를 쉽게 하는 소프트웨어를 내놓겠다고 밝혔다.

이는 온프레미스를 단순히 클라우드 비용을 피하는 방법으로만 볼 수 없게 한다. 기업이 자체 시설에서 모델을 돌리면 실행 환경을 직접 통제할 수 있지만, 그 환경을 설계하고 관리할 책임도 함께 떠안는다. 크리슈나의 설명에서도 승부처는 랙의 개수보다 모델과 GPU, 네트워크를 하나의 서비스로 엮을 역량에 가깝다. 아이비엠이 약속한 소프트웨어가 얼마나 많은 운영 부담을 덜어줄지가 남은 질문이다.

스파이어와 메인프레임에 걸린 기대

크리슈나는 온프레미스 AI 수요가 아이비엠의 스파이어(Spyre) 메인프레임 가속기 카드 판매에도 도움이 될 것으로 예상했다. 그는 현세대 z17 메인프레임이 역대 다른 모델보다 10억 달러 많은 매출을 냈다고 말했다. 새 랙형 모델에 대해서는 아이비엠 Z 중형 제품군에서 거의 20년 만에 가장 강한 출시 성적을 기록했다고 평가했다. 공개 가중치 모델 확산을 아이비엠의 기존 하드웨어 사업과 연결해 설명한 것이다.

분기 실적에는 기대와 다른 흐름도 담겼다. 메인프레임 매출은 20% 줄었는데, 아이비엠은 z17 출시 후 18개월이 지난 시점의 흐름으로 보고 있다. 인프라 부문 매출은 전년 동기보다 5% 늘어난 37억 달러였지만, 기사가 비교한 델(Dell), HPE, 레노버(Lenovo)의 개선 속도보다는 느렸다. 온프레미스 AI에 대한 관심이 곧바로 아이비엠 인프라 매출의 가파른 증가로 이어졌다고 보기는 어려운 수치다.

소프트웨어가 앞선 분기 실적

소프트웨어 부문은 인프라보다 강했다. 분기 매출이 9% 증가한 78억 달러를 기록했고, 레드햇(Red Hat)은 11% 성장하며 연간 반복 매출을 30% 늘렸다. 레드햇 가상화 제품은 지금까지 8억 달러 규모의 계약을 확보했고, 추가 영업 기회도 7억5000만 달러 규모라고 아이비엠은 밝혔다. 2024년에 출시된 제품군으로서의 성적이며, 아이비엠은 VM웨어(VMware) 이용자의 이동 가능성도 보고 있다.

아이비엠의 전체 분기 매출은 171억 달러로 전년 동기보다 5% 늘었다. 시간외 거래에서 주가는 흔들린 뒤 소폭 하락하며 마감했다. 이 실적은 크리슈나의 AI 전략을 읽는 데 중요한 맥락을 준다. 아이비엠은 장비뿐 아니라 배포를 돕는 소프트웨어에도 기회를 보고 있으며, 앞으로는 그 구상이 실제 매출에서 얼마나 드러나는지가 관찰 대상이다.

아이비엠 클라우드의 긴급 유지보수

실적 발표와 별개로 아이비엠 클라우드에는 심각도 1등급 장애도 발생했다. ‘긴급 유지보수’ 때문에 사용자가 90분 동안 새 리소스나 가상 사설 클라우드를 생성하지 못했다. 2013년 소프트레이어(SoftLayer) 인수로 확보한 클래식 클라우드에서는 신규 리소스 생성과 관리 기능을 목요일 08시(UTC)까지 복구하겠다고 공지했다. 그 일정대로라면 해당 문제는 최소 16시간 이어지는 셈이었다.

유지보수 작업은 PHP의 심각한 결함이 발표된 지 몇 시간 뒤 시작됐다. 더 레지스터(The Register)는 그 결함을 고치려는 작업 때문에 장애가 났는지 아이비엠에 문의했다고 밝혔다. 원인을 확인하기 전 단계인 만큼 두 사건 사이에는 시간적 선후관계만 제시돼 있다. 이 장애는 자체 구축이든 클라우드 이용이든, AI를 떠받치는 인프라의 운영 안정성이 비용 계산과 떨어져 있지 않다는 점을 함께 보여준다.

커뮤니티 의견

한 사용자는 GPU 8개를 갖춘 장비와 두 대의 소형 AI 시스템을 쓰며 몇 달째 유료 모델을 이용하지 않았다고 했다. 결과가 조금 떨어져도 사람이 검토하며 고칠 수 있고, 작업 내용을 유료 서비스 제공업체와 공유하지 않아도 되는 점을 더 높이 평가했다. 답글에서는 장비 구입비와 첫 응답까지 걸리는 시간, 출력 속도, 전력 소비를 물었다. 다른 사용자는 업무 중 도구의 오류를 추가로 고쳐야 한다면 ‘조금 낮은 성능’도 부담이라고 반박했다.

다른 사용자는 GPU를 사거나 빌리기 전에 오픈라우터(OpenRouter)와 omp로 공개 모델을 시험해 볼 수 있다고 했다. 큰 모델로 계획을 세우고 더 저렴한 모델로 구현하는 식으로 역할을 나누면 비용을 아낄 수 있다는 주장이다. 답글에서는 하위 작업이 명확하고 주 모델이 결과를 검증한다면 보조 모델에 최고 성능을 쓸 필요가 적다는 의견이 나왔다. 반면 AI 덕분에 일이 쉬워졌다는 낙관에 대해, 일자리와 새로 만드는 서비스의 가치가 줄어드는 것 아니냐는 걱정도 제기됐다.

하드웨어 가격을 문제 삼는 사용자도 있었다. 2020년에 출시된 지포스 RTX 3090이 여전히 높은 가격에 거래되고, 중고 제품의 사용 이력도 걱정된다는 것이다. 답글은 GPU에 이어 메모리와 저장장치까지 수요 압박을 받고 있다며 반도체 생산 확대가 필요하다고 주장했다. 공개 모델의 사용료가 낮더라도 직접 실행할 장비를 마련하는 출발 비용은 별개라는 지적이다.

또 다른 사용자는 월 100달러짜리 챗GPT(ChatGPT) 요금제로 자신의 사용량을 감당하고 있다며, 자체 장비와 사용량 기반 서비스를 비교해야 한다고 했다. 기업이 GPU 서버를 확보한 뒤 직원들이 쓰지 않는 시간에도 장비를 유지한다면 절감 효과가 사라질 수 있다는 논리다. 이에 대한 답글은 자체 운영이 가격 인상이나 서비스 약관 변경에 대비하는 수단이라고 봤다. 반복적인 모델 평가에 토큰 비용을 많이 쓰는 업무라면 특정 제공업체에 의존하지 않는 이점이 크다는 경험담도 나왔다.

기업의 이해관계를 짚는 반응도 있었다. 한 사용자는 아이비엠이 온프레미스용 장비를 판매하는 회사인 만큼 크리슈나의 발언을 그 사업과 함께 읽어야 한다고 했다. 다른 사용자는 대기업이 최상위 모델 업체 밖의 선택지에 투자하는 것 자체가 AI 생태계에 도움이 된다고 평가했다. 토론에는 실제로 어떤 공개 모델과 GPU 조합을 프로그래밍에 쓰는지 묻는 질문도 올라와, 전략적 주장과 현장의 선택 사이에 필요한 정보가 무엇인지 드러냈다.

공개 모델을 일상적으로 쓴다는 사용자는 가격의 ‘저렴함’에는 논쟁의 여지가 있어도 모델 품질은 만족스럽다고 했다. 또 다른 사용자는 코딩 작업에서 최고 성능 모델이 더 낫다는 점을 인정하면서도, 매번 그 성능이 필요한 것은 아니라고 봤다. 두 의견 모두 사람이 결과를 확인하는 사용 방식에서 나온 평가다. 완전히 자동으로 작업을 맡기는 환경이라면 같은 성능 차이를 다르게 받아들일 수 있다는 단서도 붙었다.

클라우드에서 GPU를 빌리는 편이 낫다는 반론도 나왔다. 이 사용자는 기업이 GPU를 구매하고 랙과 부하 분산까지 관리하기보다, 공개 모델과 폐쇄형 모델을 모두 제공하는 서비스를 이용하면 장비 감가상각과 운영 부담을 피할 수 있다고 주장했다. 마지막으로 한 사용자는 아이비엠의 발언을 메인프레임 판매와 연결하면서도, 큰 기업이 기존 최상위 모델 업체를 견제하는 효과를 기대했다. 답글에서는 아이비엠 모델의 활용 경험을 긍정적으로 평가하는 의견과, 아이비엠 고객 관계 자체를 경계하는 의견이 엇갈렸다.

핵심통찰

공개 가중치 모델이 바꾸는 것은 ‘최고 모델을 쓸 수 있느냐’보다 ‘어떤 업무에 최고 모델값을 치러야 하느냐’는 질문이다. 크리슈나의 수치대로라면 반복 업무에서 모델 비용을 낮출 여지는 크고, 자체 운영은 데이터와 제공업체 의존도를 통제하려는 기업에 매력적이다. 그러나 토론이 짚었듯 장비 구입비, 가동률, 응답 품질, 운영 인력을 합치면 계산은 달라진다. 앞으로는 모델 성능 격차뿐 아니라 아이비엠이 약속한 배포 소프트웨어가 이 운영 부담을 얼마나 줄이는지 봐야 한다.


원본: IBM CEO says open weight models are now irresistibly good and cheap on-prem

토론: Hacker News