콜리브리, 공개 가중치로 내세운 ‘주권적 AI’

알레프 알파(Aleph Alpha)가 독일어·영어에 특화한 공개 가중치 언어모델 콜리브리(Kolibri)를 내놓았다. 전체 매개변수는 780억 개지만 답변을 만들 때는 약 30억 개만 활성화하며, 최대 100만 토큰의 문맥을 처리한다. 회사가 강조하는 것은 성능 수치만이 아니다. 독일·유럽 내 개발과 학습, 자체 배포의 자유, 답을 뒷받침할 문서가 없을 때 모른다고 말하는 능력을 묶어 ‘주권적 AI’라고 부른다. 모델이 어떻게 만들어졌고 어떤 환경에서 쓸 수 있는지까지 공개한 이번 발표는 그 주장을 구체적으로 따져볼 계기다.

핵심요약

  • 콜리브리는 전체 780억 개 중 약 30억 개의 매개변수만 활성화하는 전문가 혼합(MoE) 모델로, 성능과 운영 비용의 균형을 겨냥한다.
  • 알레프 알파는 독일과 핀란드의 인프라에서 모델을 학습하고 가중치를 아파치 2.0 라이선스로 공개해 고객의 자체 배포 선택권을 강조했다.
  • 회사는 학습 파이프라인을 자동화해 콜리브리 오리진(Kolibri Origin) 이후 3개월 만에 모델 규모와 문맥 길이를 크게 늘렸다고 밝혔다.
  • 독일어 원문 데이터를 직접 모으고 독일어에 맞는 토크나이저(글을 모델이 처리할 단위로 나누는 도구)를 만들어 번역문 의존도를 낮췄다.
  • 근거가 부족하면 답을 보류하도록 학습시켰지만, 토론에서는 이 기능이 실제 사용에서 지나치게 소극적인 답변으로 이어질 수 있다는 지적도 나왔다.

780억 매개변수와 ‘주권’이라는 목표

알레프 알파가 독일 통일의 날에 공개한 콜리브리는 독일어와 영어를 함께 다루는 전문가 혼합 트랜스포머다. 전문가 혼합은 입력마다 모델의 일부만 골라 작동시키는 방식으로, 콜리브리는 전체 780억 매개변수 가운데 약 30억 개를 활성화한다. 가중치(학습으로 정해진 모델의 내부 값)는 허깅페이스(Hugging Face)에서 내려받을 수 있고, 이용 조건은 아파치 2.0 라이선스다. 다만 최대 100만 토큰 문맥을 쓰려면 기본 실행 설정에서 문맥 길이를 별도로 늘려야 한다.

회사가 내세운 용도는 공공행정, 산업, 항공우주처럼 내부 문서와 절차를 다루는 업무다. 여기서 ‘주권’은 모델을 어디서 만들었는지와 고객이 배포 후 무엇을 통제할 수 있는지를 함께 뜻한다. 알레프 알파는 독일에서 개발하고 독일·핀란드 인프라에서 학습했으며, 데이터 선별부터 학습·평가까지 자체 파이프라인으로 관리했다고 설명한다. 고객이 외부 추론 서비스에 내부 데이터를 보내지 않고 자체 시설에서 운영할 수 있다는 점도 이 정의에 포함된다.

성능과 운영비를 함께 놓은 비교

알레프 알파는 콜리브리가 영어와 독일어 모두에서 답변 품질과 제공 비용의 파레토 전선(한쪽을 더 개선하려면 다른 쪽을 포기해야 하는 최적의 조합)에 놓인다고 주장한다. 회사가 선택한 비교 대상 사이에서는 같은 비용으로 더 높은 품질을 내거나, 같은 품질을 더 낮은 비용으로 내는 모델이 없다는 설명이다. 수학·코딩·문서 근거 확인·긴 문맥 과제에서는 활성 매개변수가 최대 네 배인 모델과 맞먹는다고도 밝혔다. 이는 모델 전체 크기만이 아니라 요청당 작동하는 크기와 실제 운영 비용을 함께 보겠다는 평가 방식이다.

회사는 공개 벤치마크만으로 고객 업무를 재기 어렵다고 보고 별도의 평가도 만들었다. 자동차 부품 공급업체 과제 점수는 0.72에서 0.99로, 독일 공공부문 과제는 0.54에서 0.75로 올랐다고 제시한다. 항공우주 과제에서는 0.14에서 0.59로 상승했다. 각 수치는 회사가 구성한 업무별 평가에서 이전 학습 단계와 이후 단계를 비교한 결과로 읽어야 한다.

석 달 간격의 두 모델을 만든 공장

콜리브리의 출발점은 전체 300억, 활성 약 30억 매개변수와 6만5000토큰 문맥을 갖춘 콜리브리 오리진이다. 알레프 알파는 1월부터 학습 파이프라인을 만들기 시작해 수백 건의 구성 요소 비교 실험을 거쳤고, 오리진의 사전학습을 6월 11일 마쳤다. 콜리브리의 사전학습 완료일은 9월 11일이다. 그 사이 전체 매개변수는 300억에서 780억, 학습 토큰은 7조5000억에서 20조, 최대 문맥은 6만5000에서 100만 토큰으로 늘었다.

회사는 이 속도의 핵심을 모델보다 반복 가능한 학습 절차에서 찾는다. 코드 변경이 제안되면 작은 모델의 학습과 평가를 끝까지 돌려 오류를 확인하고, 약 한 시간마다 저장되는 체크포인트(학습 중 저장한 모델 상태)는 영어·독일어 지식, 수학, 도구 사용, 근거 확인 등을 자동으로 평가한다. 콜리브리의 21일 사전학습 동안 하드웨어나 연결 문제로 예기치 않은 중단이 38차례 있었지만, 파이프라인이 다른 장비에서 작업을 재시작했다고 회사는 밝혔다. 반면 오리진 학습 중에는 데이터 섞기 오류를 뒤늦게 발견해 처음부터 다시 시작한 경험도 공개했다.

긴 문맥을 감당하기 위한 설계

모델 규모를 더 키우는 선택지는 있었다. 알레프 알파의 실험에서 1230억 매개변수 모델은 성능이 더 좋았지만, H100 GPU 두 장에서 25만6000토큰짜리 동시 요청을 세 건만 처리했다. 780억 매개변수 모델은 같은 조건에서 18건을 처리했고, 출력 생성 속도도 28% 빨랐다. 학습과 제공 비용을 함께 고려해 더 작은 쪽을 택한 셈이다.

콜리브리는 작은 전문가 384개를 사용하며, 전체 50개 층 중 10개 층만 긴 문맥 전체를 살핀다. 나머지 40개 층은 주변 512토큰에 집중해 문맥이 길어져도 해당 층의 계산량과 메모리 사용을 제한한다. 학습에는 B200 GPU 768개가 쓰였다. 20조 토큰의 사전학습 뒤 3조4400억 토큰의 중간 학습과 2000억 토큰의 긴 문맥 적응 학습이 이어졌으며, 회사는 전문가에게 작업을 고르게 배분하는 방식도 개선했다고 설명한다.

독일어를 번역문이 아닌 원문에서

독일어 성능을 위해서는 학습 데이터부터 다시 모아야 했다. 알레프 알파는 작은 실험 모델에서 독일어 비중이 약 20%일 때 결과가 좋았지만, 공개 독일어 데이터를 중복 제거하고 걸러내자 3900억 토큰만 남았다고 밝혔다. 이에 독일어 웹 문서를 직접 선별해 고유 토큰 1조3000억 개를 확보했다. 영어 기준으로 긴 단어가 많은 문서를 버리면 독일어 행정 문체까지 빠지는 문제 때문에 필터 기준도 고쳤다.

확보한 독일어 문서를 다른 형식으로 다시 쓰는 작업에서는 약 1조 개의 고유 토큰을 만들었다. 영어를 독일어로 번역하는 것과 달리, 독일어 원문의 주제와 문화적 맥락을 유지하면서 표현을 늘리려는 선택이다. 콜리브리의 사전학습 토큰 가운데 독일어는 21.3%, 약 4조3000억 토큰이었다. 회사는 전체 학습에서 번역문 사용을 6%로 제한했다고 설명한다.

글을 토큰으로 나누는 방식도 독일어에 맞췄다. 알레프 알파가 만든 ‘유니BPE(UniBPE)’는 독일어 합성어의 형태를 더 잘 살리면서 영어 처리 효율을 유지하도록 설계됐다. 회사는 독일어 글을 더 적은 토큰으로 표현하면 같은 내용을 처리할 때 추론 비용과 응답 시간을 줄일 수 있다고 본다. 독일어를 영어 모델에 덧붙일 기능이 아니라 설계 단계의 조건으로 취급한 것이다.

모른다고 답하도록 가르치는 훈련

알레프 알파가 또 하나의 핵심 기능으로 꼽는 것은 답변 보류다. 일반적인 평가에서는 근거 없이 찍은 답도 맞으면 점수를 얻지만, 모른다는 답은 정답이 될 기회가 적다. 회사는 문서에 답이 없을 때 ‘모르겠다’고 답하는 사례를 학습시키고, 자체 ‘멀린-아서(Merlin-Arthur)’ 절차로 더 어려운 사례를 생성했다. 한쪽은 답을 뒷받침할 문서를 만들고 다른 쪽은 핵심 근거를 제거해 모델이 추측하도록 유도하는 방식이다.

회사가 제시한 AA-옴니사이언스 평가에서 콜리브리가 오답 대신 답변을 보류한 비율은 44%로, 오리진의 15%보다 높았다. RGB 평가에서도 답변 보류는 74%에서 86%로 늘고, 거짓 내용을 만들어내지 않은 비율은 76%에서 87%로 올랐다고 밝혔다. 이는 무조건 답을 많이 내는 모델보다, 문서로 뒷받침되는 답과 그렇지 않은 답을 가르는 모델을 만들겠다는 방향이다. 실제 업무에서는 필요한 답까지 멈추지 않는지가 별도의 관건이다.

고객 실패 사례를 다음 평가로

업무별 성능을 높이는 과정에서도 회사는 고객 데이터를 직접 학습시키지 않는 방식을 강조한다. 고객이 겪은 실패를 바탕으로 필요한 문서, 도구 호출, 절차와 예외 상황을 평가 과제로 만들고, 이에 대응하는 합성 학습 환경을 구축했다. 새 체크포인트가 생길 때마다 이 과제를 자동으로 다시 측정한다. 회사는 다섯 고객 응용 과제 중 네 곳에서 콜리브리가 비교 모델을 앞서거나 최고 모델과 비슷했다고 밝혔다.

공개 후 사용에는 별도 추론 패키지와 콜리브리용 vLLM 플러그인이 필요하다. 추론 수준은 없음·낮음·중간·높음의 네 단계로 조절할 수 있어, 사용자는 답의 품질과 처리 시간·비용 사이에서 선택할 수 있다. 가중치를 공개하는 데서 끝나지 않고 고객이 자체 환경에 올려 검증하도록 하겠다는 구성이지만, 배포의 자유가 곧 간편한 배포를 뜻하지는 않는다. 공개된 절차와 평가가 현장의 설치·운영 경험으로 이어지는지가 다음 시험대다.

커뮤니티 의견

한 사용자는 기술 보고서가 데이터셋을 만든 방법까지 설명한다며, 현대적인 에이전트형 언어모델을 만드는 과정을 안내서처럼 공개했다고 평가했다. 이어진 의견도 어떤 데이터를 학습에 넣었는지 밝히고 제삼자가 절차를 따라갈 수 있어야 ‘열려 있다’고 부를 만하다고 봤다. 이들은 가중치 공개뿐 아니라 제작 과정의 투명성을 높이 샀다.

다른 사용자는 누구나 GPU 설정 없이 시험해 볼 수 있도록 콜리브리 체험 서비스를 열었다고 알렸다. 이를 써 본 이용자는 제한된 메모리에서 모델을 실행하는 방법을 물었지만, 모델이 모른다는 답과 추가 정보를 직접 찾아보라는 안내를 주로 내놨다고 불만을 제기했다. 또 다른 댓글에서도 답변 보류가 지나치면 유료 도구에 기대하는 도움을 받지 못한다는 반응이 나왔다.

학습팀 소속이라고 밝힌 사용자는 투명성과 코딩·에이전트 과제 성능에 더해, 빠른 모델 개선 주기에 주목해 달라고 했다. 팀이 구성된 지 1년도 되지 않았으며 이번 공개가 첫 출시라는 설명이다. 이에 수학·논리 자료에만 집중한 모델이 같은 계산 자원에서 범용 모델보다 나을 수 있는지 묻는 질문도 이어졌다.

주권이라는 표현을 두고는 회사의 소유·운영 구조를 따져야 한다는 의견이 나왔다. 한 사용자는 알레프 알파와 캐나다 기업 코히어(Cohere)의 합병 예정 사실을 함께 언급해야 한다고 주장했고, 비미국·비중국 기업들이 개발 비용과 노력을 나누는 방향 자체는 긍정적으로 봤다. 사전학습 데이터 작업에 참여했다고 밝힌 댓글도 합병은 공개된 사안이며 협력 필요성에 동의한다고 답했다.

성능 비교를 문제 삼는 댓글도 있었다. 한 사용자는 알레프 알파의 독일어 평가 환경과 벤치마크에서도 큐원(Qwen) 3.8 27B가 콜리브리보다 높은 79.9점을 받았고, 콜리브리는 70.8점이었다고 지적했다. 주권을 앞세우더라도 해당 언어에서 경쟁 모델을 앞서지 못한다면 성능과 통제권을 별개로 평가해야 한다는 취지다.

다른 사용자는 주권적 모델이 모든 업무에서 첫 번째 답변자가 되기보다, 다른 모델의 도구 호출과 최종 결과를 감사하는 역할에 적합할 수 있다고 제안했다. 공개 모델로 초안을 만들고 통제 가능한 모델로 결과를 확인하면 ‘신뢰 어댑터’가 될 수 있다는 구상이다. 답글에서는 주권의 핵심을 외부 모델의 숨은 행동보다 기술 스택 전체에 대한 통제권으로 봐야 한다는 반론도 나왔다.

비교 대상의 선택에도 의문이 제기됐다. 한 사용자는 활성 매개변수가 비교적 적은 또 다른 전문가 혼합 모델인 큐원 3.8 플래시가 빠진 반면, 더 오래된 큐원 3-넥스트가 포함된 점이 눈에 띈다고 했다. 이는 콜리브리의 공개나 자체 배포 가치와는 별개로, 최신 대안을 포함한 성능 비교가 필요하다는 요구다.

직접 실행한 사용자는 RTX 프로 6000 환경에서 FP8 방식으로 초당 약 170토큰을 얻었지만, 맞는 접근을 찾고도 생각하는 데 토큰을 지나치게 많이 쓴다고 평가했다. 답글에서는 낮은 추론 수준도 시험했는지 물었다. 모델이 제공하는 네 단계 조절 기능이 속도와 답변 품질 사이의 실제 균형을 얼마나 개선하는지 확인할 필요가 있다는 뜻이다.

핵심통찰

콜리브리가 바꾸려는 기준은 ‘가장 잘 답하는 모델’ 하나로 AI를 고르는 방식이다. 알레프 알파는 학습 경로를 공개하고 고객이 직접 배포하며 근거 없는 답을 멈출 수 있어야 한다고 주장한다. 다만 토론이 보여주듯 주권은 회사 구조와 운영 통제권까지 묻게 만들고, 답변 보류는 정확성과 유용성 사이의 긴장을 낳는다. 앞으로 볼 것은 공개 평가의 순위만이 아니라 최신 경쟁 모델과의 비교, 현장 설치의 난도, 실제 문서 업무에서 필요한 답은 주면서 추측은 줄이는지다.


원본: Kolibri Has Landed: A Sovereign Open-Weight Model — Aleph Alpha

토론: Hacker News