AI가 설계에 참여한 오픈TPU, FPGA에서 모델 구동

오픈TPU(openTPU)는 AI를 이용해 설계한 오픈소스 추론 가속기를 실제 FPGA 카드에서 구동했다. 프로젝트는 하드웨어 회로부터 명령어 체계, 시뮬레이터, 컴파일러, 성능 분석 도구까지 한 저장소에 공개하고, 카드와 시뮬레이터가 같은 결과를 내는지 검증했다. 관심을 끄는 지점은 AI가 칩 설계에 참여했다는 주장만이 아니다. 파이썬으로 작성한 모델 연산이 카드의 메모리 이동과 계산 명령으로 바뀌는 과정, 그리고 그 결과를 어떻게 측정했는지까지 들여다볼 수 있다.

핵심요약

  • 오픈TPU는 AI를 활용해 개발한 FPGA 기반 추론 가속기의 회로, 명령어 체계, 컴파일러와 검증 도구를 공개해 설계 전 과정을 살펴볼 수 있게 했다.
  • 인스퍼 카드에서 실제 가중치를 사용한 모델 10종을 구동했으며, 카드와 시뮬레이터의 출력이 비트 단위까지 일치한다고 프로젝트는 밝혔다.
  • 작은 모델의 4비트 추론은 카드 기준 초당 최대 89.5토큰을 기록했지만, 모델별 속도와 호스트를 포함한 측정값을 구분해서 봐야 한다.
  • 4GiB 카드 메모리에 다 들어가지 않는 전문가 혼합 모델은 필요한 가중치를 호스트에서 옮겨 실행하며, 전송량과 적중률에 따라 속도가 달라졌다.
  • 개발진은 추론 속도의 주요 제약으로 DDR3 메모리 대역폭을 지목해, 연산 회로뿐 아니라 데이터 이동 효율이 성능을 좌우함을 보여준다.

파이썬의 행렬 연산에서 실제 카드까지

오픈TPU는 AI 에이전트가 하드웨어를 어디까지 설계할 수 있는지, 나아가 자신의 추론을 실행할 장치를 만들 수 있는지 묻는 프로젝트다. 저장소에는 시스템베릴로그(SystemVerilog)로 작성한 회로, 명령어 집합, 명령의 결과를 비트 단위로 재현하는 시뮬레이터가 함께 들어 있다. 모델 연산을 작성하는 언어와 컴파일러, PCIe 카드에 작업을 보내는 호스트 소프트웨어도 같은 곳에서 읽을 수 있다. 개발진은 파이썬의 행렬 연산부터 실제 배선까지 가속기의 동작을 따라가 볼 수 있는 학습 프로젝트로 소개한다.

실행 대상은 인스퍼(Inspur) YPCB-00338 카드다. 자일링스(Xilinx) 킨텍스-7(Kintex-7) FPGA와 두 개의 DDR3 채널을 갖춘 이 카드에서 프로젝트는 실제 가중치를 사용한 현대적 모델 10종을 구동했다고 밝혔다. 큐원3(Qwen3), LFM2.5, 큐원3.5(Qwen3.5)뿐 아니라 더 큰 모델도 실행 대상에 포함된다. 개발진이 내세우는 기준은 모델이 그럴듯한 답을 내놓는 데 그치지 않고, 카드가 시뮬레이터와 위치별로 같은 토큰을 생성하는가다.

초당 토큰보다 먼저 볼 측정 조건

프로젝트가 제시한 카드 성능은 측정 범위가 명확하다. 기본 디코드 측정은 512토큰짜리 입력을 처리한 뒤 탐욕 디코딩(매 단계에서 점수가 가장 높은 토큰을 고르는 방식)으로 64토큰을 생성하며, 이때 다음 토큰 선택에는 호스트도 관여한다. ‘디바이스’ 속도는 가속기가 동작한 사이클만 세고, ‘월’ 속도는 호스트에 걸린 시간까지 더한다. 따라서 두 수치를 같은 의미의 처리량으로 읽으면 안 된다.

별도로 로짓(다음 토큰 후보들의 점수)을 카드가 실행 중일 때 돌려받는 96토큰 측정에서는 4비트 LFM2가 디바이스 기준 초당 89.5토큰, 호스트를 포함하면 84.5토큰을 기록했다. 큐원3은 각각 33.7토큰과 33.3토큰, 큐원3.5는 24.6토큰과 24.2토큰이었다. 규모가 더 큰 LFM2-2.6B, 스몰LM3-3B(SmolLM3-3B), 파이-4-미니(Phi-4-mini)의 디바이스 속도는 각각 초당 11.07토큰, 8.92토큰, 6.69토큰이다. ‘초당 80토큰 이상’이라는 숫자는 이 가운데 작은 모델의 특정 설정을 가리킨다.

메모리에서 얻은 속도, 행렬에서 얻은 속도

카드 이미지에는 4열 시스톨릭 행렬 유닛(계산을 배열의 인접 요소로 전달하며 수행하는 회로)과 데이터 스트림 엔진이 들어 있다. 동작 주파수는 133.33MHz이며, DDR3-1066 두 채널의 이론상 최대 대역폭은 초당 17.1GB다. 개발진은 디코드가 주로 DRAM 속도에 묶인다고 설명한다. 카드 자체 카운터로 읽은 메모리 전송량을 성능 분석에 사용한 이유도 여기에 있다.

빌드 B에서는 LFM2-2.6B, 스몰LM3-3B, 파이-4-미니의 디코드 속도가 앞선 이미지보다 89% 높아졌고, 최대 DRAM 대역폭 활용률은 8287%에서 9194%로 올라갔다. 한편 더 이른 이미지와의 비교에서는 디코드 속도 차이가 모든 설정에서 2.3% 이내인 반면, 입력을 처음 처리하는 프리필은 모델에 따라 1.32.0배 빨라졌다. 같은 회로 개선이라도 메모리에서 가중치를 읽는 시간이 지배적인 디코드와 행렬 연산량이 중요한 프리필에는 다른 효과가 난다는 뜻이다.

4GiB를 넘는 모델을 다루는 법

가중치를 4비트로 저장하는 방식도 메모리 부담을 줄인다. 오픈TPU는 FP4 값과 두 단계의 블록별 크기 조정값을 사용해 가중치 하나당 평균 4.25비트를 쓰고, 출력 쪽 언어모델 헤드는 정확도를 위해 int8로 남긴다. 개발진은 이 방식이 토큰당 읽는 바이트 수를 약 3분의 1 줄여, 큐원3.5의 디코드 속도를 40%, 큐원3과 LFM2는 45% 높였다고 밝혔다. 대신 퍼플렉서티(모델이 다음 토큰을 예측하는 성능을 나타내는 지표)에는 측정 가능한 손실이 있다고 명시했다.

전문가 혼합 모델(MoE, 토큰마다 일부 전문가 연산만 선택하는 구조)이 카드의 4GiB 메모리를 넘으면 필요한 전문가 가중치를 호스트 저장장치에서 가져온다. 카드는 토큰마다 전문가를 선택하고 계산하며, 호스트는 카드 메모리의 슬롯에 없는 전문가만 복사한다. LFM2.5-8B-A1B는 전문가 사용의 98.5%가 슬롯에서 해결돼 토큰당 5.2MB를 전송했고, 카드 자체 디코드 루프에서 초당 10.6토큰을 기록했다. 반면 큐원3.5-35B-A3B는 슬롯 적중률 62%, 토큰당 전송량 153MB였고 속도는 초당 3.95토큰이었다.

모든 데이터 이동이 명령어가 되는 설계

오픈TPU의 장치는 일부러 단순하게 만들어졌다. 명령을 차례로 내보내는 장치 아래에서 DMA는 데이터를 옮기고, 행렬 유닛은 DRAM에서 흘러오는 int8 가중치로 곱셈을 수행하며, 벡터 유닛은 fp32 연산을 맡는다. 양자화 유닛은 계산 결과를 다시 int8로 바꾼다. 캐시나 드러나지 않는 스케줄링이 없고 모든 데이터 이동이 명령어로 표현되므로, 실행 기록을 보면 어느 작업에 사이클이 쓰였는지 추적할 수 있다.

개발자는 커널 언어에서 정규화, 행렬 곱셈, 결과 저장 같은 연산을 작성하고 이를 명령어로 컴파일한다. 명령어 하나는 32비트 단어 8개로 구성되며, 같은 명령을 시뮬레이터와 회로가 실행한 결과는 테스트에서 비트 단위로 비교된다. 성능 분석 도구 렌즈(Lens)는 회로, 시뮬레이터 또는 카드의 실행을 기록해 브라우저에서 시간 흐름과 명령별 수치를 보여준다. 어떤 유닛이 일하는지, DRAM을 기다리는지, 다른 명령을 기다리는지를 색으로 나눠 볼 수 있다.

토큰 일치와 모델 정확도를 따로 검증

시뮬레이터와 카드가 같은 출력을 내는 것만으로 모델의 정확도가 보장되지는 않는다. 오픈TPU는 별도로 허깅페이스(Hugging Face) 트랜스포머스(transformers)의 CPU 실행을 기준값으로 삼아, 같은 체크포인트와 오픈TPU의 양자화 조건을 적용한 결과를 비교한다. 토큰 선택 일치율뿐 아니라 출력 점수의 차이와 분포 차이도 측정한다. CPU와 장치는 합산이나 지수 계산의 마지막 비트까지 같을 수 없어, 작은 반올림 차이가 뒤쪽 계층으로 퍼지는 정도를 감안한 기준선도 둔다.

프로젝트가 공개한 카드 검증에서는 큐원3-0.6B, LFM2.5-230M, 큐원3.5-0.8B를 각각 int8과 4비트 가중치 설정으로 실행했다. 여섯 실행 모두 카드와 명령어 시뮬레이터의 토큰 및 로짓이 매 단계 비트 단위까지 같았고, 양자화된 CPU 기준값과의 최상위 토큰 일치율은 95.3~99.2%였다. 검증 도구가 지원하는 모델과 설정의 범위는 정해져 있다. 예를 들어 이 CPU 기준값 비교에는 전문가 혼합 모델이 포함되지 않는다.

다음 과제는 남은 대역폭과 타이밍 여유

개발진은 남은 작업으로 DRAM 경로의 효율, 회로의 타이밍 여유와 면적, 프리필 속도를 꼽았다. 설계는 133.33MHz에서 동작하지만 타이밍 여유를 나타내는 WNS는 +0.032ns로 좁다. 카드에 이미 들어간 4열 행렬 유닛에도 불구하고 프리필은 여전히 행렬 곱셈 처리량의 제약을 받는다. 반대로 디코드는 DRAM에 묶여 있어 클록만 높이는 변화로는 얻을 수 있는 이익이 제한적이다.

저장소는 FPGA 카드가 없어도 많은 부분을 시험할 수 있도록 구성됐다. 파이썬과 베릴레이터(Verilator)로 테스트와 시뮬레이터를 실행할 수 있고, 카드를 쓰려면 비트스트림을 만들어 JTAG으로 올리는 별도 절차가 필요하다. 개발진은 명령어 체계, 시뮬레이터, 회로를 수정할 때 전체 테스트를 통과시키고 성능 주장의 측정 방법을 밝히도록 요청한다. AI가 설계에 참여했다는 표제보다 이 검증 경로가 프로젝트를 평가할 구체적인 출발점이다.

커뮤니티 의견

한 사용자는 AI 연구소가 모델 자체를 칩에 새겨 넣으면 요청당 비용과 성능을 개선할 수 있지 않느냐고 물었다. 답글에서는 그런 움직임이 이미 있지만 칩을 배치하기까지 시간이 걸린다는 의견이 나왔다. 설계에서 생산까지의 시간이 길고 모델은 계속 바뀐다는 점을 장애물로 보는 시각도 있었다.

다른 사용자는 더 큰 질문으로, AI가 재구성 가능한 FPGA의 특성을 활용하도록 모델 구조까지 설계할 수 있는지를 제기했다. 이에 대해 범용 FPGA보다 특정 용도에 맞춘 장치를 만드는 편이 효율적일 수 있다는 답이 달렸다. 반면 실제 AI 전용 칩 전체를 FPGA 한 장에 담기 어렵고, 여러 장치와 검증 도구에 드는 비용도 커진다는 반론이 나왔다.

한 사용자는 앞선 AI 활용 CPU 코어 개발 방식이 오픈TPU에도 이어졌다고 소개하며, 작은 모델의 속도가 초당 몇 토큰 수준에서 80토큰 이상으로 높아졌다고 봤다. 답글은 이 수치를 기존 TPU와 어떻게 비교할지, 여기서 말하는 ‘작은 모델’이 어느 정도 규모인지를 물었다. 속도 수치에는 비교 대상과 모델 크기가 함께 붙어야 한다는 지적이다.

AI의 역할에 관해서는 숙련된 사람이 LLM에 적절한 방향을 제시할 때 얻는 성과가 크다는 의견이 나왔다. 이는 결과물을 사람의 개입 없이 AI가 혼자 만들어낸 것으로 받아들이기보다, 사람이 목표를 정하고 검토하는 개발 방식으로 읽는 관점이다.

회로의 부동소수점 연산을 살펴본 한 사용자는 표준에 맞지 않는 동작이 보인다며 문제를 제기했다. 답글에서는 매우 작거나 큰 값에서의 일부 비표준 동작을 인정하면서도, LLM 추론에는 해가 없음을 확인했다고 설명하고 다른 문제의 제보를 요청했다. 또 다른 답글은 낮은 정밀도 연산을 택했다면 이를 부동소수점 구현처럼 포장할 필요가 없다고 비판했다.

한 사용자는 카드 가격을 약 300달러로 추정하며 하드웨어가 무엇인지 물었다. 답글은 이 카드가 데이터센터에서 퇴역해 취미 개발자들 사이에 쓰이는 장치라고 설명했다. 추론용 가속기에서는 적은 회로 면적과 전력으로 메모리 대역폭을 얼마나 끌어낼 수 있는지가 관건이라는 견해도 덧붙였다.

오픈 하드웨어를 교육 관점에서 높이 평가하는 의견도 있었다. 한 사용자는 파이썬 행렬 연산부터 배선까지 따라갈 수 있다는 프로젝트 설명에 주목하며, FPGA와 베릴로그를 배울 수 있는 공개 자료라는 점을 반겼다. 성능 경쟁뿐 아니라 설계와 검증 절차를 읽고 고칠 수 있다는 가치에 무게를 둔 반응이다.

핵심통찰

오픈TPU가 바꾸는 것은 AI 설계 칩에 관한 주장의 검토 방식이다. 회로만 공개한 것이 아니라 모델 연산을 명령어로 바꾸는 과정, 카드와 시뮬레이터의 비트 단위 일치 여부, 양자화에 따른 정확도 손실과 실제 전송량을 함께 확인하게 했다. 다만 작은 모델의 최고 속도만으로 더 큰 모델의 실용성을 판단할 수는 없다. 앞으로는 AI가 설계 과정에서 맡은 역할과 사람이 검증한 범위, 그리고 메모리 대역폭과 타이밍 여유를 개선하면서도 같은 결과를 유지하는지를 봐야 한다.


원본: GitHub - FeSens/openTPU: An open-source AI accelerator, developed by AI: RTL, ISA, simulator, compiler and profiler in one repo. Runs Qwen3, LFM2.5 and Qwen3.5 on a Kintex-7 PCIe card.

토론: Hacker News