Tachyum, 프로디지 ATX 플랫폼 제공.
금요일 특별 발행된 백서에서 Tachyum은 아직 테이프가 남아있는 Prodigy 범용 프로세서의 축소 버전에 기반한 인공 지능 지향 워크스테이션인 Prodigy ATX 플랫폼을 발표했습니다. 이 회사는 이 장치를 5천 달러에 판매할 계획이며, 이 기계가 수십억(또는 수조) 개의 매개변수가 있는 대규모 언어 모델에 대한 액세스를 대중화할 것이라고 주장합니다. 그러나 이 회사는 제품이 언제 출시될지는 공개하지 않았습니다.
프로디지 ATX 플랫폼은 최대 5.70GHz로 작동하는 96코어 프로디지 프로세서(2024년 TSMC의 5nm 노드에서 대량 생산될 예정)를 기반으로 합니다. 이 CPU는 전력 소비를 줄이고 수율을 높이기 위해 다이의 절반만 사용하도록 설계되어 비용을 절감하고 플랫폼의 접근성을 높이는 데 도움이 된다고 Tachyum은 말했습니다.
프로세서에 대해 말씀드리자면, 2019년 테이프 아웃 이후 2020년으로 예정되었던 프로디지의 출시가 2021년, 2022년, 2023년으로 거듭 미뤄진 것은 프로토타입도 시연되지 않은 채 더욱 화려한 성능 주장만 난무한 가운데서 나온 결과입니다. 이제 최신 계획에 따르면 2024년 하반기에 프로디지 프로세서가 출시될 예정이지만, 자세한 내용은 밝히지 않아 2024년 12월이 될 수도 있습니다.
이 컴퓨터에는 16개의 메모리 모듈을 사용하고 819.2GB/s의 최고 대역폭을 제공하는 1TB의 DDR5-6400 SDRAM이 장착될 것으로 예상됩니다. 이 시스템에는 3개의 PCIe x16 5.0 슬롯, PCIe 5.0 x4 인터페이스의 M.2-2280 NVMe 슬롯 3개, SSD 및 HDD용 SATA 커넥터가 탑재될 것으로 예상됩니다.
ATX 박스인 이 시스템은 USB, HDMI 및 이더넷을 포함하여 이러한 시스템에서 기대할 수 있는 모든 I/O 커넥터를 제공합니다. 또한 마더보드에는 Aspeed의 AST2600 보드 관리 컨트롤러가 탑재됩니다.
현재 타키움은 프로디지 ATX 플랫폼 마더보드의 블록 구성과 그 이름이 새겨진 빈 회색 PC 섀시를 공개했습니다.
Prodigy ATX 플랫폼의 초점은 추론을 위해 사전 학습된 모델을 사용하고 프로세서의 아키텍처적 특성 덕분에 보다 효율적으로 추론을 수행하는 데 있습니다. 타키움은 1조 개 매개변수 모델에 FP8을 사용하면 2.04TB의 메모리가 필요하다고 말합니다. 하지만 4비트 가중치 형식의 4비트 TAI 스파스를 채택하면 메모리 요구량이 765GB로 급격히 감소하여 시스템 메모리 1TB 제한 내에서 더 큰 모델을 지원할 수 있습니다.
Tachyum은 단일 96코어 Prodigy 프로세서와 1TB RAM으로 구동되는 시스템은 1.7조 개의 매개변수가 있는 ChatGPT4 모델에서 추론을 실행할 수 있지만, ‘동일한 작업을 실행하려면 훨씬 높은 비용과 전력 소비로 52개의 Nvidia H100 GPU가 필요하다’고 설명합니다.
“제너레이티브 AI는 당초 예상했던 것보다 훨씬 빠르게 널리 사용될 것입니다.”라고 Tachyum의 설립자 겸 CEO인 Radoslav Danilak 박사는 보도 자료에서 말했습니다. “1~2년 안에 웹사이트, 챗봇 및 기타 중요한 생산성 구성 요소에서 AI는 우수한 사용자 경험을 보장하기 위한 필수 요소가 될 것입니다. 프로디지의 강력한 AI 기능을 통해 LLM은 기존 CPU + GPGPU 기반 시스템보다 훨씬 쉽고 비용 효율적으로 실행할 수 있으며, 모든 규모의 조직이 업계에서 가장 큰 기업이 주도하는 AI 이니셔티브에서 경쟁할 수 있도록 지원합니다.”
타키움이 프로디지 플랫폼을 대중화할 수 있다면, 충분한 프로세서를 공급할 수 있다면 AI 분야의 게임의 룰을 바꿀 수 있을 것입니다. 그러나 작동하는 실리콘이 부족하기 때문에 실제로 이런 일이 일어날 수 있을지는 불분명합니다. 또한 Tachyum이 정확히 언제 Prodigy 프로세서의 대량 생산을 시작할지, 그리고 언제 대량으로 공급할 계획인지도 불분명합니다.
프로디지 ATX 플랫폼에 관한 한, 저희는 이 플랫폼의 경제성에 대해 합리적인 의구심을 가지고 있습니다. 개당 240달러의 64GB RDIMM 16개는 3,840달러, 고급 전압 조정 모듈을 갖춘 고도의 맞춤형 다층 마더보드(여기서는 12~16층을 말합니다)는 500달러(상대적으로 소량 생산되는 마더보드에 대해 이야기하고 있습니다), 2000W PSU는 약 300달러, 안정적인 쿨러를 갖춘 괜찮은 섀시는 약 150달러입니다. 이 모든 것을 합쳐도 Tachyum의 Prodigy 프로세서가 없어도 시스템은 약 4800달러가 됩니다.
물론 회사가 대량으로 물건을 구매하기 때문에 훨씬 더 낮은 비용으로 끝날 수 있지만, Prodigy 실리콘도 비싸기 때문에 추론을 위해 설계된 플랫폼이 Tachyum에게 경제적으로 실현 가능한 제품이 될지 궁금할 수 밖에 없습니다. 물론 이 회사의 출시 일정이 자주 연기되는 것에 대한 회의론도 커지고 있습니다.
