AMD는 이번 달 초 인스팅트 MI300X를 정식으로 발표하면서 NVIDIA H100보다 추론 성능이 뛰어나다고 발표했습니다.
하지만 NVIDIA는 DGX H100 시스템에 최적화된 테스트를(TensorRT-LLM를 쓰지 않음)를 하지 않았기에 그런 결과가 나왔다면서,
자사 CUDA에 최적화된 프레임워크와 알고리즘을 사용하여 테스트를 하면 당연히 AMD의 MI300X보다 실성능이 낫다 주장했습니다.
이에 따르면 동일하게 8way 기반 시스템 비교 기준으로, H100 8way는 MI300X 8way 대비 47%가 더 높아지며,
AMD 공식 발표시에 나온 DGX H100의 3.6초 대비 약 2.11배의 성능이 된다고 합니다.
