Performance per dollar is getting faster and cheaper

AMD MI355X가 NVIDIA Blackwell을 위협하는 이유

추론(Inference) 수요가 급격히 증가하면서 NVIDIA GPU 가격이 빠르게 오르고 있다. 프론티어 모델이 거의 매주 새롭게 출시되는 상황에서 Blackwell 물량만으로는 이 수요를 감당하기 어렵고, 결과적으로 토큰당 비용이 함께 치솟고 있다. 이런 환경에서 AMD MI355X가 현실적인 대안으로 주목받기 시작했다. GPU 단가 기준으로 B300 대비 평균 약 2.75배 저렴하면서도 하드웨어 스펙 측면에서는 충분히 경쟁력 있는 수준이기 때문이다.

NVIDIA 소프트웨어 생태계라는 벽

문제는 하드웨어 스펙만으로 성능이 결정되지 않는다는 점이다. NVIDIA는 새 모델이 출시되는 시점에 맞춰 최적화된 소프트웨어 스택과 Day-0 지원을 함께 제공한다. 반면 AMD MI355X / ROCm 스택에서는 최신 프론티어 모델을 실행할 수 있는 이미지조차 찾기 어려운 경우가 많다. 커널 최적화와 모델 최적화에 수 주의 엔지니어링 시간이 필요하고, 그 사이에 또 새로운 모델이 등장해버리는 악순환이 반복된다.

이 격차는 AMD가 항상 "따라잡기" 상태에 머물게 만드는 구조적 원인이었다. 하지만 에이전트 기반 커널 최적화 도구가 발전하면서 이 간극이 빠르게 좁혀지고 있다는 점은 주목할 만하다.

실측 벤치마크: 비용 대비 성능

Wafer 팀이 GLM5.2 모델을 기준으로 실제 운영 조건에 가까운 워크로드(20k 입력 / 1k 출력, 60% 캐시 히트율)에서 측정한 결과는 다음과 같다.

TTFT 5초 이하라는 SLA 조건 아래 노드당 최대 2,626 tok/s, 단일 스트림 213 tok/s를 달성했다. B200 대비 약 80% 수준의 처리량이지만, 비용은 절반 이하다. 즉 비용 대비 성능(Performance per Dollar) 관점에서는 AMD MI355X가 이미 앞서기 시작했다.

# 비용 대비 성능 간단 비교 (개념적 수치)
B200  : throughput=3282 tok/s/node, relative_cost=2.75x
MI355X: throughput=2626 tok/s/node, relative_cost=1.0x

perf_per_dollar(MI355X) = 2626 / 1.0  = 2626
perf_per_dollar(B200)   = 3282 / 2.75 = 1194

정리

• AMD MI355X는 B300 대비 약 2.75배 저렴한 GPU 단가로, 비용 대비 추론 처리량에서 NVIDIA Blackwell을 역전하기 시작했다.
• ROCm 소프트웨어 생태계의 Day-0 지원 부재가 여전히 운영 마찰을 유발하지만, 에이전트 기반 최적화 도구의 발전으로 격차가 빠르게 좁혀지고 있다.
• 토큰 비용 절감이 중요한 서비스라면 AMD 기반 추론 인프라 도입 가능성을 지금 검토할 시점이다.