?? ???? ??, NVIDIA B200? ??? ?????? ???? ?? ?? ??? ?? ?? ?? ??? 3? ??

????, ?????, 2025? 4? 3? /PRNewswire/ --  AI/ML, ????, ???? ? 5G/??? ?? ?? IT ???? ??? ?? ?????????(Super Micro Computer, Inc.(SMCI), ?? ??????)? NVIDIA HGX? B200 8-GPU? ??? ?? MLPerf Inference v5.0 ?????? ??? ?? ??? ??? ????? ????. 4U ??? ? 10U ??? ???? ?? ?????? ??? ??? ????. ??????? H200 8-GPU ???? ?? Llama2-70B ? Llama3.1-405B ?????? ?? ??(Token/s) ???? 3? ?? ??? ??? ????.

Nvidia HGX B200 Systems

?? ?(Charles Liang) ?????? ?? ? ?????(CEO)? "2025? MLCommons? ??? ??? ??? ?????? ? ? ??? ??????? AI ??? ?? ??? ?????? ??"? "??? ?? ?? ????? ?? ??? ????? ???? ??? ???? ?? ?? ??? ??? ? ???. ???? ????(NVIDIA)? ??? ???? ???? ?? ???? AI ?????? ???? ??? ??? ?"??? ???.

??? MLPerf v5.0 Inference ????? ?? ??? ??? ?? ??? ? ??.

??????? ???? ??? NVIDIA HGX? B200 8-GPU ??? ???? ???? MLPerf ?? ??(?? ???? ??) ??? ??? ??? ??? ???. ???? MLCommons ???? ??? ???? ?? ?????, ?????? ?????? ???? ?????? ????? ??? ??? ????. ?? ?? ??? ??????? ??? B200 ???? ?? ??? B200 ???? ??? ??? ??? ?????. ??????? ????? ???? ?? ?? ???? ????? ????? ??? ??.

MLCommons? ?? ??? ?? ???? ??, ??? ??? ?? ????, ?? MLCommons ??? ??? ??? ? ??? ??? ?? ????. ??????? ?????? MLCommons ??? ?? ???? ?????? ?????.

SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) ? SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB)? Mixtral 8x7B Inference ? Mixture of Experts ?????? ?? 129,000 ??(Token/s)? ???? ?? ??? ????. ?????? ??? ? ??? NVIDIA B200 ?? ???? ?? Llama3.1-405b ?? ???? ?? 1000? ??? ??? ?????, ?? ?? ?? GPU ????? ?? ? ??? ???. ??? ?? ??? ??, LLAMA2-70b ????? ??? ? NVIDIA B200 SXM-180GB? ??? ?????? ???? ?? 1(Tier 1) ??? ???? ? ?? ?? ??? ????.

???? ??? ??? ??.

• Stable Diffusion XL (??)
  SYS-A21GE-NBRT (8x B200-SXM-180GB)
  
  #1 ??/?, 28.92
  
  
• llama2-70b-interactive-99 (??)
  SYS-A21GE-NBRT (8x B200-SXM-180GB)
  
  #1 ??/?, 62,265.70
  
  
• Llama3.1-405B (????)
  SYS-421GE-NBRT-LCC (8xB200-SXM-180GB)
  
  #1 ??/? 1521.74
  
  
• Llama3.1-405B (??)
  SYS-A21GE-NBRT (8x B200-SXNM-180GB)
  
  #1 ??/?, 1080.31 (8-GPU ???)
  
  
• mixtral-8x7b (??)
  SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)
  
  #1 ??/?, 129,047.00
  
  
• mixtral-8x7b (????)
  SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)
  
  #1 ??/?, 128,795.00

???? ??(David Kanter) MLCommons? MLPerf ???? "MLCommons? ??????? MLPerf Inference v5.0 ????? ??? ?? ????, ?? ?? ???? ??? ? ??? ?? ??? ???? ??? ???? ?? ?? ???"?? ???. ?? "?? ?? ??? ????? ???? ??? ?? ??? MLPerf ??? ?? ??????, ???? ?? ????? ???? ?"??? ????.

??????? 100? ??? GPU ??? ???? ??? ???? AI ?????? ????, ??? ? ?? ??? ??? ?? ?? ??? ????? 8?? ?????? ????? ??? CPU ??? ??? ? ??. ?????? ? ??? ????? ???, ????, ???? ?? ??? ???? ?? ??? ??? ??? ? ?? ??? ??? ? ??? ????.

??????? NVIDIA HGX B200 8-GPU ???? ??? ???? ??? ??? ????. ?? ??? ???? ??? 250kW ??? ?? ??(CDU)? ??? 4U ? ???? ?? ???? ?? ??? ? ? ?? ???. ? ???? 42U, 48U ?? 52U ???? ????, ??? ?? ??? ?? ????(CDM)? ??? ? ??? ??? ?? ???? ? ?? ?? ?? ??? ????. ?? ?? 42U ?? 64?? NVIDIA Blackwell GPU? ??? 8?? ???? 52U ?? 96?? NVIDIA Blackwell GPU? ??? ?? 12?? ???? ??? ? ??.

??? ??? 10U NVIDIA HGX B200 ???? ? ???? ??? ??? ??? ???? 8?? 1000W TDP Blackwell GPU? ??? ? ??. ??? 10U ??? ???? ?? ??? ??? ??? ?? ?? 4??? ?? ? ?? ??? ? ???, ?? 15?? ?? ? 3?? ???? ??? ????.

?????????(Super Micro Computer, Inc.) ??

??????(Supermicro, ???: SMCI)? ?????? ??? ?? IT ??? ???? ?? ??? ???? ????. ????? ?????? ???? ?? ??? ??????, ????, AI, 5G ???/?? IT ???? ???? ????? ?? ?? ???? ???? ?? ??? ?? ??. ??, AI, ????, IoT, ??? ???, ?????, ?? ???? ???? ?? IT ??? ????? ????? ??, ?? ?? ???? ??? ??? ??? ??, ?????? ???? ???? ??? ?? ??? ???? ??. ??, ???, ?????? ??? ?? ???? ??? ???? ?? ??? ??? ???? ?? ???? ?? TCO? ???? ??? ??? ??? ??? ??(?? ???). ?? ??? ???? Server Building Block Solutions® ?????? ?? ??? ? ??, ????, ???, GPU, ????, ????, ?? ? ?? ???? ????? ???? ???? ??? ??? ?? ??? ???? ??? ???? ??? ????? ??? ?? ????? ??????? ?? ??? ???? ???? ? ??.

??????(Supermicro), ?? ?? ?? ???(Server Building Block Solutions), We Keep IT Green? ?????????? ?? ?/?? ??????.

?? ???, ?? ? ??? ?? ???? ????.

?? -

?? -