https://www.aitimes.com/news/articleView.html?idxno=158372

엔비디아, 6개월 새 GPU 추론 속도 3배 증가…ML퍼프 벤치마크 결과 공개

6개월 사이에 인공지능(AI) 칩의 추론 속도가 무려 3배나 빨라진 것으로 나타났다. 이를 통해 AI 발전이 더 빨라질 것이라는 예상이 가능하게 됐다.벤처비트는 27일(현지시간) ML커먼스가 'ML퍼프(MLPerf) 4.0' 추론 벤치마크 결과를 발표했다고 전했다. 이는 지난해 9월 'ML퍼프 3.1' 결과가 공개된 이후 첫번째 업데이트다. 이번 벤치마크에는 🔼텍스트 요약 벤치마크를 위한 ‘GPT-J 6B’ 🔼LLM에 질문 및 답변(Q&A) 벤치마크를 위해 메타의 오픈 소스 LLM ‘라마 2 70B’ 등이 추가됐다. 또 ML퍼프에는

www.aitimes.com

6개월 사이에 인공지능(AI) 칩의 추론 속도가 무려 3배나 빨라진 것으로 나타났다. 이를 통해 AI 발전이 더 빨라질 것이라는 예상이 가능하게 됐다.

벤처비트는 27일(현지시간) ML커먼스가 'ML퍼프(MLPerf) 4.0' 추론 벤치마크 결과를 발표했다고 전했다.

이는 지난해 9월 'ML퍼프 3.1' 결과가 공개된 이후 첫번째 업데이트다.

이번 벤치마크에는 🔼텍스트 요약 벤치마크를 위한 ‘GPT-J 6B’ 🔼LLM에 질문 및 답변(Q&A) 벤치마크를 위해 메타의 오픈 소스 LLM ‘라마 2 70B’ 등이 추가됐다. 또 ML퍼프에는 처음으로 🔼‘스테이블 디퓨전’을 사용한 이미지 생성 AI에 대한 벤치마크도 포함됐다.

엔비디아는 이번에도 인상적인 결과로 ML퍼프 벤치마크를 장악했다.

‘텐서RT-LLM’ 기술을 사용해 H100 호퍼 GPU의 GPT-J LLM을 통해 텍스트 요약에 대한 추론 성능을 거의 3배 향상한 결과를 만들어 냈다. 텐서RT-LLM은 GPU에서 LLM 추론을 가속화하고 최적화하는 엔비디아의 오픈 소스 소프트웨어다.

로낙 샤 인텔 제온 AI 제품 이사는 "많은 기업은 AI 전용 인프라는 물론 일반 환경에서도 AI 솔루션을 배포하게 될 것"이라며 "그래서 우리는 AMX 엔진을 통해 강력한 AI 기능과 강력한 범용 기능을 결합하는 CPU를 설계했다"라고 설명했다.