Bestandsfoto: AI Group MLCommons heeft twee nieuwe benchmarks onthuld die kunnen helpen bepalen hoe snel tophardware en software AI-applicaties kunnen uitvoeren. | Fotocredit: Reuters
Artificial Intelligence Group MLCommons onthulde twee nieuwe benchmarks waarvan het zei kan helpen bepalen hoe snel tophardware en software AI-applicaties kunnen uitvoeren.
Sinds de lancering van Openai’s Chatgpt meer dan twee jaar geleden, zijn chipbedrijven begonnen hun focus te verleggen naar het maken van hardware die de code efficiënt kan uitvoeren waarmee miljoenen mensen AI -tools kunnen gebruiken. Aangezien de onderliggende modellen moeten reageren op nog veel meer vragen om AI -toepassingen zoals chatbots en zoekmachines aan te drijven, ontwikkelden MLCommons twee nieuwe versies van zijn MLPERF -benchmarks om snelheid te meten.
Een van de nieuwe benchmarks is gebaseerd op het zogenaamde LLAMA 3.1 405-miljard-parameter AI-model van Meta, en de test richt zich op Algemene vragen, wiskunde en codesgeneratie. Het nieuwe formaat test het vermogen van een systeem om grote vragen te verwerken en gegevens uit meerdere bronnen te synthetiseren.
NVIDIA diende verschillende van zijn chips in voor de benchmark, net als systeembouwers zoals Dell Technologies. Er waren geen geavanceerde micro-apparaten inzendingen voor de grote benchmark van 405 miljard parameter, volgens gegevens verstrekt door MLCommons.
Voor de nieuwe test was de nieuwste generatie kunstmatige intelligentieservers van NVIDIA – Grace Blackwell genaamd, die 72 NVIDIA grafische verwerkingseenheden (GPU’s) binnen hebben – 2,8 tot 3,4 keer sneller dan de vorige generatie, zelfs wanneer alleen de achtere GPU’s in de nieuwere server gebruikten om een directe vergelijking te creëren met het oudere model, het bedrijf dat op een briefing op een briefing op een briefing was.
Nvidia heeft gewerkt om de verbindingen van chips in zijn servers te versnellen, wat belangrijk is in AI -werk waar een chatbot tegelijkertijd op meerdere chips draait.
De tweede benchmark is ook gebaseerd op een open-source AI-model gebouwd door Meta en de test is bedoeld om de prestatieverwachtingen die zijn vastgesteld door AI-applicaties van consumenten zoals CHATGPT beter te simuleren.
Het doel is om de responstijd voor de benchmark aan te scherpen en deze dicht bij een onmiddellijke reactie te maken.
Gepubliceerd – 03 april 2025 09:49 AM IST
