Home Nieuws Microsoft steunde een kleine hardware-startup die zojuist zijn eerste AI-processor lanceerde die...

Microsoft steunde een kleine hardware-startup die zojuist zijn eerste AI-processor lanceerde die inferentie doet zonder GPU of duur HBM-geheugen, en een belangrijke Nvidia-partner werkt ermee samen

Desember 29, 2024

Door Microsoft gesteunde startup introduceert GPU-vrije alternatieven voor generatieve AI
DIMC-architectuur levert een ultrahoge geheugenbandbreedte van 150 TB/s
Corsair ondersteunt transformatoren, agentische AI en interactieve videogeneratie

d-Matrix Inc., een hardware-startup gevestigd in Santa Clara, Californië, heeft zijn eerste AI-processor geïntroduceerd, Corsair, die gericht is op het verbeteren van AI-inferentie.

Gesteund door Microsoft Door gebruik te maken van geavanceerde technologie schuwt Corsair traditionele GPU’s en duur geheugen met hoge bandbreedte (HBM), wat aanzienlijke prestatie- en kostenvoordelen oplevert.

Corsair is momenteel beschikbaar voor klanten met vroege toegang, met een bredere beschikbaarheid gepland voor het tweede kwartaal van 2025.

De prestaties van Corsair herdefiniëren AI-inferentie

De Corsair-processor is speciaal gebouwd om veeleisende AI-inferentietaken uit te voeren, vooral voor generatieve taken AI modellen. Het behaalt bijvoorbeeld 60.000 tokens per seconde bij 1 ms per token bij het uitvoeren van Llama3 8B op een enkele server.

In meer resource-intensieve scenario’s, zoals met Llama3 70B-modellen, levert Corsair 30.000 tokens per seconde met een snelheid van 2 ms per token in één rack, wat zich vertaalt in aanzienlijke besparingen op energie- en operationele kosten vergeleken met traditionele GPUgebaseerde oplossingen.

De processor is gebouwd op Nighthawk- en Jayhawk II-tegels, met behulp van een 6nm-productieproces. Elke Nighthawk-tegel integreert vier neurale kernen en een RISC-V CPU, op maat gemaakt om inferentie van grote modellen te ondersteunen met digitale in-memory computation (DIMC) en veelzijdige datatypeverwerking, inclusief block floating point (BFP).

Corsair maakt gebruik van chipletverpakkingen, waarbij geheugen en rekenkracht worden geïntegreerd om de efficiëntie te maximaliseren. Het voldoet aan de industriestandaard PCIe Gen5 kaartvormfactor van volledige hoogte en kan worden gecombineerd met DMX Bridge-kaarten voor schaalbare prestaties. Elke kaart wordt aangedreven door 2400 TFLOP’s 8-bit peak computing, samen met 2 GB geïntegreerd prestatiegeheugen en tot 256 GB off-chip geheugencapaciteit.

Het is belangrijk op te merken dat Micron Technology, een belangrijke partner van Nvidiawerkt ook samen met d-Matrix.

Aanvankelijk gepland voor lancering eind 2023, heeft d-Matrix zijn architectuur opnieuw geconfigureerd als reactie op de stijgende vraag naar generatieve AI. Dankzij deze spil kon Corsair verbeteringen integreren die waren afgestemd op transformatormodellen en opkomende toepassingen zoals agentische AI en interactieve videogeneratie.

“We zagen transformatoren en generatieve AI aankomen en richtten d-Matrix op om inferentie-uitdagingen rond de grootste computermogelijkheden van onze tijd aan te pakken”, zegt Sid Sheth, medeoprichter en CEO van d-Matrix.

“Het eerste in zijn soort Corsair-computerplatform zorgt voor razendsnelle tokengeneratie voor toepassingen met hoge interactiviteit met meerdere gebruikers, waardoor Gen AI commercieel levensvatbaar wordt”, voegde Sheth eraan toe.

Via eeNieuws

Misschien vind je het ook leuk

Source link

Microsoft steunde een kleine hardware-startup die zojuist zijn eerste AI-processor lanceerde die inferentie doet zonder GPU of duur HBM-geheugen, en een belangrijke Nvidia-partner werkt ermee samen

EDITOR PICKS

De foto's van Gary Wagner verlichten ruige IJslandse fjorden en kustlijnen – kolossaal

Oval Office Dustup zeigt die Kraft von Trumps hyper-öffentlicher Präsidentschaft

Ravens om Georgia Tech DC DC Tyler Santucci in te huren als LB -coach

De 97e genomineerden voor de Academy Award zijn bekend