Sagence brengt analoge rekenkracht in het geheugen om AI-gevolgtrekkingen opnieuw te definiëren Tien keer minder vermogen en 20 keer lagere kosten Biedt ook integratie met PyTorch en TensorFlow
Sagence AI heeft een geavanceerde analoge in-memory computerarchitectuur geïntroduceerd die is ontworpen om problemen op het gebied van vermogen, kosten en schaalbaarheid aan te pakken. AI gevolgtrekking.
Door gebruik te maken van een op analoog gebaseerde aanpak biedt de architectuur verbeteringen op het gebied van energie-efficiëntie en kosteneffectiviteit, terwijl prestaties worden geleverd die vergelijkbaar zijn met bestaande high-end GPU- en CPU-systemen.
Deze gedurfde stap positioneert Sagence AI als een potentiële disruptor in een markt die wordt gedomineerd door Nvidia .
De Sagence-architectuur biedt voordelen bij het verwerken van grote taalmodellen zoals Llama2-70B. Genormaliseerd naar 666.000 tokens per seconde levert de technologie van Sagence zijn resultaten op met een tien keer lager energieverbruik, twintig keer lagere kosten en een twintig keer kleinere rackruimte vergeleken met toonaangevende GPU-gebaseerde oplossingen.
Dit ontwerp geeft voorrang aan de eisen van gevolgtrekking boven training, wat de verschuiving in AI-compute-focus binnen datacenters weerspiegelt. Met zijn efficiëntie en betaalbaarheid biedt Sagence een oplossing voor de groeiende uitdaging om het rendement op investeringen (ROI) te garanderen naarmate AI-toepassingen zich uitbreiden naar grootschalige implementatie.
De kern van de innovatie van Sagence wordt gevormd door de analoge in-memory computertechnologie, die opslag en berekening binnen geheugencellen samenvoegt. Door de noodzaak voor afzonderlijke opslag en geplande meervoudig-accumulerende circuits te elimineren, vereenvoudigt deze aanpak chipontwerpen, verlaagt de kosten en verbetert de energie-efficiëntie.
Sagence maakt ook gebruik van deep subthreshold computing in multi-level geheugencellen – een primeur in de sector – om de efficiëntiewinst te behalen die nodig is voor schaalbare AI-inferentie.
Traditionele CPU- en GPU-gebaseerde systemen zijn afhankelijk van complexe dynamische planning, waardoor de hardwarevereisten, de inefficiëntie en het stroomverbruik toenemen. De statisch geplande architectuur van Sagence vereenvoudigt deze processen en weerspiegelt biologische neurale netwerken.
Het systeem is ook ontworpen om te integreren met bestaande AI-ontwikkelingsframeworks zoals PyTorch, ONNX en TensorFlow. Zodra getrainde neurale netwerken zijn geïmporteerd, maakt de architectuur van Sagence de noodzaak voor verdere GPU-gebaseerde verwerking overbodig, waardoor de implementatie wordt vereenvoudigd en de kosten worden verlaagd.
“Een fundamentele vooruitgang op het gebied van AI-inferentiehardware is van cruciaal belang voor de toekomst van AI. Het gebruik van grote taalmodellen (LLM’s) en generatieve AI stimuleert de vraag naar snelle en grootschalige veranderingen in de kern van computergebruik, waarbij een ongekende combinatie van de hoogste prestaties bij het laagste vermogen en een economisch rendement nodig is dat de kosten afstemt op de gecreëerde waarde”, zegt Vishal Sarin, CEO & Oprichter, Sagence AI.
“De huidige computerapparatuur die in staat is tot extreem krachtige AI-inferentie kost te veel om economisch levensvatbaar te zijn en verbruikt te veel energie om ecologisch duurzaam te zijn. Onze missie is om deze prestatie- en economische beperkingen op een milieuverantwoorde manier te doorbreken”, aldus Sarin.
Via IEEE-spectrum
Misschien vind je het ook leuk
