Amazon staat op het punt zijn nieuwste kunstmatige-intelligentiechips uit te rollen, terwijl de Big Tech-groep rendement wil halen uit zijn miljardeninvesteringen in halfgeleiders en zijn afhankelijkheid van marktleider Nvidia wil verminderen.
Leidinggevenden bij de cloud computing-divisie van Amazon geven veel uit aan op maat gemaakte chips in de hoop de efficiëntie binnen de tientallen datacenters te vergroten, waardoor uiteindelijk zowel de eigen kosten als die van Amazon omlaag kunnen worden gebracht. Amazon-webservices' klanten.
De inspanning wordt geleid door Annapurna Labs, een Israëlische chipstart-up die Amazon begin 2015 voor 350 miljoen dollar overnam, met vestigingen in Austin.
Het nieuwste werk van Annapurna zal naar verwachting volgende maand worden tentoongesteld wanneer Amazon de wijdverspreide beschikbaarheid van Trainium 2 aankondigt, onderdeel van een lijn van AI chips gericht op het trainen van de grootste modellen.
Trainium 2 wordt al getest door Anthropic – de OpenAI-concurrent die 4 miljard dollar aan steun heeft gekregen van Amazon – en door Databricks, Deutsche Telekom en het Japanse Ricoh en Stockmark.
Het doel van AWS en Annapurna is om de strijd aan te gaan met Nvidia, een van de meest waardevolle bedrijven ter wereld dankzij zijn dominantie van de AI-processormarkt.
“We willen absoluut de beste plek zijn om Nvidia te runnen”, zegt Dave Brown, vice-president van computer- en netwerkdiensten bij AWS. “Maar tegelijkertijd denken we dat het gezond is om een alternatief te hebben.” Amazon zei dat Inferentia, een andere lijn van gespecialiseerde AI-chips, al 40 procent goedkoper was in gebruik voor het genereren van reacties uit AI-modellen.
“De prijs (van cloud computing) is vaak veel hoger als het gaat om machinaal leren en AI”, zegt Brown. “Als je 40 procent van €1.000 spaart, heeft dat niet echt invloed op je keuze. Maar als je 40 procent bespaart op tientallen miljoenen dollars, dan gebeurt dat wel.”
Amazon verwacht nu ongeveer 75 miljard dollar aan kapitaaluitgaven in 2024, waarvan het merendeel aan technologische infrastructuur. Bij de laatste winstoproep van het bedrijf zei topman Andy Jassy dat hij verwachtte dat het bedrijf in 2025 nog meer zou uitgeven.
Dit betekent een stijging ten opzichte van 2023, toen er het hele jaar 48,4 miljard dollar werd uitgegeven. De grootste cloudproviders, waaronder Microsoft en Google, zijn allemaal bezig met een AI-uitgavengolf die weinig tekenen van afname vertoont.
Amazon, Microsoft en Meta zijn allemaal grote klanten van Nvidia, maar ontwerpen ook hun eigen datacenterchips om de basis te leggen voor wat zij hopen dat een golf van AI-groei zal zijn.
“Elk van de grote cloudproviders beweegt zich koortsachtig in de richting van een meer verticale en, indien mogelijk, gehomogeniseerde en geïntegreerde (chiptechnologie) stack”, zegt Daniel Newman van The Futurum Group.
“Iedereen, van OpenAI tot Apple, wil zijn eigen chips bouwen”, merkte Newman op, terwijl ze op zoek waren naar “lagere productiekosten, hogere marges, grotere beschikbaarheid en meer controle”.
„Het gaat niet (alleen) om de chip, het gaat om het volledige systeem“, zegt Rami Sinno, Annapurna's technisch directeur en een veteraan van SoftBank's Arm en Intel.
Voor de AI-infrastructuur van Amazon betekent dit dat alles vanaf de grond moet worden opgebouwd, van de siliciumwafel tot de serverracks waarin ze passen, allemaal ondersteund door de eigen software en architectuur van Amazon. “Het is echt moeilijk om op grote schaal te doen wat we doen. Dat kunnen niet veel bedrijven”, zegt Sinno.
Na te zijn begonnen met het bouwen van een beveiligingschip voor AWS genaamd Nitro, heeft Annapurna sindsdien verschillende generaties Graviton ontwikkeld, de Arm-gebaseerde centrale verwerkingseenheden die een energiezuinig alternatief bieden voor de traditionele serverwerkpaarden van Intel of AMD.
“Het grote voordeel van AWS is dat hun chips minder stroom kunnen gebruiken, en dat hun datacenters misschien iets efficiënter kunnen zijn”, waardoor de kosten omlaag gaan, zegt G Dan Hutcheson, analist bij TechInsights. Als de grafische verwerkingseenheden van Nvidia krachtige tools voor algemene doeleinden zouden zijn (in autotermen, zoals een stationwagen of een stationwagen), zou Amazon zijn chips kunnen optimaliseren voor specifieke taken en diensten, zoals een compacte auto of een hatchback, zei hij.
AWS en Annapurna hebben de dominantie van Nvidia op het gebied van AI-infrastructuur echter nauwelijks aangetast.
Nvidia boekte in het tweede fiscale kwartaal van 2024 een omzet van 26,3 miljard dollar uit de verkoop van AI-datacenterchips. Dat cijfer is hetzelfde als wat Amazon in zijn eigen tweede fiscale kwartaal voor zijn gehele AWS-divisie had aangekondigd – waarvan slechts een relatief klein deel kan worden toegeschreven aan klanten die AI-workloads uitvoeren op de infrastructuur van Annapurna, aldus Hutcheson.
Wat betreft de ruwe prestaties van AWS-chips vergeleken met die van Nvidia, vermijdt Amazon het maken van directe vergelijkingen en onderwerpt zijn chips niet aan onafhankelijke prestatiebenchmarks.
„Benchmarks zijn goed voor dat eerste 'hey, moet ik deze chip überhaupt overwegen?'“, zegt Patrick Moorhead, chipconsulent bij Moor Insights & Strategy, maar de echte test was toen ze „in meerdere racks werden geplaatst die als een vloot waren samengevoegd ”.
Moorhead zei dat hij er vertrouwen in had dat de beweringen van Amazon over een viervoudige prestatieverbetering tussen Trainium 1 en Trainium 2 juist waren, nadat hij het bedrijf jarenlang onder de loep had genomen. Maar de prestatiecijfers doen er misschien minder toe dan het simpelweg bieden van meer keuze aan klanten.
“Mensen waarderen alle innovatie die Nvidia heeft gebracht, maar niemand voelt zich op zijn gemak als Nvidia een marktaandeel van 90 procent heeft”, voegde hij eraan toe. “Dit kan niet lang meer duren.”
Dit artikel is aangepast om de oorsprong en locatie van Annapurna Labs te verduidelijken
