2024 was een belangrijk jaar voor AI op apparaten in de consumentenelektronica. Zowel Microsoft als Apple gingen met hun respectievelijke besturingssystemen aan de slag, met Microsoft debuteert met de merknaam “Copilot+ PC” voor AI-compatibele laptops en Apple brengt Apple Intelligence uit.
Deze vroege voorbeelden leverden gemengde resultaten op. Sommige functies, zoals realtime vertalingen en spraak-naar-tekst op het apparaat, kunnen nuttig zijn. Anderen, zoals Microsoft’s Windows Recall, moeten zich nog bewijzen.
Al deze hype voor AI heeft belangrijke implicaties voor het nieuwe jaar. 2025 lijkt het jaar te worden waarin reguliere ontwikkelaars hun pogingen ondernemen om AI op het apparaat toe te voegen aan hun Windows-apps, en dat betekent dat je nog meer aandacht wilt besteden aan de AI-prestaties van moderne Windows-laptops voordat je een nieuwe.
Ik sprak met twee experts op het gebied van AI-onderzoek en -testen om hun hersenen te onderzoeken op inzichten over hoe Windows on-device AI in 2025 zal groeien.
Er komen grote winsten aan voor NPU’s
Als je nieuwsgierig bent naar de AI-prestaties van Windows-laptops, zul je waarschijnlijk uiteindelijk de “TOPS” vergelijken die door elk laptopmodel worden beloofd. TOPS (“Trillions of Operations Per Second”) is een meting van het vermogen van een NPU om matrixvermenigvuldigingen uit te voeren voor AI-taken op het apparaat. (Meer informatie over wat een NPU is en waarom dit belangrijk is voor AI.)
In 2024 was er sprake van grote winst in de TOPS-prestaties die beschikbaar zijn op Windows-laptops. Om in aanmerking te komen voor de ‘Copilot PC+’-branding van Microsoft, moet een Windows-laptop minimaal 40 TOPS aan NPU-prestaties hebben. Ter referentie: de eerste Copilot+ pc’s van Qualcomm haalden ongeveer 45 TOPS – dat is een viervoudige stijging ten opzichte van Intel’s “Meteor Lake” Core Ultra 7 165H, die slechts 11 TOPS aan NPU-prestaties had geciteerd.
Microsoft/Samsung
“Ik denk dat Qualcomm iedereen echt wakker heeft gemaakt”, zei hij Karel Freundoprichter en hoofdanalist bij Cambrian AI Research. Freund heeft opgemerkt dat AMD en Intel snel hebben gereageerd met hun eigen chips, die een soortgelijke verbetering opleverden.
Tegen het einde van 2024 kunnen shoppers die op zoek zijn naar een premium Windows-laptop – zoals een Microsoft Surface, Asus ProArt of Dell XPS – een ruwweg drie- of viervoudige toename in NPU-prestaties verwachten vergeleken met vergelijkbare premium laptops die beschikbaar waren op de markt. eind 2023. Dat is een enorme stijging. Maar zal die trend zich voortzetten in 2025?
Ryan Shrout, president van het prestatietestlaboratorium Signaal65denkt van wel. “Het zou mij niets verbazen als we weer een dubbele zien, en nog eens een driedubbele zou mij niet verbazen.” Hij verwacht echter dat deze uiteindelijke winsten tegen het einde van volgend jaar zwaarder zullen wegen. “Ik vermoed dat het eind 2025 zal zijn, en waarschijnlijk pas in 2026, wanneer we de belangrijkste NPU-verbeteringen zullen zien.”
TOPS blijft misschien niet lang aan de top
Een potentiële twee- tot drievoudige verbetering van de AI-prestaties op apparaten is aanzienlijk. Freund en Shrout waarschuwden echter dat het het beste is om niet te veel geloof te hechten aan de TOPS-prestaties die chipmakers citeren.
“TOPS staat eigenlijk voor ‘Terribly Overused Performance Stat’”, aldus Freund. “Het heeft niet veel waarde.”
Shrout was het daarmee eens en vergeleek TOPS met de TFLOPS-cijfers die AMD en Nvidia vaak citeren bij het op de markt brengen van GPU’s. Deze cijfers, die wijzen op de maximaal mogelijke rekensnelheid van een GPU, bieden verrassend weinig inzicht in de daadwerkelijke prestaties in de echte wereld.
Real-world AI-prestaties zijn momenteel een beetje een wilde kaart, deels omdat Windows zich nog moet verenigen rond één enkele API voor het aanboren van de AI-mogelijkheden van een NPU. Dat is een probleem voor eigenaren van Copilot+-laptops waarin geen Qualcomm-chip zit.
Mark Hachman/IDG
Hoewel AMD en Intel chips hebben die in aanmerking komen voor de Copilot+-branding, heeft Qualcomm tot nu toe een bevoorrechte status genoten. Qualcomm-machines waren de eersten die ondersteuning kregen voor Windows Recall en verschillende populaire apps, zoals Blender en Affinity Photo, die onlangs aangekondigd alleen te werken op Qualcomm Snapdragon X-hardware.
Dat zou echter in 2025 moeten veranderen, omdat Microsoft de ondersteuning voor zijn low-level machine learning API (DirectML) en de Windows Copilot Runtime, die verschillende taakspecifieke AI API’s bevat (waarvan sommige nog moeten worden uitgebracht), op gang zal brengen. Voorlopig is dat duidelijk Copilot+ pc’s laten veel te wensen over en er is veel ruimte voor groei.
“Ik denk dat Microsoft dit in 2025 zal hebben opgelost”, aldus Shrout. “Zodra applicatieontwikkelaars zich aansluiten bij DirectML, zoals ze deden met DirectX, zal het een opgelost probleem zijn. En ik denk niet dat dit nog lang een probleem zal zijn.” Shrout vergeleek het met de begindagen van 3D op de pc, waarin aanvankelijk concurrerende API’s te zien waren, maar zich uiteindelijk consolideerden rond de leiders, waarbij Microsoft DirectX de meest populaire optie werd.
Het bewijs voor Windows AI
Betere NPU’s en een uniforme API die het voor ontwikkelaars van Windows-applicaties gemakkelijker maakt om de volledige prestaties van een NPU daadwerkelijk te gebruiken, zijn beide belangrijke stappen voorwaarts, maar ze garanderen niet noodzakelijkerwijs dat AI op het apparaat gemeengoed zal worden.
Dat komt omdat ontwikkelaars nog steeds de mogelijkheid hebben zich te wenden tot bedrijven als OpenAI en Anthropic, die hun AI-modellen en -diensten beschikbaar maken voor elk apparaat met internettoegang. En hun AI-modellen zijn nog steeds capabeler dan AI-modellen op apparaten, ze kunnen meer doen en die resultaten veel sneller genereren.
Echter, die AI-modellen die in de cloud worden gehost, hebben een groot nadeel dat zal in 2025 relevanter worden: de prijs.
“Het feit dat we kleine taalmodellen continu op de achtergrond op een NPU kunnen laten draaien om te monitoren wat er gebeurt, is iets dat de cloud niet kan doen, of in ieder geval veel duurder zou zijn vanuit een infrastructuuroogpunt”, aldus Shrout.
OpenAI’s recente release van ChatGPT Pro, een nieuwe premiumlaag voor ervaren gebruikers, lijkt dit punt duidelijk te maken. ChatGPT Pro biedt onbeperkte toegang tot het nieuwe o1-model van het bedrijf en prioritaire toegang tot de Sora-videogenerator, maar kost $ 200 per maand. De prijs per token die app-ontwikkelaars betalen om o1 beschikbaar te maken voor gebruikers is eveneens hoog.
Gebruikers en ontwikkelaars die zich daarentegen wenden tot de NPU op het apparaat van een Windows-laptop, kunnen deze in essentie gratis gebruiken wanneer ze maar willen. Dat zal waarschijnlijk de laatste steen zijn die wordt gelegd op de weg naar AI op het apparaat. Ontwikkelaars en gebruikers zullen zowel de tools als de prikkels hebben om waar mogelijk te vertrouwen op de NPU van een Windows-laptop om kosten te besparen.
Het valt nog te bezien hoe snel de verschuiving naar AI op het apparaat zal plaatsvinden, en in welke mate deze zich zal verspreiden via het software-ecosysteem van Windows, maar het is waarschijnlijk dat 2025 een enorm keerpunt zal zijn.
“Ik denk dat Qualcomm vijf jaar geleden gelijk had toen ze zeiden dat AI zich op het apparaat zou verplaatsen. In eerste instantie was ik sceptisch. Maar nu ben ik een gelovige geworden”, zei Freund.
Verder lezen: Gratis AI-tools die lokaal op uw pc draaien
