Terence Tao, hoogleraar wiskunde aan de UCLA, is een echte superintelligentie. De 'Mozart van de wiskunde', zoals hij soms wordt genoemd, wordt algemeen beschouwd als 's werelds grootste levende wiskundige. Hij heeft talloze prijzen gewonnen, waaronder het equivalent van een Nobelprijs voor wiskunde, voor zijn vooruitgang en bewijzen. Op dit moment komt AI nog lang niet in de buurt van zijn niveau.
Maar technologiebedrijven proberen het daar te krijgen. Recente, opvallende generaties AI – zelfs de almachtige ChatGPT – zijn niet gebouwd om wiskundig redeneren aan te kunnen. Ze waren in plaats daarvan gericht op taal: als je zo'n programma vroeg om een basisvraag te beantwoorden, begreep en voerde het geen vergelijking uit of formuleerde het geen bewijs, maar presenteerde het in plaats daarvan een antwoord op basis van welke woorden waarschijnlijk in de juiste volgorde zouden verschijnen. De originele ChatGPT kan bijvoorbeeld niet optellen of vermenigvuldigen, maar heeft genoeg voorbeelden van algebra gezien om op te lossen x+ 2 = 4: “Om de vergelijking op te lossen X + 2 = 4, trek 2 af van beide kanten … ”Nu brengt OpenAI echter expliciet een nieuwe regel op de markt met “redeneermodellen’, gezamenlijk bekend als de o1-serie, vanwege hun vermogen om ‘net als een persoon’ problemen op te lossen en complexe problemen op te lossen wiskundig en wetenschappelijke taken en vragen. Als deze modellen succesvol zijn, zouden ze een grote verandering kunnen betekenen voor het langzame, eenzame werk dat Tao en zijn collega's doen.
Nadat ik Tao zag na zijn indrukken van o1 online – hij vergeleek het met een “middelmatige, maar niet geheel incompetente” afgestudeerde student – wilde ik meer weten over zijn opvattingen over het potentieel van de technologie. In een Zoom-oproep vorige week beschreef hij een soort door AI ondersteunde, ‘wiskunde op industriële schaal’ die nog nooit eerder mogelijk is geweest: een waarin AI, althans in de nabije toekomst, op zichzelf geen creatieve samenwerker is. zelfs als smeermiddel voor de hypothesen en benaderingen van wiskundigen. Dit nieuwe soort wiskunde, dat terrae incognitae van kennis zou kunnen ontsluiten, zal in de kern menselijk blijven en omarmen hoe mensen en machines zeer verschillende sterke punten hebben die eerder als complementair dan als concurrerend moeten worden beschouwd.
Dit gesprek is aangepast voor lengte en duidelijkheid.
Matteo Wong: Wat was je eerste ervaring met ChatGPT?
Terence Tao: Ik heb er vrijwel meteen mee gespeeld toen het uitkwam. Ik stelde een aantal moeilijke wiskundeproblemen op, en het leverde behoorlijk gekke resultaten op. Het was coherent Engels, er stonden de juiste woorden in, maar er zat weinig diepgang in. Alles wat echt geavanceerd was, de vroege GPT's waren helemaal niet indrukwekkend. Ze waren goed voor leuke dingen, bijvoorbeeld als je een wiskundig onderwerp als gedicht of als verhaal voor kinderen wilde uitleggen. Die zijn behoorlijk indrukwekkend.
Wong: OpenAI zegt dat o1 kan ‘redeneren’, maar jij vergeleken het model voor “een middelmatige, maar niet volledig incompetente” afgestudeerde student.
Tao: Die eerste bewoording ging viraal, maar werd verkeerd geïnterpreteerd. Ik zei niet dat dit hulpmiddel in elk aspect van de graduate studie gelijkwaardig is aan een afgestudeerde student. Ik was geïnteresseerd in het gebruik van deze hulpmiddelen als onderzoeksassistenten. Een onderzoeksproject kent veel vervelende stappen: je hebt misschien een idee en je wilt berekeningen uitwerken, maar je moet het met de hand doen en het allemaal uitwerken.
Wong: Het is dus een middelmatige of incompetente onderzoeksassistent.
Tao: Juist, het is het equivalent, in termen van het dienen als dat soort assistent. Maar ik zie wel een toekomst voor je waarin je onderzoek doet via een gesprek met een chatbot. Stel dat je een idee hebt, en de chatbot ging ermee akkoord en vulde alle details in.
Op sommige andere gebieden gebeurt het al. AI heeft het schaken jaren geleden beroemd veroverd, maar schaken bloeit nog steeds, omdat het nu mogelijk is voor een redelijk goede schaker om te speculeren welke zetten goed zijn in welke situaties, en ze kunnen de schaakengines gebruiken om twintig zetten vooruit te controleren. Ik zie dit soort dingen uiteindelijk in de wiskunde gebeuren: je hebt een project en vraagt: „Wat als ik deze aanpak probeer?“ En in plaats van uren en uren te besteden aan het daadwerkelijk laten werken ervan, begeleidt u een GPT om het voor u te doen.
Met o1 kun je dit ongeveer doen. Ik gaf het een probleem waarvan ik wist hoe ik het moest oplossen, en ik probeerde het model te begeleiden. Eerst gaf ik hem een hint, maar hij negeerde de hint en deed iets anders, wat niet werkte. Toen ik dit uitlegde, verontschuldigde het zich en zei: „Oké, ik doe het op jouw manier.“ En toen voerde het mijn instructies redelijk goed uit, en toen liep het weer vast en moest ik het opnieuw corrigeren. Het model heeft nooit de slimste stappen bedacht. Het kon alle routinematige dingen doen, maar het was erg fantasieloos.
Een belangrijk verschil tussen afgestudeerde studenten en AI is dat afgestudeerde studenten leren. Je vertelt een AI dat zijn aanpak niet werkt, hij verontschuldigt zich, hij zal misschien tijdelijk zijn koers corrigeren, maar soms springt hij gewoon terug naar wat hij eerder probeerde. En als je een nieuwe sessie met AI start, ga je terug naar af. Ik heb veel meer geduld met afgestudeerde studenten, omdat ik weet dat zelfs als een afgestudeerde student er helemaal niet in slaagt een taak op te lossen, hij of zij het potentieel heeft om te leren en zichzelf te corrigeren.
Wong: Zoals OpenAI het beschrijft, kan o1 de fouten ervan herkennen, maar jij zegt dat dit niet hetzelfde is als duurzaam leren, wat fouten juist nuttig maakt voor mensen.
Tao: Ja, mensen kennen groei. Deze modellen zijn statisch: de feedback die ik geef aan GPT-4 kan worden gebruikt als 0,00001 procent van de trainingsgegevens voor GPT-5. Maar dat is niet echt hetzelfde als bij een student.
AI en mensen hebben zulke verschillende modellen voor de manier waarop ze problemen leren en oplossen. Ik denk dat het beter is om AI te zien als een complementaire manier om taken uit te voeren. Voor veel taken zal het veelbelovend zijn om zowel AI’s als mensen verschillende dingen te laten doen.
Wong: U hebt ook eerder gezegd dat computerprogramma's de wiskunde kunnen transformeren en het voor mensen gemakkelijker kunnen maken om met elkaar samen te werken. Hoe zo? En heeft generatieve AI hier iets aan bij te dragen?
Tao: Technisch gezien zijn ze niet geclassificeerd als AI, maar bewijsassistenten zijn nuttige computerhulpmiddelen die controleren of een wiskundig argument correct is of niet. Ze maken grootschalige samenwerking in de wiskunde mogelijk. Dat is een zeer recente komst.
Wiskunde kan erg kwetsbaar zijn: als één stap in een bewijs verkeerd is, kan het hele argument instorten. Als je met 100 mensen een samenwerkingsproject maakt, breek je je proefdruk in 100 stukjes en draagt iedereen er één bij. Maar als ze niet op elkaar aansluiten, passen de stukken mogelijk niet goed. Hierdoor is het zeer zeldzaam om meer dan vijf mensen bij één project te zien.
Met proefassistenten hoeft u de mensen met wie u werkt niet te vertrouwen, omdat het programma u deze 100 procent garantie geeft. Dan kun je op industriële schaal wiskunde op industriële schaal uitvoeren, die op dit moment nog niet echt bestaat. De ene persoon concentreert zich op het bewijzen van bepaalde soorten resultaten, zoals bij een moderne toeleveringsketen.
Het probleem is dat deze programma's erg kieskeurig zijn. Je moet je betoog in een gespecialiseerde taal schrijven; je kunt het niet zomaar in het Engels schrijven. AI kan mogelijk een vertaling van menselijke taal naar de programma's maken. Het vertalen van de ene taal naar de andere is bijna precies waarvoor grote taalmodellen zijn ontworpen. De droom is dat je gewoon een gesprek hebt met een chatbot waarin je je bewijs uitlegt, en de chatbot zou het gaandeweg omzetten in een bewijssysteemtaal.
Wong: De chatbot is dus geen bron van kennis of ideeën, maar een manier om te communiceren.
Tao: Ja, het kan een heel nuttige lijm zijn.
Wong: Wat zijn de soorten problemen die dit zou kunnen helpen oplossen?
Tao: Het klassieke idee van wiskunde is dat je een heel moeilijk probleem kiest, en dat je dan een of twee mensen zeven jaar lang op zolder laat opsluiten en er gewoon mee aan de slag gaat. De soorten problemen die je met AI wilt aanpakken, zijn het tegenovergestelde. De naïeve manier waarop je AI zou gebruiken, is door het het moeilijkste probleem te geven dat we in de wiskunde hebben. Ik denk niet dat dat supersuccesvol zal zijn, en bovendien hebben we al mensen die aan deze problemen werken.
Het soort wiskunde waarin ik het meest geïnteresseerd ben, is wiskunde die niet echt bestaat. Het project dat ik een paar dagen geleden heb gelanceerd, gaat over een gebied van de wiskunde dat universele algebra wordt genoemd, en dat gaat over de vraag of bepaalde wiskundige uitspraken of vergelijkingen impliceren dat andere uitspraken waar zijn. De manier waarop mensen dit in het verleden hebben bestudeerd, is dat ze een of twee vergelijkingen kiezen en die tot in de puntjes bestuderen, zoals hoe een ambachtsman speelgoed voor speelgoed maakte en vervolgens aan het volgende werkte. Nu hebben we fabrieken; we kunnen duizenden speelgoed tegelijk produceren. In mijn project is er een verzameling van ongeveer 4000 vergelijkingen, en het is de taak om verbanden daartussen te vinden. Elk ervan is relatief eenvoudig, maar er zijn een miljoen implicaties. Er zijn ongeveer tien lichtpunten, tien vergelijkingen onder deze duizenden die redelijk goed zijn bestudeerd, en dan is er nog deze hele terra incognita.
Er zijn andere gebieden waar deze transitie heeft plaatsgevonden, zoals in de genetica. Vroeger was het zo dat als je het genoom van een organisme wilde sequencen, dit een hele Ph.D. stelling. Nu hebben we deze machines voor het sequencen van genen, en dus zijn genetici bezig met het sequencen van hele populaties. Op die manier kun je verschillende soorten genetica doen. In plaats van enge, diepgaande wiskunde, waarbij een deskundige mens heel hard werkt aan een beperkt aantal problemen, zou je brede, crowdsourced problemen kunnen hebben met veel AI-ondersteuning die misschien oppervlakkiger is, maar op een veel grotere schaal. En het zou een zeer complementaire manier kunnen zijn om wiskundig inzicht te verwerven.
Wong: Het doet me denken aan hoe een AI-programma van Google Deepmind, genaamd AlphaFold, ontdekte hoe de driedimensionale structuur van eiwitten kon worden voorspeld, wat lange tijd iets was dat eiwit voor eiwit moest worden gedaan.
Tao: Klopt, maar dat betekent niet dat de eiwitwetenschap achterhaald is. Je moet de problemen die je bestudeert veranderen. Honderdvijftig jaar geleden was het voornaamste nut van wiskundigen het oplossen van partiële differentiaalvergelijkingen. Er zijn computerpakketten die dit nu automatisch doen. Zeshonderd jaar geleden bouwden wiskundigen tabellen met sinussen en cosinussen, die nodig waren voor navigatie, maar deze kunnen nu binnen enkele seconden door computers worden gegenereerd.
Ik ben niet erg geïnteresseerd in het dupliceren van de dingen waar mensen al goed in zijn. Het lijkt inefficiënt. Ik denk dat we aan de grens altijd mensen en AI nodig zullen hebben. Ze hebben complementaire sterke punten. AI is erg goed in het omzetten van miljarden stukjes data in één goed antwoord. Mensen zijn goed in het nemen van tien observaties en het maken van echt geïnspireerde gissingen.
