TikTok-eigenaar ByteDance is een vroege koploper gebleken in de race om te profiteren van generatieve kunstmatige intelligentie in China, door toptalent van lokale rivalen af te pakken en Nvidia’s grootste klant in het land te worden.
Het in Beijing gevestigde bedrijf heeft de afgelopen maanden top AI-ingenieurs en onderzoekers weggelokt van Alibaba en start-ups als 01.ai en Zhipu, volgens meerdere mensen met kennis van de aanwervingsgolf. Het heeft ook teams gecreëerd en uitgebreid om aan zijn grote taalmodellen en AI-producten te werken.
ByteDance steekt miljarden dollars in de AI-infrastructuur. Volgens meerdere mensen die bekend zijn met de materie heeft het bedrijf de afgelopen twee jaar voldoende geavanceerde grafische verwerkingseenheden van Nvidia aangeschaft om geavanceerde AI-modellen te bouwen.
De inspanning, geleid door Zhang Yiming, oprichter van ByteDance en de rijkste man van China, komt op een cruciaal moment. Terwijl het particuliere bedrijf in een recent aandeleninkoopprogramma voor investeerders op ongeveer 300 miljard dollar werd gewaardeerd, heeft de groei van Douyin, de lokale zusterapp van TikTok, in China een verzadigingspunt bereikt.
Ondertussen zijn er ook tekent groei is vertraagd voor TikTok op belangrijke markten. Een nieuwe klap heeft een Amerikaanse rechtbank vrijdag gegeven gehandhaafd een wet die ByteDance verplicht om het platform tegen januari te verkopen, anders wordt er een verbod in het land opgelegd.
“(Zhang) Yiming besefte het potentieel van grote taalmodellen om de sector te veranderen, en hij besloot er all-in voor te gaan”, aldus een insider van het bedrijf.
De sleutel tot de AI-uitbreiding is de nauwe commerciële relatie met Nvidia. ByteDance kan alleen Nvidia’s H20’s kopen voor Chinese datacenters, een gespecialiseerde en minder krachtige versie van zijn GPU’s die zijn afgestemd op de Amerikaanse exportcontroles.
Maar ByteDance kon tot vorig jaar hoogwaardige H100’s en Blackwell-chips kopen voor datacenters buiten het land. Dat heeft ByteDance ertoe gebracht zijn computercapaciteit buiten China te vergroten, onder meer door zich aan te melden als ankerhuurder voor nieuwe datacenters in Maleisië.
Het bedrijf zei: “ByteDance mag geen H100’s en Blackwell-chips kopen en heeft dat ook niet gedaan voor datacenters buiten de VS sinds de relevante Amerikaanse exportcontroleregels op 17 november 2023 van kracht werden.”
Mensen met kennis van zaken zeiden dat ByteDance al de grootste klant van Nvidia in China is, en een van deze mensen voegde eraan toe dat het de grootste koper van het bedrijf in Azië is geworden.
Tan Dai, het hoofd van Volcano Engine, de cloud computing-afdeling van ByteDance, had eerder dit jaar een audiëntie bij Nvidia-chef Jensen Huang in Californië, waarbij hij het belang van het bedrijf voor de verkoop in Azië onderstreepte, zei een van deze mensen.
ByteDance en Nvidia weigerden commentaar te geven.
De release van de chatbot van OpenAI leidde tot een race van Chinese technologiegiganten, waaronder Baidu, Alibaba en Tencent, naar generatieve AI – op wat voorheen een onderontwikkeld veld in China was.
Hoewel er geen definitieve koploper is in de inspanningen van China om de meest geavanceerde LLM te ontwikkelen, heeft ByteDance, naast rivalen DeepSeek en Alibaba, capabelere modellen op de markt gebracht en de kosten voor ontwikkelaars verlaagd.
Maar ByteDance heeft de leiding veiliggesteld bij de ontwikkeling van China’s populairste AI-app, waarbij zijn AI-chatbot Doubao naar voren komt als de beste uitdager van ChatGPT in China. Het bracht Doubao uit in augustus 2023, vijf maanden na Baidu’s Ernie Bot, maar is sindsdien de populairste AI-applicatie van het land geworden, volgens website voor websiteanalyse Aicpb.com.
In november telde Doubao 60 miljoen maandelijkse actieve mobiele gebruikers, vergeleken met bijna 13 miljoen voor Wenxiaoyan, de nieuwe mobiele versie van Baidu’s Ernie Bot. OpenAI zei echter dat het wereldwijd 300 miljoen actieve gebruikers per week heeft.
„De belangrijkste onderscheidende factor van ByteDance’s Doubao is dat het meerdere AI-mogelijkheden samenbrengt in één gepolijste applicatie“, zegt Wang Tiezhen, een ingenieur bij machine learning-platform Hugging Face, wijzend op de zoek-, vertaal-, beeld- en videogeneratiemogelijkheden van de chatbot.
ByteDance heeft ook een buitenlandse chatbot gelanceerd, Cici AI, die wordt aangedreven door modellen van derden, waaronder OpenAI’s GPT.
Zhang, die in 2021 terugtrad als CEO, is volgens meerdere insiders van het bedrijf actief gebleven in de AI-strategie van de groep.
Hij heeft persoonlijk toezicht gehouden op het inhuren van Chinese AI-ingenieurs en onderzoekers van concurrerende bedrijven, zeiden deze mensen. De miljardair heeft intern gesproken over zijn doel van ‘kunstmatige algemene intelligentie’, systemen met menselijke intelligentie.
“(Zhang) Yiming is hypergefocust op het bereiken van AGI”, zei een insider van een bedrijf in een verwijzing naar “kunstmatige algemene intelligentie, of wanneer computersoftware de menselijke cognitieve vaardigheden overtreft. Een andere persoon die dicht bij Zhang staat, zei dat hij terughoudend is om ByteDance als een AI-bedrijf te zien, gezien het risico dat Washington meer toezicht krijgt.
Sommige insiders uit de sector staan sceptisch tegenover het doel nadat het bedrijf verschillende mislukte grote weddenschappen had gesloten op de toekomstige technologische ontwikkeling. Hij heeft eerder enorme investeringen gedaan in gaming, virtual reality en online onderwijs, waar ByteDance allemaal miljarden dollars in heeft gestoken, om vervolgens hun investeringen stop te zetten of te verkopen.
“Dit is niet de eerste keer dat (Zhang) Yiming groot inzet op de volgende technologie”, zei een directeur van een rivaliserend AI-bedrijf in China. “We zullen zien hoe lang deze weddenschap duurt.”
ByteDance heeft ook een team dat aan een AI-chip werkt nadat ze toonaangevend talent van rivaliserende Chinese chipbedrijven hebben geplukt.
Het team bouwt een AI-accelerator applicatiespecifiek geïntegreerd circuit (ASIC) – een gespecialiseerde AI-chip voor machinaal leren, volgens mensen die bekend zijn met de materie.
Zijn inspanningen zijn gemodelleerd naar de Tensor Processing Unit van Google, een zelfontwikkelde ASIC waarvan de internetgigant hoopt dat het zijn afhankelijkheid van Nvidia-chips voor AI-training en gevolgtrekking zal verminderen. Reuters en The Information hebben eerder gerapporteerd over de AI-chipinspanningen van ByteDance.
In 2017 bouwde ByteDance een AI-lab dat leiders van Microsoft Research Asia, destijds de toonaangevende onderzoeksfaciliteit in China, binnenhaalde. In het laboratorium van ByteDance zat een team dat aan LLM’s werkte, volgens twee mensen die bekend zijn met de kwestie.
“Er was destijds geen duidelijk pad voor de technologie en het project werd stopgezet”, zei een directeur.
ByteDance heeft sindsdien strategieën voor de modelontwikkeling gevolgd die aansluiten bij de Amerikaanse en Chinese beperkingen, aldus een persoon met directe kennis van de zaak. Het heeft afzonderlijke modellen getraind – een voor de Chinese markt genaamd Doubao en een andere gericht op het buitenland, genaamd Cici – gebaseerd op hetzelfde algoritme maar met behulp van verschillende datasets.
Toch zijn er overlappingen. Zhu Wenjia, de tech-manager achter het aanbevelingsalgoritme dat het eerste breakout-product van ByteDance aandreef, de nieuwsaggregator Toutiao, heeft de leiding gekregen over de ontwikkeling van het AI-model.
Zowel de overzeese als Chinese leden van het zogenaamde ‘Seed Team’ dat aan modelontwikkeling werkt, rapporteren aan Zhu, terwijl er onderzoekers in de VS zijn die samen met collega’s in Singapore en Beijing aan de modellen werken, volgens mensen die bekend zijn met de kwestie.
Bovendien kan het team in Beijing op afstand de voortgang van de Cici-modeltraining buiten China monitoren en controleren.
“(Zhang) Yiming ziet dat ByteDance na Douyin en TikTok een nieuwe groeimotor nodig heeft”, zei een persoon die dicht bij Zhang stond. “Hij denkt altijd na over wat er de komende vijf jaar gaat gebeuren, wat de toekomst van het bedrijf kan verlengen.”
Aanvullende berichtgeving door Wenjie Ding in Peking
Dit artikel is sinds de eerste publicatie aangepast om de periode te verduidelijken waarin het bedrijf high-end Nvidia-chips buiten China kon kopen en om een verklaring van ByteDance op te nemen.
