Software-ingenieurs, ontwikkelaars en academische onderzoekers maken zich ernstige zorgen over transcripties van OpenAI's Whisper een rapport in de Associated Press.
Terwijl er aan discussie geen gebrek is de neiging van generatieve AI om te hallucineren – eigenlijk, om dingen te verzinnen – het is een beetje verrassend dat dit een probleem is bij transcriptie, waarbij je zou verwachten dat het transcript de audio die wordt getranscribeerd nauw volgt.
In plaats daarvan vertelden onderzoekers de AP dat Whisper alles, van racistisch commentaar tot ingebeelde medische behandelingen, in transcripties heeft geïntroduceerd. En dat zou vooral rampzalig kunnen zijn als Whisper wordt toegepast in ziekenhuizen en andere medische contexten.
Een onderzoeker van de Universiteit van Michigan die openbare bijeenkomsten bestudeerde, ontdekte hallucinaties in acht van de tien audiotranscripties. Een machine learning-ingenieur bestudeerde meer dan 100 uur aan Whisper-transcripties en ontdekte bij meer dan de helft daarvan hallucinaties. En een ontwikkelaar meldde dat hij hallucinaties vond in bijna alle 26.000 transcripties die hij met Whisper maakte.
Een woordvoerder van OpenAI zei dat het bedrijf “voortdurend werkt aan het verbeteren van de nauwkeurigheid van onze modellen, inclusief het verminderen van hallucinaties” en merkte op dat het gebruiksbeleid het gebruik van Whisper verbiedt “in bepaalde besluitvormingscontexten met hoge inzet.”
“Wij danken onderzoekers voor het delen van hun bevindingen”, zeiden ze.
