Knuffelen Gezicht heeft geïntroduceerd zijn nieuwste aanbod, Hugging Face Generative AI Services (HUGS), gericht op het vereenvoudigen van de implementatie en schaalvergroting van generatieve AI-applicaties met behulp van open-sourcemodellen.
HUGS is gebaseerd op Hugging Face-technologieën zoals Transformers en Text Generation Inference (TGI) en belooft geoptimaliseerde prestaties voor verschillende hardwareversnellers.
Voor ontwikkelaars die AWS of Google Cloudis de service beschikbaar voor $ 1 per uur per container, met een gratis proefperiode van vijf dagen op AWS om gebruikers op weg te helpen.
Het stroomlijnen van AI met gevolgtrekking zonder configuratie
HUGS biedt ontwikkelaars een oplossing om uit te voeren AI modellen op hun eigen infrastructuur zonder dat handmatige configuratie nodig is. Een van de belangrijkste uitdagingen bij het implementeren van grote taalmodellen (LLM’s) is het optimaliseren ervan voor specifieke hardwareomgevingen. Elke versneller, of het nu een NVIDIA GPU of een AMD GPU, vereist fijnafstemming om maximale prestaties te verkrijgen.
Met HUGS worden deze optimalisaties automatisch beheerd, waardoor out-of-the-box een hoge doorvoer wordt geleverd. Naast NVIDIA en AMD GPU’s belooft het bedrijf dat zijn ondersteuning binnenkort zal worden uitgebreid naar AWS Inferentia en Googlen TPU’s.
Hugging Face heeft tot doel de overgang van black-box API’s naar open, zelf-gehoste oplossingen te vergemakkelijken met ondersteuning voor een breed scala aan modellen, waaronder bekende LLM’s zoals Llama en Gemma, met plannen om binnenkort multimodale modellen zoals Idefics en Llava te introduceren. Het bedrijf zegt dat het in de toekomst modellen als BGE en Jina zal integreren, waardoor ontwikkelaars nog meer opties krijgen om hun AI-applicaties aan te passen.
Deze service maakt gebruik van gestandaardiseerde API’s die compatibel zijn met Open AI’s modelinterfaces, daarom kunnen ontwikkelaars hun eigen code migreren.
Vooral voor startups biedt HUGS de mogelijkheid om AI-applicaties te bouwen zonder de hoge kosten die gepaard gaan met propriëtaire platforms. De beschikbaarheid van implementaties met één klik op DigitalOcean maakt het voor kleine teams nog eenvoudiger om te experimenteren met generatieve AI-technologieën.
Ondertussen kunnen grotere ondernemingen HUGS gebruiken om hun applicaties te schalen zonder gebonden te zijn aan een enkele cloudprovider of eigen API. Op DigitalOcean is HUGS gratis inbegrepen naast de standaardkosten van GPU Droplets. Hugging Face biedt ook aangepaste implementatieoplossingen voor ondernemingen via de Enterprise Hub.
