Google am Mittwoch angekündigt Gemma 3Die nächste Iteration in der Gemma-Familie von offenen Modellen. Es ist ein Nachfolger der Gemma 2 Modell, das letztes Jahr veröffentlicht wurde.
Das kleine Modell wird in einer Reihe von Parametergrößen geliefert – 1B, 4B, 12B und 27B. Das Modell unterstützt auch ein längeres Kontextfenster von 128.000 Token. Es kann Videos, Bilder und Text analysieren, 35 Sprachen außerhalb des Feldes unterstützt und die vorgebrachte Unterstützung für 140 Sprachen unterstützt.
In der Chatbot-Arena übertraf Gemma 3 27B Deepseek-V3, Openai’s O3-Mini und Metas Lama 3-405b-Modell. Modelle in Chatbot-Arena werden durch Seite an Seite durch Menschen gegeneinander bewertet.
Darüber hinaus erzielte Gemma 3 27b 67,5% und 42,4 über Standard -Benchmarks Wie MMLU-Pro, GPQA Diamond. Das Modell funktioniert im Vergleich zu anderen kleinen Modellen im Wettbewerb gut.
Claude 3.5 Haiku erzielte 63% für den MMLU-PRO-Benchmark und 41% gegenüber GPQA Diamond, während OpenAIs GPT-4O-Mini bei denselben Tests 65% bzw. 43% erreichte. Das Lama 3.3 70B von Meta übertraf beide mit 71% in MMLU-PRO und 50% in GPQA Diamond, was es zum stärksten Anwärter unter diesen Modellen macht.
Die wichtigste Supermacht von GEMMA-3 scheint jedoch eine effiziente Berechnung zu sein. Google sagte, dass Gemma 327b die Ergebnisse mit einer einzelnen NVIDIA H100 GPU erzielte, während andere Modelle bis zu 32 GPUs erforderlich waren.
Quelle: Google
Das Unternehmen enthüllte auch, dass die Architektur des Modells geändert wurde, um den KV-Cache-Speicher zu verringern, der mit einem längeren Kontext tendenziell zunimmt.
Google hat veröffentlichte einen detaillierten technischen Bericht Umrissen der Techniken, die zum Erstellen des Modells, seiner Leistung und anderer Spezifikationen verwendet werden. Gemma 3 kann über verschiedene Methoden zugegriffen werden. Google bietet das Modell im Web mit dem an Google AI Studioüber den Standard -Chatbot oder die API und es ist auch auf der verfügbar Google Genai SDK.
Außerdem kann das Modell für die lokale Bereitstellung heruntergeladen werden Umarmtes GesichtAnwesend OllamaUnd Kaggle.
Zusammen mit Gemma 3 hat Google auch ShieldgeMma 2, einen 4B -Parameter -Image -Sicherheitsprüfer, auf den Gemma 3’s Foundation gestartet. Dies liefert Sicherheitsbezeichnungen für schädliche Bilder, die gefährliche, sexuell explizite und gewalttätige Inhalte beinhalten.
Source link
