- 671 Milliarden Parameter von Deepseek R1 laufen reibungslos im einheitlichen Speicher des M3 Ultra
- Das Mac Studio von Apple beweist, dass KI-Workloads keine teuren, leistungsübergreifenden GPU-Cluster erfordern
- M3 Ultra verbraucht unter 200 W, weit weniger als herkömmliche Multi-GPU-KI-Setups
Apfel’S Mac Studio mit dem M3 Ultra Chip hat eine Fähigkeit gezeigt, die kein anderer Personalcomputer übereinstimmen kann, und das Deepseek R1 ausführt KI -Werkzeug mit 671 Milliarden Parametern vollständig im Speicher.
Ein Test von YouTube Rezensent Dave2d Trotz der Verwendung einer 4-Bit-quantisierten Version des Modells behielt es seine vollständige Parameterzahl beibehalten und wurde reibungslos durchgeführt.
Der Deepseek R1 Das Modell, ein kräftiger Speicher von 404 GB Speicher und Speicher mit hohem Bandbreiten, die normalerweise in GPU-VRAM zu finden sind, wird normalerweise auf Multi-GPU-Setups ausgeführt, die die Verarbeitung über mehrere High-End-Grafikkarten verteilen.
Eine einzigartige Leistung: Deepseek R1 in Erinnerung rennen
Das einheitliche Speichersystem des M3 Ultra verwendet jedoch, anstatt sich auf externe GPUs zu verlassen, seine 512 GB Unified Memory, um das KI -Modell auf eine Weise zu speichern und zu verarbeiten, die kein anderer Personalcomputer kann.
Obwohl MacOS eine Standard -VRAM -Grenze auferlegt, erhöhte Dave Lee sie manuell durch das Terminal, um bis zu 448 GB für die AI -Verarbeitung zuzuweisen, wodurch Speicher Engpässe beseitigt und die Notwendigkeit mehrerer Komponenten zur Rationalisierung der KI -Leistung auf einem einzelnen System verringert werden.
Einer der auffälligsten Aspekte dieses Tests war die Stromeffizienz des M3 Ultra, da er weniger als 200 W während der Ausführung von Deepseek R1 verbrauchte.
Die Fähigkeit, ein so anspruchsvolles KI-Modell ohne eine Multi-GPU-Einrichtung zu führen Nvidia Und AMD Grafikkarten wie die Beste Workstations und Serverfarmen verwenden in der Regel GPU -Cluster, die verbrauchen riesige Mengen an Strom.
Die Unified Memory Architecture von Apple ermöglicht erhebliche Leistungseinsparungen, indem die M3 Ultra -Speicherpool über die CPU- und GPU -Workloads teilgenommen hat, im Gegensatz zu herkömmlichen PC -Setups, bei denen VRAM vom Systemspeicher getrennt ist, und die Bandbreite maximiert und gleichzeitig den Energieverbrauch minimieren.
Das Mac Studio von Apple, das mit dem M3 Ultra Chip gestartet wurde, verfügt über eine 32-Kern-CPU und eine 80-Kern-GPU, wodurch es zu den besten LLM-Workstations und einer der der besten LLM-Workstations ist Beste Videobearbeitungscomputer.
Über Wccftech
Sie können auch mögen
Source link
