- EXO unterstützt Lama, Mistral, Llava, Qwen und Deepseek
- Kann unter Linux, MacOS, Android und iOS ausgeführt werden, aber nicht auf Windows
- KI -Modelle, die 16 GB RAM benötigen, können auf zwei 8 -GB -Laptops ausgeführt werden
Großspracher -Modelle ausführen (ModelleLlms) erfordert in der Regel teure Hochleistungshardware mit erheblichem Speicher und GPU-Strom. Die EXO -Software bietet jedoch nun eine Alternative an, indem sie verteilte künstliche Intelligenz (KI) auf ein Netzwerk von Geräten auf dem Laufenden zu halten.
Mit dem Unternehmen können Benutzer die Rechenleistung mehrerer Computer, Smartphones und sogar Single-Board-Computer (SBCs) wie Raspberry PIs kombinieren, um Modelle auszuführen, die ansonsten nicht zugänglich wären.
Dieser dezentrale Ansatz teilt Ähnlichkeiten mit dem Seti@Home -Projekt, das Computeraufgaben über Freiwilligengeräte verteilte. Durch die Nutzung eines P2P-Netzwerks (Peer-to-Peer) eliminiert EXO die Notwendigkeit eines einzelnen, leistungsstarken Systems, wodurch die KI für Einzelpersonen und Organisationen zugänglicher wird.
Wie EXO KI -Workloads verteilt
EXO zielt darauf ab, die Dominanz großer Technologieunternehmen in der KI -Entwicklung in Frage zu stellen. Durch die dezentrale Inferenz soll Einzelpersonen und kleinere Organisationen mehr Kontrolle über AI -Modelle geben, ähnlich wie Initiativen, die sich auf die Erweiterung des Zugangs zu GPU -Ressourcen konzentrieren.
“Die grundlegende Einschränkung mit KI ist berechnet”, argumentiert Alex Cheema, Mitbegründer von Exo Labs. “Wenn Sie den Computer nicht haben, können Sie nicht konkurrieren. Wenn Sie dieses verteilte Netzwerk jedoch erstellen, können wir es vielleicht.”
Die Software partitiert LLMs dynamisch über verfügbare Geräte in einem Netzwerk und zuweist Modellebenen basierend auf den verfügbaren Speicher- und Verarbeitungsleistung jedes Geräts. Zu den unterstützten LLMs gehören Lama, Mistral, Llava, Qwen und Deepseek.
Benutzer können EXO unter Linux, MacOS, Android oder iOS installieren, obwohl der Windows -Support derzeit nicht verfügbar ist. Eine minimale Python -Version von 3.12.0 ist sowie zusätzliche Abhängigkeiten für Systeme erforderlich Nvidia GPUS.
Eine der wichtigsten Stärken von EXO ist, dass im Gegensatz zu herkömmlichen Setups, die sich auf High-End-GPUs verlassen, die Zusammenarbeit zwischen verschiedenen Hardwarekonfigurationen ermöglicht.
Beispielsweise kann ein KI -Modell, das 16 GB RAM erfordert, auf zwei 8 -GB -Laptops ausführen, die zusammenarbeiten. Ein anspruchsvolleres Modell wie Deepseek R1, der ungefähr 1,3 TB RAM erfordert, könnte theoretisch auf einem Cluster von 170 Himbeer Pi 5 -Geräten mit jeweils 8 GB RAM betrieben werden.
Netzwerkgeschwindigkeit und -latenz sind wichtige Anliegen, und die Entwickler von EXO erkennen an, dass das Hinzufügen von Geräten mit niedrigerer Performance die Latenz verlangsamt, besteht jedoch darauf, dass sich der Gesamtdurchsatz mit jedem dem Netzwerk hinzugefügten Gerät verbessert.
Sicherheitsrisiken treten auch auf, wenn mehrere Maschinen Workloads teilen, wodurch Schutzmaßnahmen erforderlich sind, um Datenlecks und unbefugten Zugriff zu verhindern.
Adoption ist eine weitere Hürde, wie Entwickler von KI -Werkzeuge Derzeit verlassen sich auf große Rechenzentren. Der kostengünstige Ansatz von EXO kann Berufung einlegen. Aber EXOs Ansatz wird einfach nicht mit der Geschwindigkeit dieser High-End-AI-Cluster übereinstimmen.
Über CNX -Software
Sie können auch mögen
Source link
