- Solidigm 122.88TB SSD lieferte den Speicher für einen Test mit Nvidia Nano Super
- Das System wurde verwendet, um Deepseek zu laufen, und obwohl es funktionierte, war es nicht schnell
- Die Geschwindigkeit des Gens 4 PCIe SSD wurde durch die Gen 3 -Verbindung des Nano Super 3 eingeschränkt
Ende 2024 Solidigm fügte eine 122.88TB QLC SSD hinzu zu seiner Produktlinie. Der D5-P5336 wird in U.2 15 mm erhältlich sein, um später im Jahr 2025 in e1.l zu starten, was bedeutet, dass er nicht in einen typischen Verbraucher-PC passt. Der Preis wird voraussichtlich ohnehin 10.000 US -Dollar überschreiten, sodass Sie tiefe Taschen benötigen, wenn Sie einen kaufen möchten.
Wenn Sie sich fragen, wie eine so riesige Kapazität SSD funktioniert, haben wir die Antwort – irgendwie -, aber es kommt nicht in Form einer traditionellen Bewertung.
StorageReview testete den Jetson Orin Nano Super – NvidiaDer kompakte KI -Single -Board -Computer für Edge Computing – um zu sehen, wie es bei KI -Entwicklungsaufgaben ausgeführt wurde, insbesondere LLM -Inferenz. Der Nano-Super kommt mit einem 6-Kern Arm CPU, eine 1024-Core-Ampere-GPU und 8 GB LPDDR5-Speicher. Mit 249 US -Dollar ist es eine erschwingliche Wahl für KI -Entwickler, aber sein begrenztes VRAM stellt eine Herausforderung für das Ausführen von LLMs dar.
Nicht reibungslos segeln
„Wir haben erkannt, dass Onboard -Speicherbeschränkungen die Ausführung von Modellen mit Milliarden von Parametern herausfordern. Daher haben wir einen innovativen Ansatz implementiert, um diese Einschränkungen zu umgehen“, erklärte die Website. “Normalerweise beschränkt das 8 GB Grafikgedächtnis des Nano Super -Unternehmens seine Fähigkeit auf kleinere Modelle, aber wir wollten ein Modell 45 -mal größer als das, was traditionell passen würde.”
Dies beinhaltete die Aktualisierung des Speichers des Nano Super mit dem neuen U.2 -Laufwerk von Solidigm, der eine Gen 4 PCIe X4 -Schnittstelle hat und sequentielle Lese-/Schreibgeschwindigkeiten von bis zu 7,1 GB/s (gelesen) und 3,3 GB/s (Write) sowie eine zufällige Leistung von bis zu 1.269.000 IOPs verspricht.
Der Nano Super hat zwei M.2 NVME -Buchten, die beide eine PCIe -Gen3 -Verbindung bieten. Das Team verband die SSD mit einem 80 -mm -Slot, das vier PCIe -Lanes mit einem Breakout -Kabel unterstützte, um die meiste Bandbreite zu erhalten, und verwendete ein ATX -Netzteil, um 12 V und 3,3 V an die SSD zu liefern.
Während das volle Potenzial des Laufwerks durch die Schnittstelle des Jetson begrenzt wurde, verwaltete es immer noch bis zu 2,5 GB/s Lesegeschwindigkeiten. Mit Airllm, der Modellschichten eher dynamisch als alle auf einmal lädt, gelang es der Site, Deepseek R1 70B destilliert zu laufen, ein 45 -mal größeres KI -Modell, das traditionell auf ein solches Gerät passen würde.
Die Verarbeitungsgeschwindigkeit erwies sich als großer Engpass für das Experiment. Das Ausführen kleinerer Modelle funktionierte gut, aber die Erzeugung eines einzelnen Tokens aus dem 70B -Modell dauerte 4,5 Minuten. Der Test zeigte zwar nicht praktikabel für Echtzeit-KI-Aufgaben, und zeigte, wie massive Speicherlösungen wie der D5-P5336 größere Modelle in eingeschränkten Umgebungen ermöglichen können.
Sie können sehen, wie der Test erreicht wurde und welche Probleme, die auf dem Weg auf dem Weg begegnet und überwunden wurden YouTube Video.
Sie könnten auch mögen
Source link
