Dies ist die Linux-App namens DeepSpeed MII, deren neueste Version als DeepSpeedMIIv0.0.8.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens DeepSpeed MII mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
DeepSpeed MII
BESCHREIBUNG
MII ermöglicht mithilfe von DeepSpeed Inferenzen mit geringer Latenz und hohem Durchsatz. Die Open-Source-Community Deep Learning (DL) hat in den letzten Monaten ein enormes Wachstum erlebt. Unglaublich leistungsstarke Textgenerierungsmodelle wie Bloom 176B oder Bildgenerierungsmodelle wie Stable Diffusion sind jetzt für jeden verfügbar, der über Plattformen wie Hugging Face Zugriff auf eine Handvoll oder sogar eine einzige GPU hat. Obwohl Open Source den Zugang zu KI-Funktionen demokratisiert hat, wird ihre Anwendung immer noch durch zwei kritische Faktoren eingeschränkt: Inferenzlatenz und Kosten. DeepSpeed-MII ist eine neue Open-Source-Python-Bibliothek von DeepSpeed, die darauf abzielt, die Inferenz leistungsstarker Modelle mit geringer Latenz und geringen Kosten nicht nur möglich, sondern auch leicht zugänglich zu machen. MII bietet Zugriff auf die hochoptimierte Implementierung Tausender weit verbreiteter DL-Modelle. MII-unterstützte Modelle erzielen im Vergleich zu ihrer ursprünglichen Implementierung deutlich geringere Latenz und Kosten.
Eigenschaften
- MII bietet Zugriff auf eine hochoptimierte Implementierung Tausender weit verbreiteter DL-Modelle
- MII-unterstützte Modelle erzielen im Vergleich zu ihrer ursprünglichen Implementierung deutlich geringere Latenz und Kosten
- MII nutzt eine Reihe umfangreicher Optimierungen von DeepSpeed-Inference, beispielsweise Deepfusion für Transformatoren
- Leistung auf dem neuesten Stand der Technik
- MII unterstützt die kostengünstige Bereitstellung dieser Modelle sowohl vor Ort als auch auf Azure über AML mit nur wenigen Codezeilen
- Automatisiertes Tensor-Slicing für Multi-GPU-Inferenz, On-the-Fly-Quantisierung mit ZeroQuant
Programmiersprache
Python
Berufsfeld
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/deepspeed-mii.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, um es auf einfachste Weise online über eines unserer kostenlosen Betriebssysteme ausführen zu können.
