Dies ist die Linux-App mit dem Namen rwkv.cpp, deren neueste Version als rwkv-master-d6c691e-bin-win-avx512-x64.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens rwkv.cpp mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
rwkv.cpp
BESCHREIBUNG
Neben dem üblichen FP32 unterstützt es FP16 sowie quantisierte INT4-, INT5- und INT8-Inferenz. Dieses Projekt konzentriert sich auf die CPU, aber cuBLAS wird auch unterstützt. RWKV ist eine neuartige Architektur für große Sprachmodelle, wobei das größte Modell der Familie über 14B Parameter verfügt. Im Gegensatz zu Transformer mit O(n^2)-Aufmerksamkeit benötigt RWKV nur den Status aus dem vorherigen Schritt, um Logits zu berechnen. Dies macht RWKV bei großen Kontextlängen sehr CPU-freundlich.
Eigenschaften
- Windows / Linux / MacOS
- Bauen Sie die Bibliothek selbst
- Holen Sie sich ein RWKV-Modell
- Anforderungen: Python 3.x mit PyTorch und Tokenizern
- ggml bewegt sich schnell und kann gelegentlich die Kompatibilität mit älteren Dateiformaten beeinträchtigen
- Anforderungen: Python 3.x mit PyTorch
Programmiersprache
C + +
Kategorien
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/rwkv-cpp.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, um es auf einfachste Weise online über eines unserer kostenlosen Betriebssysteme ausführen zu können.
