Dies ist die Linux-App namens x-transformers, deren neueste Version als 2.7.6sourcecode.tar.gz heruntergeladen werden kann. Sie kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens x-transformers mit OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
x-Transformatoren
BESCHREIBUNG
Ein einfacher, aber vollständiger Transformator mit voller Aufmerksamkeit und einer Reihe vielversprechender experimenteller Funktionen aus verschiedenen Artikeln. Schlägt vor, erlernte Speicherschlüssel/-werte vor der Teilnahme hinzuzufügen. Sie konnten Feedforwards vollständig eliminieren und eine ähnliche Leistung wie die ursprünglichen Transformatoren erreichen. Ich habe festgestellt, dass das Beibehalten der Feedforwards und das Hinzufügen der Speicherschlüssel/-werte zu einer noch besseren Leistung führt. Schlägt vor, erlernte Token hinzuzufügen, ähnlich wie CLS-Token, benannte Speichertoken, die neben den Eingabetoken durch die Aufmerksamkeitsschichten geleitet werden. Sie können auch die normalisierten l2-Einbettungen verwenden, die als Teil von fixnorm vorgeschlagen werden. Ich habe festgestellt, dass es zu einer verbesserten Konvergenz führt, wenn es mit einer kleinen Initialisierung (vorgeschlagen von BlinkDL) gepaart wird. Die kleine Initialisierung wird übernommen, solange l2norm_embed auf True gesetzt ist.
Eigenschaften
- Nur Decoder (GPT-ähnlich)
- Nur Encoder (BERT-ähnlich)
- Hochmoderne Bildklassifizierung
- Steigerung der Selbstaufmerksamkeit mit persistentem Gedächtnis
- Transformatoren ohne Tränen
- Root-Mean-Square-Layer-Normalisierung
Programmiersprache
Python
Kategorien
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/x-transformers.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, damit es auf einfachste Weise online von einem unserer kostenlosen Betriebssysteme ausgeführt werden kann.
