To jest aplikacja Linux o nazwie Text Generation Inference, której najnowszą wersję można pobrać jako v3.3.6sourcecode.tar.gz. Można ją uruchomić online w darmowym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom bezpłatnie aplikację Text Generation Inference with OnWorks.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
Wnioskowanie dotyczące generowania tekstu
OPIS
Text Generation Inference to wydajny serwer wnioskowania dla modeli generowania tekstu, zoptymalizowany pod kątem Transformersów Hugging Face. Został zaprojektowany do wydajnej obsługi dużych modeli językowych z optymalizacjami pod kątem wydajności i skalowalności.
Funkcjonalności
- Zoptymalizowany do obsługi dużych modeli językowych (LLM)
- Obsługuje przetwarzanie wsadowe i paralelizm w celu zapewnienia wysokiej przepustowości
- Obsługa kwantyzacji w celu poprawy wydajności
- Wdrożenie oparte na API dla łatwej integracji
- Przyspieszenie GPU i skalowanie wielowęzłowe
- Wbudowany strumieniowy przesył tokenów umożliwiający reagowanie w czasie rzeczywistym
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać z https://sourceforge.net/projects/text-generation-infer.mirror/. Została umieszczona w OnWorks, aby można ją było uruchomić online w najłatwiejszy sposób z jednego z naszych darmowych systemów operacyjnych.
