Jest to aplikacja dla systemu Linux o nazwie Web LLM, której najnowszą wersję można pobrać w wersji 0.2.0.zip. Można go uruchomić online w bezpłatnym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie Web LLM z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
Sieć LLM
OPIS
WebLLM to modułowy, konfigurowalny pakiet JavaScript, który bezpośrednio przenosi czaty oparte na modelach językowych bezpośrednio do przeglądarek internetowych z akceleracją sprzętową. Wszystko działa w przeglądarce bez obsługi serwera i jest przyspieszane przez WebGPU. Możemy zapewnić wiele ciekawych możliwości tworzenia asystentów AI dla każdego i zapewniać prywatność, jednocześnie ciesząc się akceleracją GPU. WebLLM oferuje minimalistyczny i modułowy interfejs umożliwiający dostęp do chatbota w przeglądarce. Sam pakiet WebLLM nie jest dostarczany z interfejsem użytkownika i został zaprojektowany w sposób modułowy, aby można go było podłączyć do dowolnego komponentu interfejsu użytkownika. Poniższy fragment kodu demonstruje prosty przykład, który generuje odpowiedź przesyłania strumieniowego na stronie internetowej.
Korzyści
- WebLLM obsługuje interfejs API dla WebWorker, dzięki czemu można podłączyć proces generowania do osobnego wątku roboczego, aby obliczenia w webworkerze nie zakłócały interfejsu użytkownika
- Kompletny przykład aplikacji do czatu można znaleźć w przykładach/simple-chat
- WebLLM działa jako projekt towarzyszący MLC LLM
- Wykorzystuje ponownie artefakt modelu i buduje przepływ MLC LLM
- Zbuduj pakiet WebLLM ze źródła
- Pakiet WebLLM to środowisko uruchomieniowe sieci Web zaprojektowane dla MLC LLM
Język programowania
TYPESCRIPT
Kategorie
Jest to aplikacja, którą można również pobrać ze strony https://sourceforge.net/projects/web-llm.mirror/. Został on hostowany w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.