To jest aplikacja Linux o nazwie llm, której najnowszą wersję można pobrać jako llm-cli-x86_64-pc-windows-msvc.zip. Można ją uruchomić online w darmowym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie llm z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
llm
OPIS
llm to ekosystem bibliotek Rust do pracy z dużymi modelami językowymi - jest zbudowany na bazie szybkiej i wydajnej biblioteki GGML do uczenia maszynowego. Podstawowym punktem wejścia dla programistów jest skrzynka llm, która otacza bazę llm i obsługiwane skrzynki modeli. Dokumentacja wydanej wersji jest dostępna na Docs.rs. Dla użytkowników końcowych dostępna jest aplikacja CLI llm-cli, która zapewnia wygodny interfejs do interakcji z obsługiwanymi modelami. Generowanie tekstu może odbywać się jednorazowo w oparciu o monit lub interaktywnie w trybie REPL lub czatu. Interfejsu CLI można również używać do serializacji (drukowania) zdekodowanych modeli, kwantyzacji plików GGML lub obliczania złożoności modelu. Można go pobrać z najnowszej wersji GitHub lub instalując z crates.io.
Funkcjonalności
- llm jest zasilany przez bibliotekę tensorów ggml i ma na celu wprowadzenie solidności i łatwości użycia Rusta do świata dużych modeli językowych
- Ten projekt zależy od Rusta v1.65.0 lub nowszego i nowoczesnego zestawu narzędzi C
- Biblioteka llm została zaprojektowana tak, aby wykorzystywać akceleratory sprzętowe, takie jak cuda i metal, w celu zoptymalizowania wydajności
- Aby umożliwić llm wykorzystanie tych akceleratorów, konieczne jest wykonanie kilku wstępnych kroków konfiguracyjnych
- Najłatwiejszym sposobem rozpoczęcia pracy z llm-cli jest pobranie gotowego pliku wykonywalnego z wydanej wersji llm
- Domyślnie llm kompiluje się z obsługą zdalnego pobierania tokenizera z centrum modeli Hugging Face
Język programowania
Rdza
Kategorie
Jest to aplikacja, którą można również pobrać ze strony https://sourceforge.net/projects/llm.mirror/. Został on hostowany w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
