Jest to aplikacja dla systemu Linux o nazwie LLamaSharp, której najnowszą wersję można pobrać jako v0.6.0-followmajorllama.cppchangessourcecode.zip. Można go uruchomić online w bezpłatnym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie LLamaSharp z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
LLamaSharp
OPIS
Powiązanie C#/.NET z llama.cpp. Zapewnia interfejsy API umożliwiające wnioskowanie o modelach LLaMa i wdrażanie ich w środowisku lokalnym. Działa zarówno na systemach Windows, Linux, jak i MAC, bez konieczności samodzielnego kompilowania pliku llama.cpp. Jego wydajność jest zbliżona do llama.cpp. Ponadto zapewnia integrację z innymi projektami, takimi jak BotSharp, w celu zapewnienia aplikacji i interfejsu użytkownika wyższego poziomu.
Korzyści
- Wnioskowanie o modelu i sesja czatu
- LLamaSharp udostępnia dwa sposoby uruchamiania wnioskowania: LLamaExecutor i ChatSession
- Dzięki LLamaSharp nie musisz kompilować projektu w C++ i uruchamiać skryptów w celu kwantyzacji modelu, zamiast tego po prostu uruchom go w C#
- Zapewniamy integrację ASP.NET core
- Generowanie osadzania, tokenizacja i detokenizacja
- Wnioskowanie z modelu LLaMa
Język programowania
C#
Kategorie
Jest to aplikacja, którą można również pobrać ze strony https://sourceforge.net/projects/llamasharp.mirror/. Został on hostowany w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
