To aplikacja dla systemu Linux o nazwie Lemonade, której najnowszą wersję można pobrać jako v8.1.12sourcecode.tar.gz. Można ją uruchomić online na bezpłatnym hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online tę aplikację o nazwie Lemonade z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZDJĘCIA EKRANU:
Lemoniada
OPIS:
Lemonade to lokalne środowisko uruchomieniowe LLM, którego celem jest zapewnienie najwyższej możliwej wydajności na własnym sprzęcie poprzez automatyczną konfigurację najnowocześniejszych silników wnioskowania zarówno dla NPU, jak i GPU. Projekt pozycjonuje się jako „lokalny serwer LLM”, który można uruchomić na laptopach i stacjach roboczych, abstrahując od różnic w zapleczu, a jednocześnie zapewniając jedno miejsce do obsługi i zarządzania modelami. W pliku README położono nacisk na praktyczne wdrożenie w startupach, grupach badawczych i dużych firmach, sygnalizując nacisk na praktyczne wdrożenia, a nie na demonstracje. Repozytorium podkreśla łatwość wdrożenia dzięki plikom do pobrania, dokumentacji i wsparciu na Discordzie, co sugeruje aktywną społeczność użytkowników. Obsługa wiadomości koncentruje się na maksymalizacji przepustowości/opóźnienia z nowoczesnych akceleratorów bez konieczności ręcznego dostrajania jąder lub flag przez użytkowników. Kolejne wydania dodatkowo wzmacniają koncepcję „serwera”, wskazując deweloperom usługę, którą można zintegrować z aplikacjami i narzędziami.
Funkcjonalności
- Lokalny serwer LLM ukierunkowany na przyspieszenie GPU i NPU
- Automatyczna konfiguracja wydajnych zapleczy wnioskowania
- Prosta instalacja i uruchomienie z dokumentacją prowadzoną przez przewodnik
- Wsparcie społeczności za pośrednictwem Discorda i aktywnego śledzenia problemów
- Działa w zakresie badań, startupów i przypadków użycia w przedsiębiorstwach
- Zaprojektowany jako fundament dla lokalnych aplikacji AI
Język programowania
Python
Kategorie
Tę aplikację można również pobrać ze strony https://sourceforge.net/projects/lemonade.mirror/. Została ona umieszczona w OnWorks, aby można ją było najłatwiej uruchomić online z poziomu jednego z naszych darmowych systemów operacyjnych.