Jest to aplikacja dla systemu Linux o nazwie Aviary, której najnowszą wersję można pobrać w wersji 0.3.1.zip. Można go uruchomić online w bezpłatnym dostawcy hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom online aplikację o nazwie Aviary z OnWorks za darmo.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZRZUTY EKRANU
Ad
woliera
OPIS
Aviary to rozwiązanie do obsługi LLM, które ułatwia wdrażanie i zarządzanie różnymi LLM typu open source. Udostępnienie obszernego pakietu wstępnie skonfigurowanych rozwiązań LLM typu open source z domyślnymi ustawieniami, które działają od razu po wyjęciu z pudełka. Obsługa modeli Transformers hostowanych w Hugging Face Hub lub obecnych na dysku lokalnym. Aviary ma natywną obsługę automatycznego skalowania i wdrożeń na wielu węzłach dzięki Ray i Ray Serve. Aviary może skalować do zera i tworzyć nowe repliki modeli (każda składająca się z wielu pracowników GPU) w odpowiedzi na zapotrzebowanie. Ray zapewnia, że orkiestracja i zarządzanie zasobami odbywa się automatycznie. Aviary jest w stanie obsłużyć setki replik i klastrów składających się z setek węzłów, wdrożonych w chmurze lub lokalnie.
Funkcjonalności
- W pełni obsługuje wdrożenia modeli z wieloma procesorami graficznymi i wieloma węzłami
- Zapewnienie interfejsu API REST podobnego do OpenAI, aby ułatwić ich migrację i testowanie krzyżowe
- Oferuje funkcje o wysokiej wydajności, takie jak ciągłe przetwarzanie wsadowe, kwantyzacja i przesyłanie strumieniowe
- W większości przypadków uproszczenie dodawania nowych LLM w ciągu kilku minut
- Uproszczenie wdrażania wielu LLM w ramach jednej, ujednoliconej struktury
- Udostępnienie obszernego pakietu wstępnie skonfigurowanych rozwiązań LLM typu open source z domyślnymi ustawieniami, które działają od razu po wyjęciu z pudełka
Język programowania
Python
Kategorie
Jest to aplikacja, którą można również pobrać ze strony https://sourceforge.net/projects/aviary.mirror/. Został on hostowany w OnWorks, aby można go było uruchomić online w najprostszy sposób z jednego z naszych bezpłatnych systemów operacyjnych.
