To aplikacja dla systemu Linux o nazwie llama2.c, której najnowszą wersję można pobrać jako llama2.csourcecode.tar.gz. Można ją uruchomić online na darmowym hostingu OnWorks dla stacji roboczych.
Pobierz i uruchom bezpłatnie w Internecie aplikację o nazwie llama2.c z OnWorks.
Postępuj zgodnie z tymi instrukcjami, aby uruchomić tę aplikację:
- 1. Pobrałem tę aplikację na swój komputer.
- 2. Wpisz w naszym menedżerze plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 3. Prześlij tę aplikację w takim menedżerze plików.
- 4. Uruchom emulator online OnWorks Linux lub Windows online lub emulator online MACOS z tej witryny.
- 5. W systemie operacyjnym OnWorks Linux, który właśnie uruchomiłeś, przejdź do naszego menedżera plików https://www.onworks.net/myfiles.php?username=XXXXX z wybraną nazwą użytkownika.
- 6. Pobierz aplikację, zainstaluj ją i uruchom.
ZDJĘCIA EKRANU:
llama2.c
OPIS:
llama2.c to minimalistyczna implementacja architektury modelu języka Llama 2, zaprojektowana do działania wyłącznie w czystym C. Stworzony przez Andreja Karpathy'ego, projekt oferuje edukacyjne i lekkie środowisko do przeprowadzania inferencji na małych modelach Llama 2 bez zależności zewnętrznych. Zapewnia pełny proces trenowania i wnioskowania: modele można trenować w PyTorch, a następnie uruchamiać za pomocą zwięzłego, 700-linijkowego programu w C (run.c). Chociaż technicznie może on ładować oficjalne modele Llama 2 firmy Meta, obecne wsparcie jest ograniczone do precyzji fp32, co oznacza, że praktyczne zastosowanie jest ograniczone do modeli o parametrach do około 7 miliardów. Celem llama2.c jest zademonstrowanie, jak kompaktowa i transparentna implementacja może przeprowadzać sensowne wnioskowanie nawet w przypadku małych modeli, kładąc nacisk na prostotę, przejrzystość i dostępność. Projekt opiera się na wnioskach z nanoGPT i czerpie inspirację z llama.cpp, koncentrując się na minimalizmie i wartości edukacyjnej, a nie na wydajności na dużą skalę.
Funkcjonalności
- Implementuje pełną architekturę Llama 2 zarówno do celów szkoleniowych, jak i wnioskowania
- Zapewnia kompaktowy, 700-liniowy silnik wnioskowania oparty na języku C (run.c)
- Umożliwia szkolenie w PyTorch i uruchamianie modeli bezpośrednio w C
- Obsługuje precyzję modelu fp32 dla mniejszych programów LLM na skalę edukacyjną
- Oferuje czystą, wolną od zależności implementację, łatwą do studiowania i modyfikowania
- Zainspirowane przez llama.cpp, ale zaprojektowane z myślą o prostocie i minimalizmie
Język programowania
C, Pythona
Kategorie
Tę aplikację można również pobrać ze strony https://sourceforge.net/projects/llama2-c.mirror/. Została ona umieszczona w OnWorks, aby można ją było uruchomić online w najłatwiejszy sposób z jednego z naszych darmowych systemów operacyjnych.