This is the Linux app named LLMs-from-scratch whose latest release can be downloaded as LLMs-from-scratchsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Scarica ed esegui online gratuitamente questa app denominata LLMs-from-scratch con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
LLM da zero
DESCRIZIONE
LLMs-from-scratch è una base di codice didattica che guida passo dopo passo nell'implementazione di componenti di modelli linguistici moderni di grandi dimensioni. Si concentra sui componenti fondamentali (tokenizzazione, incorporamenti, attenzione, livelli di feed-forward, normalizzazione e cicli di training), in modo che gli studenti comprendano non solo come utilizzare un modello, ma anche come funziona internamente. Il repository privilegia implementazioni Python e NumPy o PyTorch chiare, che possono essere eseguite e modificate senza che framework pesanti ne oscurino la logica. Capitoli e quaderni procedono da piccoli modelli giocattolo a stack di trasformatori più efficienti, includendo strategie di campionamento e hook di valutazione. L'attenzione è rivolta a leggibilità, correttezza e sperimentazione, rendendolo ideale per studenti e professionisti che passano dalla teoria ai sistemi operativi. Alla fine, si avrà una solida comprensione di come pipeline di dati, ottimizzazione e inferenza interagiscono per produrre testo fluente.
Caratteristiche
- Implementazioni graduali dei blocchi tokenizer, attention e transformer
- Quaderni e script Python chiari e progettati per l'apprendimento e la sperimentazione
- Cicli di addestramento e campionamento che espongono i dati completi e il flusso di calcolo
- Esplorazioni delle scelte di scala, regolarizzazione e metriche di valutazione
- Dipendenze minime per mantenere la matematica e il codice trasparenti
- Serve come base per l'estensione a modelli più grandi e set di dati personalizzati
Linguaggio di programmazione
Python
Categorie
Questa applicazione può essere scaricata anche da https://sourceforge.net/projects/llms-from-scratch.mirror/. È ospitata su OnWorks per poter essere eseguita online nel modo più semplice da uno dei nostri sistemi operativi gratuiti.
