This is the Linux app named LLMs-from-scratch whose latest release can be downloaded as LLMs-from-scratchsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
OnWorks を使用して、LLMs-from-scratch というこのアプリを無料でダウンロードしてオンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショットは
Ad
ゼロから学ぶLLM
DESCRIPTION
LLMs-from-scratchは、最新の大規模言語モデルコンポーネントの実装を段階的に解説する教育用コードベースです。トークン化、埋め込み、アテンション、フィードフォワード層、正規化、トレーニングループといった構成要素に重点を置いているため、学習者はモデルの使い方だけでなく、内部の仕組みも理解できます。リポジトリは、重いフレームワークにロジックを隠蔽されることなく実行・変更できる、明確なPython、NumPy、またはPyTorch実装を採用しています。各章とノートブックは、小さなおもちゃのモデルから、サンプリング戦略や評価フックを含む、より高機能なトランスフォーマースタックへと発展していきます。読みやすさ、正確性、実験性を重視しているため、理論から実用的なシステムへと移行する学生や実務家にとって理想的な教材です。学習を完了すると、データパイプライン、最適化、推論がどのように相互作用して流暢なテキストを生成するかについて、確かな理解が得られます。
オプション
- トークナイザー、アテンション、トランスフォーマーブロックの段階的な実装
- 学習と試行錯誤のために設計されたわかりやすい Python ノートブックとスクリプト
- 完全なデータと計算フローを公開するトレーニングおよびサンプリング ループ
- スケーリングの選択、正則化、評価指標の探究
- 数学とコードの透明性を保つために依存関係を最小限に抑える
- より大きなモデルやカスタムデータセットに拡張するための基盤として機能します
プログラミング言語
Python
カテゴリー
このアプリケーションは、https://sourceforge.net/projects/llms-from-scratch.mirror/ からも入手できます。OnWorks でホストされているため、無料のオペレーティングシステムから最も簡単にオンラインで実行できます。
