これはMobileLLMというLinuxアプリで、最新リリースはMobileLLMsourcecode.tar.gzとしてダウンロードできます。ワークステーション向けの無料ホスティングプロバイダーであるOnWorksでオンラインで実行できます。
OnWorks を使用して、MobileLLM というこのアプリを無料でダウンロードし、オンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショット：
モバイルLLM
説明：
MobileLLMは、Facebook Researchが開発した軽量な大規模言語モデル（LLM）フレームワークで、計算効率とメモリ効率が重要となるデバイス上での展開に最適化されています。ICML 2024の論文「MobileLLM：デバイス上でのユースケースのための10億パラメータ未満の言語モデルの最適化」で紹介されたこのフレームワークは、10億パラメータ未満のモデルにおいて強力な推論と汎化機能を提供することに重点を置いています。このフレームワークは、SwiGLUアクティベーション、ディープネットワークとシンネットワークの設計、埋め込み共有、グループ化クエリアテンション（GQA）といった複数のアーキテクチャイノベーションを統合し、モデルサイズ、推論速度、精度の間で優れたトレードオフを実現します。MobileLLMは驚異的なパフォーマンスを示し、125Mと350Mのバリアントは、ゼロショット常識推論タスクにおいて、同規模の従来の最先端モデルを最大4.3%上回ります。
オプション
- 10億未満のパラメータを持つLLM向けに最適化されたトランスフォーマーアーキテクチャ
- SwiGLUアクティベーション、埋め込み共有、グループ化クエリアテンションを組み合わせる
- PyTorch ≥ 2.0 による分散マルチノード事前トレーニングをサポート
- 複数のタスクにわたって最先端のゼロショット推論結果を提供します
- 複数のモデルサイズに対応した再現可能なトレーニングおよび評価パイプラインが含まれています
- 1億2500万のパラメータから1.5億のパラメータまで拡張可能な設計哲学
プログラミング言語
Python、Unixシェル
カテゴリー
このアプリケーションは、https://sourceforge.net/projects/mobilellm.mirror/ からも入手できます。OnWorks でホストされているため、無料のオペレーティングシステムから最も簡単にオンラインで実行できます。