これは DeepSpeed MII という名前の Windows アプリで、最新リリースは DeepSpeedMIIv0.0.8.zip としてダウンロードできます。 ワークステーション用の無料ホスティング プロバイダー OnWorks でオンラインで実行できます。
DeepSpeed MII with OnWorks という名前のこのアプリをオンラインで無料でダウンロードして実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOSOnWorksオンラインエミュレーターを起動しますが、Windowsオンラインエミュレーターの方が優れています。
-5。起動したばかりのOnWorksWindows OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードしてインストールします。
-7.LinuxディストリビューションソフトウェアリポジトリからWineをダウンロードします。 インストールしたら、アプリをダブルクリックして、Wineで実行できます。 また、人気のあるWindowsプログラムやゲームのインストールに役立つWine上の豪華なインターフェイスであるPlayOnLinuxを試すこともできます。
WineはLinux上でWindowsソフトウェアを実行する方法ですが、Windowsは必要ありません。 Wineは、任意のLinuxデスクトップでWindowsプログラムを直接実行できるオープンソースのWindows互換性レイヤーです。 基本的に、Wineは、実際にWindowsを必要とせずに、これらすべてのWindowsアプリケーションを実行できるように、十分な数のWindowsを最初から再実装しようとしています。
スクリーンショット：
ディープスピード MII
説明：
MII は、DeepSpeed を利用して、低レイテンシーと高スループットの推論を可能にします。 ディープ ラーニング (DL) オープンソース コミュニティは、ここ数か月で驚異的な成長を遂げました。 Bloom 176B などの信じられないほど強力なテキスト生成モデル、または Stable Diffusion などの画像生成モデルは、Hugging Face などのプラットフォームを通じて、少数または単一の GPU にアクセスできる誰でも利用できるようになりました。 オープンソース化により AI 機能へのアクセスが民主化されましたが、そのアプリケーションは依然として、推論レイテンシとコストという XNUMX つの重要な要素によって制限されています。 DeepSpeed-MII は、DeepSpeed の新しいオープンソース Python ライブラリであり、強力なモデルの低遅延、低コストの推論を実現可能にするだけでなく、簡単にアクセスできるようにすることを目的としています。 MII は、数千の広く使用されている DL モデルの高度に最適化された実装へのアクセスを提供します。 MII 対応モデルは、元の実装と比較して大幅に低いレイテンシとコストを実現します。
オプション
- MII は、数千の広く使用されている DL モデルの高度に最適化された実装へのアクセスを提供します
- MII サポートモデルは、元の実装と比較して大幅に低いレイテンシとコストを実現します。
- MII は、トランスフォーマーのディープフュージョンなど、DeepSpeed-Inference による広範な最適化セットを活用します。
- 最先端のパフォーマンス
- MII は、わずか数行のコードで、AML を介してオンプレミスと Azure の両方でこれらのモデルの低コストのデプロイをサポートします。
- マルチ GPU 推論のための自動テンソル スライス、ZeroQuant によるオンザフライ量子化
プログラミング言語
Python
カテゴリー
これは https://sourceforge.net/projects/deepspeed-mii.mirror/ から取得できるアプリケーションです。 無料のオペレーティング システムの XNUMX つから最も簡単な方法でオンラインで実行できるように、OnWorks でホストされています。