これは「Text Generation Inference」というWindowsアプリで、最新リリースはv3.3.2sourcecode.zipとしてダウンロードできます。ワークステーション向けの無料ホスティングプロバイダーであるOnWorksでオンラインで実行できます。
OnWorks を使用した Text Generation Inference というこのアプリを無料でダウンロードしてオンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOSOnWorksオンラインエミュレーターを起動しますが、Windowsオンラインエミュレーターの方が優れています。
-5。起動したばかりのOnWorksWindows OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードしてインストールします。
-7.LinuxディストリビューションソフトウェアリポジトリからWineをダウンロードします。 インストールしたら、アプリをダブルクリックして、Wineで実行できます。 また、人気のあるWindowsプログラムやゲームのインストールに役立つWine上の豪華なインターフェイスであるPlayOnLinuxを試すこともできます。
WineはLinux上でWindowsソフトウェアを実行する方法ですが、Windowsは必要ありません。 Wineは、任意のLinuxデスクトップでWindowsプログラムを直接実行できるオープンソースのWindows互換性レイヤーです。 基本的に、Wineは、実際にWindowsを必要とせずに、これらすべてのWindowsアプリケーションを実行できるように、十分な数のWindowsを最初から再実装しようとしています。
スクリーンショットは
Ad
テキスト生成の推論
DESCRIPTION
Text Generation Inferenceは、Hugging Face社のTransformers向けに最適化された、テキスト生成モデル向けの高性能推論サーバーです。パフォーマンスとスケーラビリティを最適化し、大規模な言語モデルを効率的に処理できるように設計されています。
オプション
- 大規模言語モデル（LLM）の提供に最適化
- 高スループットを実現するバッチ処理と並列処理をサポート
- 量子化サポートによるパフォーマンス向上
- 簡単に統合できるAPIベースのデプロイメント
- GPUアクセラレーションとマルチノードスケーリング
- リアルタイム応答のための組み込みトークンストリーミング
プログラミング言語
Python
カテゴリー
このアプリケーションは、https://sourceforge.net/projects/text-generation-infer.mirror/ からも入手できます。OnWorks でホストされているため、無料のオペレーティングシステムから最も簡単にオンラインで実行できます。
