これは「Text Generation Inference」というLinuxアプリで、最新リリースはv3.3.6sourcecode.tar.gzとしてダウンロードできます。ワークステーション向けの無料ホスティングプロバイダーであるOnWorksでオンラインで実行できます。
OnWorks を使用した Text Generation Inference というこのアプリを無料でダウンロードしてオンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショットは
Ad
テキスト生成の推論
DESCRIPTION
Text Generation Inferenceは、Hugging Face社のTransformers向けに最適化された、テキスト生成モデル向けの高性能推論サーバーです。パフォーマンスとスケーラビリティを最適化し、大規模な言語モデルを効率的に処理できるように設計されています。
オプション
- 大規模言語モデル（LLM）の提供に最適化
- 高スループットを実現するバッチ処理と並列処理をサポート
- 量子化サポートによるパフォーマンス向上
- 簡単に統合できるAPIベースのデプロイメント
- GPUアクセラレーションとマルチノードスケーリング
- リアルタイム応答のための組み込みトークンストリーミング
プログラミング言語
Python
カテゴリー
このアプリケーションは、https://sourceforge.net/projects/text-generation-infer.mirror/ からも入手できます。OnWorks でホストされているため、無料のオペレーティングシステムから最も簡単にオンラインで実行できます。
