これは FastChat という名前の Linux アプリで、最新リリースは Releasev0.2.30.zip としてダウンロードできます。 ワークステーション用の無料ホスティング プロバイダー OnWorks でオンラインで実行できます。
FastChatwithOnWorksという名前のこのアプリを無料でダウンロードしてオンラインで実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショットは
Ad
ファストチャット
DESCRIPTION
FastChat は、大規模な言語モデルベースのチャットボットをトレーニング、提供、評価するためのオープン プラットフォームです。 十分なメモリがない場合は、上記のコマンドに --load-8bit を追加することで 8 ビット圧縮を有効にすることができます。 これにより、モデルの品質はわずかに低下しますが、メモリ使用量を約半分に削減できます。 CPU、GPU、および Metal バックエンドと互換性があります。 13 ビット圧縮の Vicuna-8B は、単一の NVIDIA 3090/4080/T4/V100(16GB) GPU で実行できます。 それに加えて、上記のコマンドに --cpu-offloading を追加して、GPU に収まらない重みを CPU メモリにオフロードすることができます。 これには、8 ビット圧縮を有効にし、bitsandbytes パッケージをインストールする必要があります。このパッケージは Linux オペレーティング システムでのみ利用可能です。
特徴
- 最先端モデルの重み、トレーニング コード、評価コード
- Web UI と OpenAI 互換の RESTful API を備えた分散マルチモデル サービング システム
- 大規模な言語モデルのトレーニング、提供、評価用
- 重量変換に必要な CPU RAM を削減します。
- コマンドラインインターフェイスによる推論
- いくつかのサポートされているモデル
プログラミング言語
Python
カテゴリー
これは、https://sourceforge.net/projects/fastchat.mirror/ から取得できるアプリケーションです。 無料のオペレーティング システムの XNUMX つから最も簡単な方法でオンラインで実行できるように、OnWorks でホストされています。
