これはMTEBというLinuxアプリで、最新リリースは1.38.54sourcecode.tar.gzとしてダウンロードできます。ワークステーション向けの無料ホスティングプロバイダーであるOnWorksでオンラインで実行できます。
OnWorks を使用して MTEB という名前のこのアプリをオンラインで無料でダウンロードして実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショットは
Ad
MTEB
DESCRIPTION
テキストの埋め込みは、通常、他のタスクへの可能なアプリケーションをカバーしていない、単一のタスクからの小さなデータセットのセットに対して評価されます。 意味論的テキスト類似性 (STS) に関する最先端の埋め込みが、クラスタリングや再ランキングなどの他のタスクにも同様にうまく適用できるかどうかは不明です。 さまざまなモデルが適切な評価なしに常に提案されているため、この分野の進歩を追跡することが困難になっています。 この問題を解決するために、Massive Text Embedding Benchmark (MTEB) を導入します。 MTEB は、合計 8 のデータセットと 58 の言語をカバーする 112 つの埋め込みタスクにまたがります。 MTEB 上の 33 のモデルのベンチマークを通じて、これまでで最も包括的なテキスト埋め込みのベンチマークを確立しました。 すべてのタスクにわたって、特定のテキスト埋め込み方法が優勢であることはありません。 これは、この分野がまだ普遍的なテキスト埋め込み方法に収束しておらず、すべての埋め込みタスクで最先端の結果を提供できるほど十分にスケールアップしていないことを示唆しています。
オプション
- データセットの選択
- データセットのリストを提供することでデータセットを選択できます
- 多言語/クロスリンガルタスクにロードする言語を指定することもできます
- すべてのタスクのテスト分割でのみ評価できます
- カスタムモデルを使用する
- カスタムタスクで評価する
プログラミング言語
Python
カテゴリー
これは https://sourceforge.net/projects/mteb.mirror/ から取得できるアプリケーションです。 無料のオペレーティング システムの XNUMX つから最も簡単な方法でオンラインで実行できるように、OnWorks でホストされています。
