Linux用Secret Llamaのダウンロード

これはSecret LlamaというLinuxアプリで、最新リリースはsecret-llamasourcecode.zipとしてダウンロードできます。ワークステーション向けの無料ホスティングプロバイダーであるOnWorksでオンラインで実行できます。

スクリーンショット：

シークレットラマ

説明：

Secret Llama は、プライバシーを重視した大規模言語モデル チャットボットです。完全に Web ブラウザ内で実行されるため、サーバーは必要なく、会話データがデバイスから外に出ることはありません。オープンソース モデルのサポートに重点を置いており、Llama や Mistral などのファミリをクライアントに直接ロードして、完全にローカルな推論を実行できます。すべてがブラウザ内で行われるため、モデルがキャッシュされるとオフラインで動作できます。これは、エアギャップ環境や旅行中に役立ちます。インターフェースは、ストリーミング応答、マークダウン、すっきりとしたレイアウトなど、期待される最新のチャット UX を反映しているため、プライバシーを確​​保するために使いやすさを犠牲にする必要はありません。内部的には、Web ネイティブの推論エンジンを使用して、利用可能な場合は GPU/WebGPU でモデルの実行を高速化し、バックエンドがなくても応答の応答性を維持します。これは、アシスタントのプロトタイプを作成したり、外部 API にプロンプ​​トを送信せずに機密テキストを処理したりしたい開発者やチームにとって最適なオプションです。

オプション

• サーバーに依存しない、完全にローカルなブラウザ内推論
• 一般的なオープンソースLLMと量子化バリアントのサポート
• モデルがブラウザのキャッシュに読み込まれるとオフラインで動作します
• ストリーミング出力とマークダウンレンダリングを備えたモダンなチャットUI
• WebGPU アクセラレーションによる実行で、対応マシンでの応答が高速化されます。
• モデルやパラメータを交換するためのシンプルなインポートと構成フロー

プログラミング言語

タイプスクリプト

カテゴリー

このアプリケーションは、https://sourceforge.net/projects/secret-llama.mirror/ からも入手できます。OnWorks でホストされているため、無料のオペレーティングシステムから最も簡単にオンラインで実行できます。