Readme JA

    </picture></a>
    

    Opik: オープンソースの LLM オブザーバビリティ・評価・AI エージェントトレーシング
</div>

<a href="#-llm-as-a-judge-metrics">🧑‍⚖️ LLM as a Judge</a> • <a href="#-evaluating-your-llm-application">🔍 アプリケーションの評価</a> • <a href="#-star-us-on-github">⭐ スターをお願いします</a> • <a href="#-contributing">🤝 コントリビュート</a>

<a id="-what-is-opik"></a>

🚀 Opik とは?

Opik は、LLM アプリケーションや AI エージェントを開発するチーム向けに、開発時の最初のトレースから本番環境のモニタリングまで、LLM アプリケーションのライフサイクル全体をカバーします。主な提供機能は次のとおりです。

• AI エージェントのトレーシングとオブザーバビリティ: LLM 呼び出しの詳細なトレーシング、会話の記録、エージェントの動作の記録に加え、マルチステップのエージェントやツール呼び出しに対応した完全なトレースツリーを提供します。
• LLM 評価: ハルシネーション検出、モデレーション、RAG 評価のためのデータセット、実験、LLM-as-a-judge メトリクス。
• プロンプトとエージェントの最適化: プロンプトとエージェントを改善する Opik Agent Optimizer SDK。
• 本番環境対応のモニタリング: スケーラブルなダッシュボードとオンライン評価ルール。
• Opik Guardrails: 安全で責任ある AI の実践を支援する機能。
• CI/CD 評価: コミットごとに LLM パイプラインをテストする PyTest インテグレーション。

主な機能は次のとおりです。

• 開発とトレーシング:

  • 開発時から本番環境まで、すべての LLM 呼び出しとトレースを詳細なコンテキストとともに追跡できます (クイックスタート)。
  • オブザーバビリティを簡単に実現する豊富なサードパーティインテグレーション: 増え続けるフレームワークとシームレスに連携し、主要かつ人気の高い多くのフレームワーク (Google ADK、Autogen、Flowise AI といった最近追加されたものを含む) をネイティブにサポートします。(インテグレーション)
  • Python SDK または UI から、トレースとスパンにフィードバックスコアを付与できます。
  • プロンプトプレイグラウンドでプロンプトとモデルを試せます。

• 評価とテスト:

  • データセットと実験により、LLM アプリケーションの評価を自動化できます。
  • ハルシネーション検出、モデレーション、RAG 評価 (Answer Relevance、Context Precision) といった複雑なタスクに、強力な LLM-as-a-judge メトリクスを活用できます。
  • PyTest インテグレーションにより、評価を CI/CD パイプラインに組み込めます。

• 本番環境のモニタリングと最適化:

  • 大量の本番トレースを記録: Opik はスケールを前提に設計されています (1 日あたり 4,000 万件以上のトレース)。
  • Opik ダッシュボードで、フィードバックスコア、トレース数、トークン使用量の推移をモニタリングできます。
  • オンライン評価ルールと LLM-as-a-Judge メトリクスを活用して、本番環境の問題を特定できます。
  • Opik Agent Optimizer と Opik Guardrails を活用して、本番環境の LLM アプリケーションを継続的に改善し、安全に保てます。

対象ユーザー: LLM を活用したエージェントを開発する ML エンジニア、プロトタイプから本番環境へ移行する AI チーム、そして自社環境で運用できるオープンソースかつセルフホスト可能なオブザーバビリティを必要とするエンジニアリングチーム。

ここでオープンソースであることが重要な理由: Opik は Apache-2.0 ライセンスで、クライアント SDK だけでなくバックエンドを含むプラットフォーム全体を無料でセルフホストできます。このリポジトリには、サーバーバックエンド、ウェブアプリケーション、トレーシング、データセット、実験、評価、プロンプト管理、オンライン評価、エージェント最適化の各コンポーネントが、すべて Apache-2.0 のもとで含まれています。データを自社環境の外に出すことなく、またエンタープライズ営業とのやり取りを必要とせずに、自社インフラ内で LLM オブザーバビリティを運用できます。

[!TIP] 現在の Opik にない機能をお探しの場合は、機能リクエストを作成してください 🚀

<a id="-quick-start"></a>

⚡ クイックスタート

Python SDK をインストールして設定します。

pip install opik
opik configure

任意の関数を @track デコレーターでラップすると、トレースの記録が始まります。

from opik import track

@track
def my_function(input: str) -> str:
    return input

これで my_function の呼び出しは、ネストされた呼び出しも含めてすべて Opik に記録されます。そのため、単一の LLM 呼び出しだけでなく、エージェントやパイプライン全体のトレースにも対応できます。TypeScript SDK やその他のセットアップ方法については、クイックスタートガイドをご覧ください。

<a id="-how-opik-compares"></a>

📊 Opik の比較

Opik は LLM オブザーバビリティ / AI エージェント評価のカテゴリーで、LangSmith、Arize (Phoenix と Arize AX)、Weights & Biases (Weave)、Langfuse、Braintrust と競合しています。

チームが Opik を選ぶ理由: オブザーバビリティ、評価、最適化を備えた Opik のプラットフォーム全体が Apache-2.0 ライセンスで、無料でセルフホストできます。セルフホストでのデプロイにエンタープライズプランが必要なクローズドなプラットフォームとは異なり、Opik は商用ライセンスなしでデプロイでき、フレームワーク非依存であるため特定のエージェントエコシステムに縛られることもありません。セルフホストとライセンスの違いについては、上の表をご覧ください。

<a id="-frequently-asked-questions"></a>

❓ よくある質問

Opik はオープンソースですか?

Opik は Apache 2.0 ライセンスで提供されています。サーバー、ウェブアプリケーション、そしてオブザーバビリティと評価のコア機能は、商用ライセンスなしでセルフホストできます。

Opik をセルフホストできますか?

はい。ドキュメントに記載されたセルフホストの方法で、ローカル環境または自社インフラに Opik をデプロイできます。

Opik は AI エージェントのトレーシングに対応していますか?

はい。Opik は、LLM 呼び出し、ツールの実行、検索ステップ、その他のエージェントの動作を含むマルチステップのトレースを取得します。

Opik は LLM の評価に対応していますか?

はい。Opik は、データセット、実験、コードベースのメトリクス、LLM-as-a-judge による評価、オンライン評価をサポートしています。

Opik は特定のエージェントフレームワークに依存していますか?

いいえ。Opik はフレームワーク非依存で、独自の SDK、OpenTelemetry、各フレームワーク向けのインテグレーションをサポートしています。

<a id="%EF%B8%8F-opik-server-installation"></a>

🛠️ Opik サーバーのインストール

Opik サーバーは数分で起動できます。用途に最も適した方法を選んでください。

選択肢 1: Comet.com クラウド (最も簡単・推奨)

セットアップ不要で、すぐに Opik を利用できます。手早く始めたい場合や、メンテナンスの手間をかけたくない場合に最適です。

👉 無料の Comet アカウントを作成する

選択肢 2: 完全に制御するためのセルフホスト

自社環境に Opik をデプロイします。ローカル環境向けの Docker と、スケーラビリティを重視する場合の Kubernetes から選べます。

Docker Compose によるセルフホスト (ローカル開発・テスト向け)

ローカルで Opik インスタンスを動かす最も簡単な方法です。新しい ./opik.sh インストールスクリプトをご利用ください。

Linux または Mac 環境の場合:

# Opik リポジトリをクローン
git clone https://github.com/comet-ml/opik.git

# リポジトリに移動
cd opik

# Opik プラットフォームを起動
./opik.sh

Windows 環境の場合:

# Opik リポジトリをクローン
git clone https://github.com/comet-ml/opik.git

# リポジトリに移動
cd opik

# Opik プラットフォームを起動
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

インストールスクリプトのオプション

opik.sh と opik.ps1 のスクリプトは、次のオプションに対応しています。

# Opik スイート全体を起動 (デフォルトの動作)
./opik.sh

# インフラサービスのみを起動 (データベース、キャッシュなど)
./opik.sh --infra

# インフラ + バックエンドサービスを起動
./opik.sh --backend

# 任意のプロファイルで guardrails を有効化
./opik.sh --guardrails # Opik スイート全体と guardrails
./opik.sh --backend --guardrails # インフラ + バックエンドと guardrails

# 起動前にソースからコンテナをビルド
./opik.sh --build

# すべてのコンテナが正常か確認
./opik.sh --verify

# すべてのコンテナを停止
./opik.sh --stop

# すべてのコンテナを停止し、Opik のデータボリュームをすべて削除
# 警告: Opik のデータはすべて失われます
./opik.sh --clean

# 利用可能なオプションをすべて表示
./opik.sh --help

問題のトラブルシューティングには --help または --info オプションを使用してください。Dockerfile は、セキュリティ強化のためコンテナを非 root ユーザーで実行するようになりました。すべてが起動したら、ブラウザーで localhost:5173 にアクセスできます。詳しい手順はローカルデプロイガイドをご覧ください。

Kubernetes と Helm によるセルフホスト (スケーラブルなデプロイ向け)

本番環境や大規模なセルフホストのデプロイでは、Helm チャートを使って Kubernetes クラスターに Opik をインストールできます。バッジをクリックすると、Helm を使った Kubernetes インストールガイドの全文をご覧いただけます。

<a id="-opik-client-sdk"></a>

💻 Opik クライアント SDK

Opik は、Opik サーバーとやり取りするための一連のクライアントライブラリと REST API を提供しています。これには Python と TypeScript の SDK に加え、ファーストパーティの OpenTelemetry サポートが含まれます。Java、Ruby、.NET など、OpenTelemetry SDK が存在する言語であれば、どれでも Opik にトレースを送信できます。API と SDK の詳細なリファレンスは、Opik クライアントリファレンスドキュメントをご覧ください。

Python SDK クイックスタート

Python SDK を使い始めるには、次の手順に従います。

パッケージをインストールします。

# pip を使ってインストール
pip install opik

# または uv を使ってインストール
uv pip install opik

opik configure コマンドを実行して Python SDK を設定します。実行すると、Opik サーバーのアドレス (セルフホストの場合)、または API キーとワークスペース (Comet.com の場合) の入力を求められます。

opik configure

[!TIP] Python コードから opik.configure(use_local=True) を呼び出して、ローカルのセルフホスト環境向けに SDK を設定したり、Comet.com 用に API キーとワークスペースの情報を直接指定したりすることもできます。その他の設定オプションについては、Python SDK ドキュメントをご覧ください。

これで Python SDK を使ってトレースの記録を始める準備が整いました。

<a id="-logging-traces-with-integrations"></a>

📝 インテグレーションによるトレースの記録

トレースを記録する最も簡単な方法は、直接対応しているインテグレーションのいずれかを使うことです。Opik は、Google ADK、Autogen、AG2、Flowise AI といった最近追加されたものを含む、幅広いフレームワークをサポートしています。

[!TIP] お使いのフレームワークが上の一覧にない場合は、お気軽に issue を作成するか、インテグレーションの PR を送ってください。

上記のいずれのフレームワークも使っていない場合は、track 関数デコレーターを使ってトレースを記録することもできます。

import opik

opik.configure(use_local=True) # ローカルで実行

@opik.track
def my_llm_function(user_question: str) -> str:
    # ここに LLM のコードを記述

    return "Hello"

[!TIP] track デコレーターは、いずれのインテグレーションと組み合わせても使用でき、ネストされた関数呼び出しの追跡にも利用できます。

<a id="-llm-as-a-judge-metrics"></a>

🧑‍⚖️ LLM as a Judge メトリクス

Python の Opik SDK には、LLM アプリケーションの評価に役立つ LLM as a judge メトリクスが多数含まれています。詳しくはメトリクスのドキュメントをご覧ください。

使い方は簡単で、対象のメトリクスをインポートして score 関数を呼び出すだけです。

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

Opik には、あらかじめ用意されたヒューリスティックメトリクスも多数含まれており、独自のメトリクスを作成することもできます。詳しくはメトリクスのドキュメントをご覧ください。

<a id="-evaluating-your-llm-application"></a>

🔍 LLM アプリケーションの評価

Opik では、データセットと実験を通じて、開発中に LLM アプリケーションを評価できます。Opik ダッシュボードは、実験向けの強化されたチャートと、大きなトレースのより快適な取り扱いを提供します。また、PyTest インテグレーションを使って、CI/CD パイプラインの一部として評価を実行することもできます。

<a id="-star-us-on-github"></a>

⭐ GitHub でスターをお願いします

Opik が役に立つと感じたら、ぜひスターを付けてください! 皆さんの支援が、コミュニティの成長とプロダクトの継続的な改善につながります。

<a id="-contributing"></a>

🤝 コントリビュート

Opik には、さまざまな形で貢献できます。

• バグ報告や機能リクエストを送る
• ドキュメントをレビューし、改善のための Pull Request を送る
• Opik について発表・執筆し、お知らせいただく
• 人気の機能リクエストに投票して支持を示す

Opik への貢献方法について詳しくは、コントリビューションガイドラインをご覧ください。