Readme DE

Hinweis: Diese Datei wurde automatisch übersetzt. Verbesserungen der Übersetzung sind willkommen!

</picture></a>

Opik

<a href="#-llm-as-a-judge-metrics">🧑‍⚖️ LLM als Richter</a> • <a href="#-evaluating-your-llm-application">🔍 Bewertung Ihrer Bewerbung</a> • <a href="#-star-us-on-github">⭐ Star Us</a> • <a href="#-contributing">🤝 Mitwirken</a>

<a id="-what-is-opik"></a>

🚀 Was ist Opik?

Opik (erstellt von Comet) ist eine Open-Source-Plattform, die den gesamten Lebenszyklus von LLM-Anwendungen optimieren soll. Es ermöglicht Entwicklern, ihre Modelle und Agentensysteme zu bewerten, zu testen, zu überwachen und zu optimieren. Zu den wichtigsten Angeboten gehören:

• Umfassende Beobachtbarkeit: Umfassende Nachverfolgung von LLM-Anrufen, Gesprächsprotokollierung und Agentenaktivität.
• Erweiterte Bewertung: Robuste sofortige Bewertung, LLM-as-a-Judge und Experimentmanagement.
• Produktionsbereit: Skalierbare Überwachungs-Dashboards und Online-Auswertungsregeln für die Produktion.
• Opik Agent Optimizer: Spezielles SDK und eine Reihe von Optimierern zur Verbesserung von Eingabeaufforderungen und Agenten.
• Opik Guardrails: Funktionen, die Sie bei der Implementierung sicherer und verantwortungsvoller KI-Praktiken unterstützen.

Zu den wichtigsten Fähigkeiten gehören:

• Entwicklung & Rückverfolgung:

• Verfolgen Sie alle LLM-Aufrufe und Traces mit detailliertem Kontext während der Entwicklung und in der Produktion (Quickstart).

• Umfangreiche Integrationen von Drittanbietern für einfache Beobachtbarkeit: Nahtlose Integration in eine wachsende Liste von Frameworks, wobei viele der größten und beliebtesten nativ unterstützt werden (einschließlich neuer Ergänzungen wie Google ADK, Autogen und Flowise AI). (Integrationen)

• Kommentieren Sie Traces und Spans mit Feedback-Scores über das Python SDK oder das UI.

• Experimentieren Sie mit Eingabeaufforderungen und Modellen im Prompt Playground.

• Bewertung und Tests:

• Automatisieren Sie Ihre LLM-Anwendungsbewertung mit Datasets und Experimente.

• Nutzen Sie leistungsstarke LLM-als-Richter-Metriken für komplexe Aufgaben wie Halluzinationserkennung, Moderation und RAG-Bewertung (Antwort Relevanz, Kontext Präzision).

• Integrieren Sie Auswertungen in Ihre CI/CD-Pipeline mit unserer PyTest-Integration.

• Produktionsüberwachung und -optimierung:

• Protokollieren Sie große Mengen an Produktionsspuren: Opik ist für den Maßstab ausgelegt (über 40 Mio. Spuren/Tag).

• Überwachen Sie Feedback-Scores, Trace-Zählungen und Token-Nutzung im Laufe der Zeit im Opik Dashboard.

• Nutzen Sie Online-Bewertungsregeln mit LLM-as-a-Judge-Metriken, um Produktionsprobleme zu identifizieren.

• Nutzen Sie Opik Agent Optimizer und Opik Guardrails, um Ihre LLM-Anwendungen in der Produktion kontinuierlich zu verbessern und zu sichern.

[!TIP] Wenn Sie nach Funktionen suchen, die Opik heute nicht bietet, stellen Sie bitte eine neue Funktionsanfrage 🚀

<a id="%EF%B8%8F-opik-server-installation"></a>

🛠️ Opik Server-Installation

Bringen Sie Ihren Opik-Server in wenigen Minuten zum Laufen. Wählen Sie die Option, die Ihren Anforderungen am besten entspricht:

Option 1: Comet.com Cloud (am einfachsten und empfohlen)

Greifen Sie sofort und ohne Einrichtung auf Opik zu. Ideal für schnelle Starts und problemlose Wartung.

👉 Erstellen Sie Ihr kostenloses Comet-Konto

Option 2: Opik selbst hosten für volle Kontrolle

Stellen Sie Opik in Ihrer eigenen Umgebung bereit. Wählen Sie zwischen Docker für lokale Setups oder Kubernetes für Skalierbarkeit.

Selbsthosting mit Docker Compose (für lokale Entwicklung und Tests)

Dies ist der einfachste Weg, eine lokale Opik-Instanz zum Laufen zu bringen. Beachten Sie das neue Installationsskript „./opik.sh“:

In einer Linux- oder Mac-Umgebung:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

In einer Windows-Umgebung:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

Serviceprofile für die Entwicklung

Die Opik-Installationsskripte unterstützen jetzt Dienstprofile für verschiedene Entwicklungsszenarien:

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

Verwenden Sie die Optionen „--help“ oder „--info“, um Probleme zu beheben. Dockerfiles stellen jetzt sicher, dass Container als Nicht-Root-Benutzer ausgeführt werden, um die Sicherheit zu erhöhen. Sobald alles betriebsbereit ist, können Sie jetzt localhost:5173 in Ihrem Browser aufrufen! Ausführliche Anweisungen finden Sie im Local Deployment Guide.

Selbsthosting mit Kubernetes & Helm (für skalierbare Bereitstellungen)

Für Produktions- oder größere selbstgehostete Bereitstellungen kann Opik mithilfe unseres Helm-Charts auf einem Kubernetes-Cluster installiert werden. Klicken Sie auf das Abzeichen, um das vollständige Kubernetes-Installationshandbuch mit Helm anzuzeigen.

[!IMPORTANT] Änderungen in Version 1.7.0: Bitte überprüfen Sie das Änderungsprotokoll auf wichtige Updates und wichtige Änderungen.

<a id="-opik-client-sdk"></a>

💻 Opik Client SDK

Opik bietet eine Reihe von Client-Bibliotheken und eine REST-API für die Interaktion mit dem Opik-Server. Dazu gehören SDKs für Python, TypeScript und Ruby (über OpenTelemetry), die eine nahtlose Integration in Ihre Arbeitsabläufe ermöglichen. Ausführliche API- und SDK-Referenzen finden Sie in der Opik Client-Referenzdokumentation.

Python SDK-Schnellstart

So beginnen Sie mit dem Python SDK:

Installieren Sie das Paket:

# install using pip
pip install opik

# or install with uv
uv pip install opik

Konfigurieren Sie das Python-SDK, indem Sie den Befehl „opik configure“ ausführen, der Sie zur Eingabe Ihrer Opik-Serveradresse (für selbst gehostete Instanzen) oder Ihres API-Schlüssels und Arbeitsbereichs (für Comet.com) auffordert:

opik configure

[!TIP] Sie können auch „opik.configure(use_local=True)“ aus Ihrem Python-Code aufrufen, um das SDK für die Ausführung auf einer lokalen selbstgehosteten Installation zu konfigurieren oder API-Schlüssel und Arbeitsbereichsdetails direkt für Comet.com bereitzustellen. Weitere Konfigurationsoptionen finden Sie in der Python SDK-Dokumentation.

Sie können jetzt mit der Protokollierung von Ablaufverfolgungen mit dem Python SDK beginnen.

<a id="-logging-traces-with-integrations"></a>

📝 Protokollierung von Traces mit Integrationen

Der einfachste Weg, Traces zu protokollieren, ist die Verwendung einer unserer direkten Integrationen. Opik unterstützt eine breite Palette von Frameworks, einschließlich neuerer Ergänzungen wie Google ADK, Autogen, AG2 und Flowise AI:

[!TIP] Wenn das von Ihnen verwendete Framework oben nicht aufgeführt ist, können Sie gerne ein Problem eröffnen oder eine PR mit der Integration einreichen.

Wenn Sie keines der oben genannten Frameworks verwenden, können Sie auch den „track“-Funktionsdekorator verwenden, um Traces zu protokollieren:

import opik

opik.configure(use_local=True) # Run locally

@opik.track
def my_llm_function(user_question: str) -> str:
    # Your LLM code here

    return "Hello"

[!TIP] Der Track Decorator kann in Verbindung mit jeder unserer Integrationen verwendet werden und kann auch zum Verfolgen verschachtelter Funktionsaufrufe verwendet werden.

<a id="-llm-as-a-judge-metrics"></a>

🧑‍⚖️ LLM als Richtermetriken

Das Python Opik SDK enthält eine Reihe von LLM-Bewertungsmetriken, die Ihnen bei der Bewertung Ihrer LLM-Anwendung helfen. Erfahren Sie mehr darüber in der Metrikdokumentation.

Um sie zu verwenden, importieren Sie einfach die entsprechende Metrik und verwenden Sie die Funktion „Score“:

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

Opik umfasst außerdem eine Reihe vorgefertigter heuristischer Metriken sowie die Möglichkeit, eigene zu erstellen. Erfahren Sie mehr darüber in der Metrikdokumentation.

<a id="-evaluating-your-llm-application"></a>

🔍 Bewertung Ihrer LLM-Bewerbungen

Mit Opik können Sie Ihre LLM-Anwendung während der Entwicklung über Datasets bewerten Experimente. Das Opik-Dashboard bietet erweiterte Diagramme für Experimente und eine bessere Handhabung großer Spuren. Sie können Auswertungen auch als Teil Ihrer CI/CD-Pipeline mit unserer PyTest-Integration ausführen.

<a id="-star-us-on-github"></a>

⭐ Star uns auf GitHub

Wenn Sie Opik nützlich finden, geben Sie uns bitte einen Stern! Ihre Unterstützung hilft uns, unsere Community zu vergrößern und das Produkt weiter zu verbessern.

<a id="-contributing"></a>

🤝 Mitwirken

Es gibt viele Möglichkeiten, zu Opik beizutragen:

• Senden Sie Fehlerberichte und Funktionsanfragen.
• Überprüfen Sie die Dokumentation und senden Sie Pull Requests, um sie zu verbessern
• Sprechen oder schreiben Sie über Opik und lassen Sie es uns wissen
• Upvoting für beliebte Funktionsanfragen, um Ihre Unterstützung zu zeigen

Um mehr darüber zu erfahren, wie Sie zu Opik beitragen können, lesen Sie bitte unsere Beitragsrichtlinien.