Readme RU

Примечание: Этот файл был переведен автоматически. Улучшения перевода приветствуются!

</picture></a>

Опик

<a href="#-llm-as-a-judge-metrics">🧑‍⚖️ LLM как судья</a> • <a href="#-evaluating-your-llm-application">🔍 Оценка вашей заявки</a> • <a href="#-star-us-on-github">⭐ Отметьте нас</a> • <a href="#-contributing">🤝 Содействие</a>

<a id="-what-is-opik"></a>

🚀 Что такое Опик?

Opik (созданный Comet) — это платформа с открытым исходным кодом, предназначенная для оптимизации всего жизненного цикла приложений LLM. Это дает разработчикам возможность оценивать, тестировать, отслеживать и оптимизировать свои модели и агентные системы. Ключевые предложения включают в себя:

• Комплексное наблюдение: глубокое отслеживание звонков LLM, регистрация разговоров и активности агентов.
• Расширенная оценка: надежная оперативная оценка, LLM в качестве судьи и управление экспериментом.
• Готовность к производству: масштабируемые панели мониторинга и онлайн-правила оценки для производства.
• Оптимизатор агента Opik: специальный SDK и набор оптимизаторов для улучшения подсказок и агентов.
• Opik Guardrails: функции, которые помогут вам реализовать безопасные и ответственные методы работы с искусственным интеллектом.

Ключевые возможности включают в себя:

• Разработка и отслеживание:

• Отслеживайте все вызовы и трассировки LLM с подробным контекстом во время разработки и производства (Quickstart).

• Обширная интеграция сторонних разработчиков для удобства наблюдения: плавная интеграция с постоянно растущим списком платформ, встроенная поддержка многих крупнейших и самых популярных из них (включая недавние дополнения, такие как Google ADK, Autogen и Flowise AI). (Интеграции)

• Аннотируйте трассировки и интервалы с помощью оценок обратной связи с помощью Python SDK или UI.

• Экспериментируйте с подсказками и моделями на Площадке подсказок.

• Оценка и тестирование:

• Автоматизируйте оценку заявки на получение LLM с помощью Datasets и Эксперименты.

• Используйте мощные показатели LLM в качестве судьи для сложных задач, таких как обнаружение галлюцинаций, модерация и оценка RAG (Ответить Релевантность, Контекст Точность).

• Интегрируйте оценки в свой конвейер CI/CD с помощью нашей интеграции PyTest.

• Мониторинг и оптимизация производства:

• Регистрируйте большие объемы производственных трассировок: Opik рассчитан на масштабирование (более 40 млн трассировок в день).

• Отслеживайте оценки отзывов, количество трассировок и использование токенов с течением времени на панели управления Opik.

• Используйте Правила онлайн-оценки с показателями LLM-as-a-Judge для выявления производственных проблем.

• Используйте Opik Agent Optimizer и Opik Guardrails для постоянного улучшения и защиты ваших приложений LLM в производстве.

[!TIP] Если вы ищете функции, которых сегодня нет в Opik, создайте новый Запрос на функцию 🚀

<a id="%EF%B8%8F-opik-server-installation"></a>

🛠️ Установка сервера Opik

Запустите свой сервер Opik за считанные минуты. Выберите вариант, который лучше всего соответствует вашим потребностям:

Вариант 1: Облако Comet.com (самый простой и рекомендуемый)

Получите доступ к Opik мгновенно, без какой-либо настройки. Идеально подходит для быстрого запуска и простого обслуживания.

👉 Создайте бесплатную учетную запись Comet

Вариант 2: Самостоятельное размещение Opik для полного контроля

Разверните Opik в своей среде. Выбирайте между Docker для локальных настроек или Kubernetes для масштабируемости.

Самостоятельный хостинг с Docker Compose (для локальной разработки и тестирования)

Это самый простой способ запустить локальный экземпляр Opik. Обратите внимание на новый скрипт установки ./opik.sh:

В среде Linux или Mac:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

В среде Windows:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

Профили услуг для разработки

Скрипты установки Opik теперь поддерживают профили сервисов для разных сценариев разработки:

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

Используйте параметры --help или --info для устранения проблем. Dockerfiles теперь обеспечивает запуск контейнеров от имени пользователя без полномочий root для повышения безопасности. Когда все будет готово, вы можете посетить localhost:5173 в своем браузере! Подробные инструкции см. в Руководстве по локальному развертыванию.

Самостоятельный хостинг с Kubernetes и Helm (для масштабируемых развертываний)

Для производственных или крупномасштабных локальных развертываний Opik можно установить в кластере Kubernetes с помощью нашей диаграммы Helm. Нажмите на значок, чтобы просмотреть полное Руководство по установке Kubernetes с помощью Helm.

[!IMPORTANT] Изменения в версии 1.7.0: проверьте журнал изменений на наличие важных обновлений и критических изменений.

<a id="-opik-client-sdk"></a>

💻 Клиентский SDK Opik

Opik предоставляет набор клиентских библиотек и REST API для взаимодействия с сервером Opik. Сюда входят SDK для Python, TypeScript и Ruby (через OpenTelemetry), обеспечивающие плавную интеграцию в ваши рабочие процессы. Подробные ссылки на API и SDK см. в Справочной документации по клиенту Opik.

Python SDK: быстрое начало работы

Чтобы начать работу с Python SDK:

Установите пакет:

# install using pip
pip install opik

# or install with uv
uv pip install opik

Настройте SDK Python, выполнив команду opik configure, которая запросит у вас адрес сервера Opik (для автономных экземпляров) или ключ API и рабочую область (для Comet.com):

opik configure

[!TIP] Вы также можете вызвать opik.configure(use_local=True) из своего кода Python, чтобы настроить SDK для запуска на локальной локальной установке, или предоставить ключ API и сведения о рабочей области непосредственно для Comet.com. Дополнительные параметры конфигурации см. в документации Python SDK.

Теперь вы готовы начать регистрацию трассировок с помощью Python SDK.

<a id="-logging-traces-with-integrations"></a>

📝 Регистрация трассировок с помощью интеграций

Самый простой способ регистрировать трассировки — использовать одну из наших прямых интеграций. Opik поддерживает широкий спектр платформ, включая недавние дополнения, такие как Google ADK, Autogen, AG2 и Flowise AI:

[!TIP] Если используемая вами платформа не указана выше, смело откройте вопрос или отправьте запрос на интеграцию.

Если вы не используете ни одну из вышеперечисленных платформ, вы также можете использовать декоратор функции track для регистрации трассировок:

import opik

opik.configure(use_local=True) # Run locally

@opik.track
def my_llm_function(user_question: str) -> str:
    # Your LLM code here

    return "Hello"

[!TIP] Декоратор треков можно использовать в сочетании с любой из наших интеграций, а также для отслеживания вызовов вложенных функций.

<a id="-llm-as-a-judge-metrics"></a>

🧑‍⚖️ LLM как метрика судьи

Python Opik SDK включает в себя ряд показателей LLM в качестве оценочных показателей, которые помогут вам оценить ваше приложение LLM. Подробную информацию об этом можно найти в документации по метрикам.

Чтобы использовать их, просто импортируйте соответствующую метрику и используйте функцию «score»:

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

Opik также включает в себя ряд готовых эвристических показателей, а также возможность создавать свои собственные. Подробную информацию об этом можно найти в документации по метрикам.

<a id="-evaluating-your-llm-application"></a>

🔍 Оценка ваших заявок на получение степени LLM

Opik позволяет вам оценить ваше приложение LLM во время разработки через Datasets и Эксперименты. Панель мониторинга Opik предлагает расширенные диаграммы для экспериментов и улучшенную обработку больших кривых. Вы также можете запускать оценки в рамках своего конвейера CI/CD, используя нашу интеграцию PyTest.

<a id="-star-us-on-github"></a>

⭐ Отметьте нас на GitHub

Если вы найдете Opik полезным, поставьте нам звезду! Ваша поддержка помогает нам расширять наше сообщество и продолжать совершенствовать продукт.

<a id="-contributing"></a>

🤝 Вносим свой вклад

Есть много способов внести свой вклад в Opik:

• Отправьте отчеты об ошибках и запросы функций. – Просмотрите документацию и отправьте запросы на включение, чтобы улучшить ее.
• Говорить или писать об Опике и сообщать нам об этом – Голосование за запросы популярных функций, чтобы выразить свою поддержку.

Чтобы узнать больше о том, как внести свой вклад в Opik, ознакомьтесь с нашими рекомендациями по участию.