readme_HI.md
<div align="center"><b><a href="README.md">English</a> | <a href="readme_CN.md">简体中文</a> | <a href="readme_JP.md">日本語</a> | <a href="readme_PT_BR.md">Português (Brasil)</a> | <a href="readme_KO.md">한국어</a> <a href="readme_ES.md">Español</a> | <a href="readme_FR.md">Français</a> | <a href="readme_DE.md">Deutsch</a> | <a href="readme_RU.md">Русский</a> | <a href="readme_AR.md">العربية</a> | <a href="readme_HI.md">हिन्दी</a> | <a href="readme_TR.md">Türkçe</a></b></div> <h1 align="center" style="border-bottom: none"> <div> <a href="https://www.comet.com/site/products/opik/?from=llm&utm_source=opik&utm_medium=github&utm_content=header_img&utm_campaign=opik"><picture> <source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/comet-ml/opik/refs/heads/main/apps/opik-documentation/documentation/static/img/logo-dark-mode.svg"> <source media="(prefers-color-scheme: light)" srcset="https://raw.githubusercontent.com/comet-ml/opik/refs/heads/main/apps/opik-documentation/documentation/static/img/opik-logo.svg">नोट: यह फ़ाइल मशीन द्वारा अनुवादित की गई है। अनुवाद में सुधार के लिए आपका स्वागत है!
</picture></a>
ओपिक
</div> </h1> <h2 align="center" style="border-bottom: none">ओपन-सोर्स एआई अवलोकन, मूल्यांकन और अनुकूलन</h2> <p align="center"> ओपिक आपको जेनरेटिव एआई एप्लिकेशन बनाने, परीक्षण करने और अनुकूलित करने में मदद करता है जो प्रोटोटाइप से उत्पादन तक बेहतर ढंग से चलता है। आरएजी चैटबॉट्स से लेकर कोड असिस्टेंट से लेकर जटिल एजेंटिक सिस्टम तक, ओपिक एआई विकास से अनुमान लगाने के लिए व्यापक ट्रेसिंग, मूल्यांकन और स्वचालित प्रॉम्प्ट और टूल अनुकूलन प्रदान करता है। </p> <div align="center"> <!-- [](https://colab.research.google.com/github/comet-ml/opik/blob/main/apps/opik-documentation/documentation/docs/cookbook/opik_quickstart.ipynb) --> </div> <p align="center"> <a href='https://www.comet.com/site/products/opik/?from=llm&utm_source=opik&utm_medium=github&utm_content=website_button&utm_campaign=opik'><b>वेबसाइट</b></a> • <a href='https://chat.comet.com'><b>स्लैक कम्युनिटी</b></a> • <a href='https://x.com/Cometml'><b>ट्विटर</b></a> • <a href='https://www.comet.com/docs/opik/changelog'><b>Changelog</b></a> • <a href='https://www.comet.com/docs/opik/?from=llm&utm_source=opik&utm_medium=github&utm_content=docs_button&utm_campaign=opik'><b>दस्तावेज़ीकरण</b></a> </p> <div align="center" style="margin-top: 1em; margin-bottom: 1em;"> <a href='#-what-is-opik'>🚀 Opik क्या है?</a> • <a href='#%EF%B8%8F-opik-server-installation'>🛠️ Opik सर्वर इंस्टालेशन</a> • <a href='#-opik-client-sdk'>💻 Opik क्लाइंट SDK</a> • <a href='#-लॉगिंग-ट्रेस-विथ-इंटीग्रेशन'>📝 लॉगिंग ट्रेस</a><a href='#-llm-as-a-judge-metrics'>🧑⚖️ जज के रूप में LLM</a> • <a href='#-evaluating-your-llm-application'>🔍 आपके आवेदन का मूल्यांकन</a> • <a href='#-star-us-on-github'>⭐ स्टार अस</a> • <a href='#-contributing'>🤝 योगदान</a>
</div><a id="-what-is-opik"></a>
ओपिक (Comet द्वारा निर्मित) एक ओपन-सोर्स प्लेटफ़ॉर्म है जिसे एलएलएम अनुप्रयोगों के संपूर्ण जीवनचक्र को सुव्यवस्थित करने के लिए डिज़ाइन किया गया है। यह डेवलपर्स को अपने मॉडल और एजेंटिक सिस्टम का मूल्यांकन, परीक्षण, निगरानी और अनुकूलन करने का अधिकार देता है। प्रमुख पेशकशों में शामिल हैं:
प्रमुख क्षमताओं में शामिल हैं:
विकास एवं अनुरेखण:
विकास और उत्पादन के दौरान विस्तृत संदर्भ के साथ सभी एलएलएम कॉल और ट्रेस को ट्रैक करें (क्विकस्टार्ट)।
आसान अवलोकन के लिए व्यापक तृतीय-पक्ष एकीकरण: फ्रेमवर्क की बढ़ती सूची के साथ निर्बाध रूप से एकीकृत, कई सबसे बड़े और सबसे लोकप्रिय लोगों को मूल रूप से समर्थन (Google ADK, ऑटोजेन, और फ्लोवाइज एआई जैसे हालिया परिवर्धन सहित)। (एकीकरण)
पायथन के माध्यम से फीडबैक स्कोर के साथ निशान और विस्तार को एनोटेट करें SDK या यूआई।
प्रॉम्प्ट प्लेग्राउंड में संकेतों और मॉडलों के साथ प्रयोग करें।
मूल्यांकन एवं परीक्षण:
डेटासेट के साथ अपने एलएलएम एप्लिकेशन मूल्यांकन को स्वचालित करें और प्रयोग।
मतिभ्रम का पता लगाने जैसे जटिल कार्यों के लिए शक्तिशाली एलएलएम-ए-जज मेट्रिक्स का लाभ उठाएं। संयम, और RAG मूल्यांकन (उत्तर प्रासंगिकता, संदर्भ परिशुद्धता)।
हमारे PyTest एकीकरण के साथ अपने CI/CD पाइपलाइन में मूल्यांकन को एकीकृत करें।
उत्पादन निगरानी एवं अनुकूलन:
उत्पादन निशानों की उच्च मात्रा लॉग करें: ओपिक को स्केल (40M+ निशान/दिन) के लिए डिज़ाइन किया गया है।
ओपिक डैशबोर्ड में समय के साथ फीडबैक स्कोर, ट्रेस काउंट और टोकन उपयोग की निगरानी करें।
उत्पादन समस्याओं की पहचान करने के लिए एलएलएम-ए-जज मेट्रिक्स के साथ ऑनलाइन मूल्यांकन नियम का उपयोग करें।
उत्पादन में अपने एलएलएम अनुप्रयोगों को लगातार बेहतर बनाने और सुरक्षित करने के लिए ओपिक एजेंट ऑप्टिमाइज़र और ओपिक रेलिंग का लाभ उठाएं।
[!TIP] यदि आप उन सुविधाओं की तलाश कर रहे हैं जो ओपिक के पास आज नहीं हैं, तो कृपया एक नया सुविधा अनुरोध करें 🚀
<a id="%EF%B8%8F-opik-server-installation"></a>
अपने ओपिक सर्वर को मिनटों में चालू करें। वह विकल्प चुनें जो आपकी आवश्यकताओं के लिए सबसे उपयुक्त हो:
बिना किसी सेटअप के तुरंत ओपिक तक पहुंचें। त्वरित शुरुआत और परेशानी मुक्त रखरखाव के लिए आदर्श।
👉 अपना निःशुल्क धूमकेतु खाता बनाएं
ओपिक को अपने परिवेश में तैनात करें। स्थानीय सेटअप के लिए डॉकर या स्केलेबिलिटी के लिए कुबेरनेट्स में से चुनें।
स्थानीय ओपिक इंस्टेंस को चलाने का यह सबसे सरल तरीका है। नई ./opik.sh इंस्टॉलेशन स्क्रिप्ट पर ध्यान दें:
Linux या Mac वातावरण पर:
# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git
# Navigate to the repository
cd opik
# Start the Opik platform
./opik.sh
विंडोज़ परिवेश पर:
# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git
# Navigate to the repository
cd opik
# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"
विकास के लिए सेवा प्रोफ़ाइल
ओपिक इंस्टॉलेशन स्क्रिप्ट अब विभिन्न विकास परिदृश्यों के लिए सेवा प्रोफाइल का समर्थन करती है:
# Start full Opik suite (default behavior)
./opik.sh
# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra
# Start infrastructure + backend services
./opik.sh --backend
# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend
समस्याओं के निवारण के लिए --help या --info विकल्पों का उपयोग करें। Dockerfiles अब बेहतर सुरक्षा के लिए कंटेनरों को गैर-रूट उपयोगकर्ताओं के रूप में चलाना सुनिश्चित करती है। एक बार सब ठीक हो जाए और चलने लगे, तो अब आप अपने ब्राउज़र पर localhost:5173 पर जा सकते हैं! विस्तृत निर्देशों के लिए, स्थानीय परिनियोजन मार्गदर्शिका देखें।
उत्पादन या बड़े पैमाने पर स्व-होस्ट की गई तैनाती के लिए, ओपिक को हमारे हेल्म चार्ट का उपयोग करके कुबेरनेट्स क्लस्टर पर स्थापित किया जा सकता है। संपूर्ण हेल्म का उपयोग करके कुबेरनेट्स इंस्टालेशन गाइड के लिए बैज पर क्लिक करें।
[!IMPORTANT] संस्करण 1.7.0 परिवर्तन: कृपया महत्वपूर्ण अपडेट और महत्वपूर्ण परिवर्तनों के लिए चेंजलॉग देखें।
<a id="-opik-client-sdk"></a>
Opik, Opik सर्वर के साथ इंटरैक्ट करने के लिए क्लाइंट लाइब्रेरीज़ का एक सूट और एक REST API प्रदान करता है। इसमें पायथन, टाइपस्क्रिप्ट और रूबी (ओपनटेलीमेट्री के माध्यम से) के लिए एसडीके शामिल हैं, जो आपके वर्कफ़्लो में निर्बाध एकीकरण की अनुमति देते हैं। विस्तृत एपीआई और एसडीके संदर्भों के लिए, ओपिक क्लाइंट रेफरेंस डॉक्यूमेंटेशन देखें।
पायथन एसडीके के साथ आरंभ करने के लिए:
पैकेज स्थापित करें:
# install using pip
pip install opik
# or install with uv
uv pip install opik
ओपिक कॉन्फिगर कमांड चलाकर पायथन एसडीके को कॉन्फ़िगर करें, जो आपको आपके ओपिक सर्वर पते (स्वयं-होस्ट किए गए उदाहरणों के लिए) या आपकी एपीआई कुंजी और कार्यक्षेत्र (Comet.com के लिए) के लिए संकेत देगा:
opik configure
[!TIP] आप एसडीके को स्थानीय स्व-होस्ट किए गए इंस्टॉलेशन पर चलाने के लिए कॉन्फ़िगर करने के लिए अपने पायथन कोड से
opik.configure(use_local=True)पर भी कॉल कर सकते हैं, या Comet.com के लिए सीधे एपीआई कुंजी और कार्यक्षेत्र विवरण प्रदान कर सकते हैं। अधिक कॉन्फ़िगरेशन विकल्पों के लिए पायथन एसडीके दस्तावेज़ देखें।
अब आप पायथन एसडीके का उपयोग करके ट्रेस लॉगिंग शुरू करने के लिए तैयार हैं।
<a id="-लॉगिंग-ट्रेस-विथ-इंटीग्रेशन"></a>
निशानों को लॉग करने का सबसे आसान तरीका हमारे प्रत्यक्ष एकीकरणों में से किसी एक का उपयोग करना है। ओपिक फ्रेमवर्क की एक विस्तृत श्रृंखला का समर्थन करता है, जिसमें Google ADK, ऑटोजेन, AG2, और फ्लोवाइज AI जैसे हालिया परिवर्धन शामिल हैं:
| एकीकरण | विवरण | दस्तावेज़ीकरण |
|---|---|---|
| एडीके | Google एजेंट डेवलपमेंट किट (ADK) के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| एजी2 | AG2 LLM कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| AIsuite | ऐसुइट एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| अगनो | एग्नो एजेंट ऑर्केस्ट्रेशन फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| मानवशास्त्रीय | एंथ्रोपिक एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ऑटोजेन | ऑटोजेन एजेंटिक वर्कफ़्लोज़ के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| आधारशिला | अमेज़ॅन बेडरॉक एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| BeeAI (पायथन) | बीएआई पायथन एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| BeeAI (टाइपस्क्रिप्ट) | बीएआई टाइपस्क्रिप्ट एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| बाइटप्लस | बाइटप्लस एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| क्लाउडफ्लेयर वर्कर्स एआई | क्लाउडफ्लेयर वर्कर्स एआई कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| सहभागी | कोहेयर एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| क्रूएआई | CrewAI कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| कर्सर | कर्सर वार्तालापों के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| डीपसीक | डीपसीक एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| दिफाई | Dify एजेंट रन के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| डीएसपीवाई | DSPy रन के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| आतिशबाजी एआई | फायरवर्क्स एआई एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| फ़्लोवाइज एआई | फ़्लोवाइज एआई विज़ुअल एलएलएम बिल्डर के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| मिथुन (पायथन) | Google जेमिनी एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| मिथुन (टाइपस्क्रिप्ट) | Google जेमिनी टाइपस्क्रिप्ट SDK कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ग्रोक | ग्रोक एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| रेलिंग | रेलिंग एआई सत्यापन के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| हेस्टैक | हेस्टैक कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| हार्बर | हार्बर बेंचमार्क मूल्यांकन परीक्षणों के लिए लॉग निशान | दस्तावेज़ीकरण |
| प्रशिक्षक | प्रशिक्षक के साथ की गई एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लैंगचेन (पायथन) | लैंगचेन एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लैंगचेन (जेएस/टीएस) | लैंगचेन जावास्क्रिप्ट/टाइपस्क्रिप्ट कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लैंगग्राफ | लैंगग्राफ निष्पादन के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लैंगफ्लो | लैंगफ़्लो विज़ुअल एआई बिल्डर के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लाइटएलएलएम | लाइटएलएलएम मॉडल कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लाइवकिट एजेंट | लाइवकिट एजेंट्स एआई एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| लामाइंडेक्स | LlamaIndex LLM कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| मस्तरा | मास्ट्रा एआई वर्कफ़्लो फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| माइक्रोसॉफ्ट एजेंट फ्रेमवर्क (पायथन) | माइक्रोसॉफ्ट एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| माइक्रोसॉफ्ट एजेंट फ्रेमवर्क (.NET) | Microsoft एजेंट फ़्रेमवर्क .NET कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| मिस्ट्रल एआई | मिस्ट्रल एआई एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| n8n | n8n वर्कफ़्लो निष्पादन के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| नोविता एआई | नोविता एआई एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओलामा | ओलामा एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओपनएआई (पायथन) | OpenAI LLM कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओपनएआई (जेएस/टीएस) | OpenAI जावास्क्रिप्ट/टाइपस्क्रिप्ट कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओपनएआई एजेंट | OpenAI एजेंट SDK कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| OpenClaw | OpenClaw एजेंट रन के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओपनराउटर | ओपनराउटर एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओपनटेलीमेट्री | ओपनटेलीमेट्री समर्थित कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| ओपनवेबयूआई | OpenWebUI वार्तालापों के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| पाइपकैट | पिपेकैट रीयल-टाइम वॉयस एजेंट कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| प्रीडिबेस | प्रीडिबेस एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| पाइडेंटिक एआई | PydanticAI एजेंट कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| राग | रागों के मूल्यांकन के लिए लॉग निशान | दस्तावेज़ीकरण |
| सिमेंटिक कर्नेल | माइक्रोसॉफ्ट सिमेंटिक कर्नेल कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| स्मोलएजेंट्स | स्मोलएजेंट एजेंटों के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| स्प्रिंग एआई | स्प्रिंग एआई फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| स्ट्रैंड्स एजेंट | स्ट्रैंड्स एजेंटों की कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| एक साथ एआई | टुगेदर एआई एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| वर्सेल एआई एसडीके | वर्सेल एआई एसडीके कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| वोल्टएजेंट | VoltAgent एजेंट फ्रेमवर्क कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| वॉटसनएक्स | आईबीएम वाटसनएक्स एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
| xAI ग्रोक | xAI ग्रोक एलएलएम कॉल के लिए लॉग ट्रेस | दस्तावेज़ीकरण |
[!TIP] यदि आप जिस ढांचे का उपयोग कर रहे हैं वह ऊपर सूचीबद्ध नहीं है, तो बेझिझक एक मुद्दा खोलें या एकीकरण के साथ एक पीआर सबमिट करें।
यदि आप उपरोक्त किसी भी फ्रेमवर्क का उपयोग नहीं कर रहे हैं, तो आप 'ट्रैक' फ़ंक्शन डेकोरेटर का उपयोग लॉग ट्रेस पर भी कर सकते हैं:
import opik
opik.configure(use_local=True) # Run locally
@opik.track
def my_llm_function(user_question: str) -> str:
# Your LLM code here
return "Hello"
[!TIP] ट्रैक डेकोरेटर का उपयोग हमारे किसी भी एकीकरण के साथ किया जा सकता है और इसका उपयोग नेस्टेड फ़ंक्शन कॉल को ट्रैक करने के लिए भी किया जा सकता है।
<a id="-llm-as-a-judge-metrics"></a>
पायथन ओपिक एसडीके में आपके एलएलएम एप्लिकेशन का मूल्यांकन करने में मदद करने के लिए जज मेट्रिक्स के रूप में कई एलएलएम शामिल हैं। इसके बारे में मेट्रिक्स दस्तावेज़ में और जानें।
उनका उपयोग करने के लिए, बस प्रासंगिक मीट्रिक आयात करें और `स्कोर' फ़ंक्शन का उपयोग करें:
from opik.evaluation.metrics import Hallucination
metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)
ओपिक में कई पूर्व-निर्मित अनुमानी मेट्रिक्स के साथ-साथ अपना स्वयं का निर्माण करने की क्षमता भी शामिल है। मेट्रिक्स दस्तावेज़ीकरण में इसके बारे में और जानें।
<a id="-evaluating-your-llm-application"></a>
ओपिक आपको डेटासेट के माध्यम से विकास के दौरान अपने एलएलएम एप्लिकेशन का मूल्यांकन करने की अनुमति देता है। प्रयोग। ओपिक डैशबोर्ड प्रयोगों और बड़े निशानों के बेहतर प्रबंधन के लिए उन्नत चार्ट प्रदान करता है। आप हमारे PyTest एकीकरण का उपयोग करके अपने CI/CD पाइपलाइन के हिस्से के रूप में भी मूल्यांकन चला सकते हैं।
<a id="-star-us-on-github"></a>
यदि आपको ओपिक उपयोगी लगता है, तो कृपया हमें एक स्टार देने पर विचार करें! आपका समर्थन हमें अपने समुदाय को बढ़ाने और उत्पाद में सुधार जारी रखने में मदद करता है।
<a id="-contributing"></a>
ओपिक में योगदान करने के कई तरीके हैं:
ओपिक में योगदान करने के तरीके के बारे में अधिक जानने के लिए, कृपया हमारे योगदान दिशानिर्देश देखें।