🚀 더 빠르고 간단한 대규모 스크래핑 방법(단 5줄의 코드)을 찾고 계신가요? ScrapeGraphAI.com의 향상된 버전을 확인해보세요! 🚀

🕷️ ScrapeGraphAI: 한 방에 끝내는 웹스크래핑

English | 中文 | 日本語 | 한국어 | Русский | Türkçe | Deutsch | Español | français | Português

ScrapeGraphAI는 웹 사이트와 로컬 문서(XML, HTML, JSON, Markdown 등)에 대한 스크래핑 파이프라인을 만들기 위해 LLM 및 직접 그래프 로직을 사용하는 파이썬 웹스크래핑 라이브러리입니다.

추출하려는 정보를 말하기만 하면 라이브러리가 알아서 처리해 줍니다!

🚀 통합

ScrapeGraphAI는 인기 있는 프레임워크 및 도구와의 원활한 통합을 제공하여 스크래핑 능력을 향상시킵니다. 파이썬이든 Node.js로 개발하든, LLM 프레임워크를 사용하든, 노코드 플랫폼이든 저희의 포괄적인 통합 옵션을 제공합니다.

더 많은 정보는 다음 링크에서 확인할 수 있습니다

통합:

• API: 문서
• SDKs: Python, Node
• LLM 프레임워크: Langchain, Llama Index, Crew.ai, Agno, CamelAI
• 로우코드 프레임워크: Pipedream, Bubble, Zapier, n8n, Dify, Toolhouse
• MCP 서버: 링크

🚀 빠른 설치

Scrapegraph-ai에 대한 참조 페이지는 PyPI의 공식 페이지에서 확인할 수 있습니다: pypi.

pip install scrapegraphai

# 중요 (웹사이트 콘텐츠 가져오기용)
playwright install

참고: 다른 라이브러리와의 충돌을 피하기 위해 라이브러리를 가상 환경에 설치하는 것이 좋습니다 🐱

💻 사용법

웹사이트(또는 로컬 파일)에서 정보를 추출하기 위해 사용할 수 있는 여러 표준 스크래핑 파이프라인이 있습니다.

가장 일반적인 것은 SmartScraperGraph로, 사용자 프롬프트와 소스 URL이 주어진 단일 페이지에서 정보를 추출합니다.

from scrapegraphai.graphs import SmartScraperGraph

# 스크래핑 파이프라인에 대한 구성 정의
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# SmartScraperGraph 인스턴스 생성
smart_scraper_graph = SmartScraperGraph(
    prompt="웹페이지에서 유용한 정보를 추출하세요. 회사가 하는 일에 대한 설명, 창립자 및 소셜 미디어 링크를 포함하세요",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# 파이프라인 실행
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

[!NOTE] OpenAI나 다른 모델들은 LLM 설정만 바꾸면 됩니다!

pythonCopy

graph_config = {
   "llm": {
       "api_key": "YOUR_OPENAI_API_KEY",
       "model": "openai/gpt-4o-mini",
   },
   "verbose": True,
   "headless": False,
}

출력은 다음과 같은 dictionary 형태가 될 것입니다:

{
    "description": "ScrapeGraphAI transforms websites into clean, organized data for AI agents and data analytics. It offers an AI-powered API for effortless and cost-effective data extraction.",
    "founders": [
        {
            "name": "",
            "role": "Founder & Technical Lead",
            "linkedin": "https://www.linkedin.com/in/perinim/"
        },
        {
            "name": "Marco Vinciguerra",
            "role": "Founder & Software Engineer",
            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
        },
        {
            "name": "Lorenzo Padoan",
            "role": "Founder & Product Engineer",
            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
        }
    ],
    "social_media_links": {
        "linkedin": "https://www.linkedin.com/company/101881123",
        "twitter": "https://x.com/scrapegraphai",
        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
    }
}

여러 페이지에서 정보를 추출하거나, Python 스크립트를 생성하거나, 심지어 오디오 파일을 생성하는 데 사용할 수 있는 다른 파이프라인도 있습니다.

각 그래프에는 다중 버전이 있습니다. 이를 통해 LLM을 병렬로 호출할 수 있습니다.

OpenAI, Groq, Azure, Gemini와 같은 API를 통해 다양한 LLM을 사용할 수 있으며, Ollama를 이용한 로컬 모델도 가능합니다.

로컬 모델을 사용하려면 Ollama를 설치하고 ollama pull 명령을 사용하여 모델을 다운로드해야 합니다.

📖 문서

ScrapeGraphAI 관련 문서는 여기에서 확인하실 수 있습니다. Docusaurus도 여기에서 확인해 보세요.

🤝 기여

자유롭게 기여하고 Discord 서버에 참여하여 개선 사항을 논의하고 제안해 주세요!

기여 가이드라인을 참고하세요.

🔗 ScrapeGraph API & SDKs

시스템에 ScrapeGraph를 통합하기 위한 빠른 솔루션을 찾고 있다면, 여기!에서 강력한 API를 확인해 보세요.

Python과 Node.js SDK를 제공하여 프로젝트에 쉽게 통합할 수 있습니다. 아래에서 확인해 보세요.

공식 API 문서는 여기에서 확인할 수 있습니다.

🔥 벤치마크

Firecrawl 벤치마크 Firecrawl benchmark에 따르면, ScrapeGraph는 시장에서 최고의 페처입니다!

📈 텔레메트리

저희는 패키지의 품질과 사용자 경험을 향상시키기 위해 익명의 사용 지표를 수집합니다. 이 데이터는 개선 사항의 우선순위를 정하고 호환성을 보장하는 데 도움이 됩니다. 옵트아웃하려면 환경 변수 SCRAPEGRAPHAI_TELEMETRY_ENABLED=false를 설정하세요. 자세한 내용은 여기에서 설명서를 참조하세요.

❤️ 기여자들

🎓 인용

우리의 라이브러리를 연구 목적으로 사용한 경우 다음과 같이 인용해 주세요:

  @misc{scrapegraph-ai,
    author = {Lorenzo Padoan, Marco Vinciguerra},
    title = {Scrapegraph-ai},
    year = {2024},
    url = {https://github.com/VinciGit00/Scrapegraph-ai},
    note = {대규모 언어 모델을 활용한 스크래핑용 Python 라이브러리}
  }

저자들

📜 라이선스

ScrapeGraphAI는 MIT License로 배포되었습니다. 자세한 내용은 LICENSE 파일을 참조하세요.

감사의 말

• 프로젝트에 기여한 모든 분들과 오픈 소스 커뮤니티에 감사드립니다.
• ScrapeGraphAI는 데이터 탐색 및 연구 목적으로만 사용되어야 합니다. 우리는 라이브러리의 오용에 대해 책임을 지지 않습니다.

Made with ❤️ by ScrapeGraph AI

Scarf tracking