범용 웹 추출 — Jina Reader

r.jina.ai/URL 한 줄로 거의 모든 공개 URL을 마크다운으로 변환. Puppeteer 기반 실제 브라우저 렌더링 — JS SPA까지 처리. API 키 불필요. 무료: 분당 500 RPM.

기본 사용

bash

curl -s "https://r.jina.ai/{URL}"

bash

curl -H "Accept: application/json" "https://r.jina.ai/{URL}"

반환: data.{title, description, url, content, metadata, external, usage}

핵심: external.alternate에서 사이트의 RSS URL을 자동 발견 가능.

bash

curl -H "X-Target-Selector: .article-body" "https://r.jina.ai/{URL}"

네비게이션/풋터 제거, 본문만 추출. 커뮤니티 게시판에서 특히 효과적.

bash

curl -H "Accept: text/event-stream" "https://r.jina.ai/{URL}"

JS 로딩 완료까지 대기. 동적 콘텐츠가 완전히 렌더링된 최종 버전 반환.

bash

curl -H "X-Respond-With: screenshot" "https://r.jina.ai/{URL}"

GCS 서명 URL 반환 (4시간 유효). 비주얼 검증 용도.

bash

curl -s "https://r.jina.ai/https://example.com/file.pdf"

PDF → 마크다운 자동 변환. 페이지 수 메타데이터 포함.

bash

curl -H "X-Set-Cookie: session=abc123" "https://r.jina.ai/{URL}"

bash

curl -H "X-With-Links: true" "https://r.jina.ai/{URL}"

bash

# 캐시 우회 (실시간 필요 시)
curl -H "X-No-Cache: true" "https://r.jina.ai/{URL}"

# 캐시 TTL 지정 (초)
curl -H "X-Cache-Tolerance: 600" "https://r.jina.ai/{URL}"

bash

# body.innerText만
curl -H "X-Respond-With: text" "https://r.jina.ai/{URL}"

# 원본 HTML
curl -H "X-Respond-With: html" "https://r.jina.ai/{URL}"

사이트	이유
X/Twitter	402 — Syndication/oEmbed 사용 (twitter.md 참조)
Reddit	차단 — JSON API 사용 (json-api.md 참조)
디시인사이드	빈 본문 반환
에펨코리아	HTTP 430
요즘IT	CloudFront 403
네이버 쇼핑	CAPTCHA
쿠팡	WAF 차단

Jina JSON 모드의 external.alternate에서 사이트의 RSS URL이 자동 노출됨:

bash

curl -H "Accept: application/json" "https://r.jina.ai/{URL}" | \
python3 -c "import sys,json; print(json.load(sys.stdin)['data'].get('external',{}))"