share-scraper:AI 分享页 - 爬取存档
新增全局 Agent Skill ~/.claude/skills/share-scraper/,把 AI 助手的公开分享页(Claude / ChatGPT 分享链接)抓取成干净 Markdown,用于存档、转笔记或二次处理。
2026-08-01
新增全局 Agent Skill ~/.claude/skills/share-scraper/,把 AI 助手的公开分享页(Claude / ChatGPT 分享链接)抓取成干净 Markdown,用于存档、转笔记或二次处理。
能力
- 已跑通 Claude 分享页(
claude.ai/share/<uuid>)与 ChatGPT 分享页(chatgpt.com/share/...) - 基于 Python + Playwright,直接用本机 Google Chrome(
channel="chrome",真实指纹,比 Playwright 自带 Chromium 更抗反爬) - DOM 抽取规则、已知反爬陷阱(Cloudflare Turnstile)与手动过一次的方案均已写入 SKILL.md
结构
~/.claude/skills/share-scraper/:
SKILL.md:适用场景、前置条件、调用方式、DOM 抽取规则、已知坑scraper.py:主爬取脚本sites.py:站点适配(Claude / ChatGPT)stealth.py:浏览器反检测辅助markdown_export.py:导出 Markdownrequirements.txt:仅需playwright,无需playwright-stealth
说明
- 前置条件:本机已装 Google Chrome;不执行
playwright install chromium(默认源在大陆极慢/超时),直接用系统 Chrome - 无 Chrome 环境可设
--channel ""并走 npmmirror 镜像安装 - 不适用:需登录态页面、非分享页会话 URL、实时对话