# MetaDig (waytometa.cn) robots.txt
# 公开页面欢迎抓取；画布 / 工作区 / 后台 / 编辑器等登录后路径不参与收录。
# GEO 策略：搜索索引、AI 回答引用、模型训练全部放开，曝光优先。
# 页面渲染：爬虫 UA 由 web/nginx.conf 分流到后端 /seo/render，拿到含正文的 HTML。

User-agent: *
Allow: /
Disallow: /admin
Disallow: /console
Disallow: /canvas
Disallow: /projects
Disallow: /join/
Disallow: /testing
Disallow: /cli-auth
Disallow: /referral/
Disallow: /skills/create
Disallow: /skills/*/edit
Disallow: /api/
# Content Signals Policy：允许搜索索引（search）、AI 实时检索与回答引用（ai-input）、模型训练（ai-train）
Content-Signal: search=yes, ai-input=yes, ai-train=yes

# 显式欢迎主流 AI 引擎爬虫（训练爬虫 + 用户提问时的实时抓取）。
# 一个组写多个 User-agent 行是 RFC 9309 允许的；命中专属组后 * 组对该 UA 不再生效，
# 所以私有路径要在这里重复一遍。国内引擎：豆包 Bytespider、文心 Baiduspider、元宝走搜狗，
# Kimi / 秘塔 / 通义没有公开稳定 UA，靠 nginx 的 ai-bots 日志观察后再补。
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: meta-externalagent
User-agent: meta-externalfetcher
User-agent: cohere-ai
User-agent: YouBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Baiduspider
Allow: /
Disallow: /admin
Disallow: /console
Disallow: /canvas
Disallow: /projects
Disallow: /join/
Disallow: /testing
Disallow: /cli-auth
Disallow: /referral/
Disallow: /skills/create
Disallow: /skills/*/edit
Disallow: /api/
Content-Signal: search=yes, ai-input=yes, ai-train=yes

Sitemap: https://waytometa.cn/sitemap.xml