# robots.txt for chakuaidi.top
User-agent: *
Allow: /

# 禁止抓取这些文件和目录
Disallow: /assets/
Disallow: /node_modules/
Disallow: /.well-known/
Disallow: /tools/
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.json$

# 允许抓取重要的静态资源
Allow: /favicon.ico
Allow: /sitemap.xml

# Sitemap位置
Sitemap: https://chakuaidi.top/sitemap.xml

# 针对主要搜索引擎的特殊规则
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: Sogou web spider
Allow: /

# 爬取延迟（秒）
Crawl-delay: 1
