User-agent: *
Allow: /

# 允许访问中文内容
Allow: /category/
Allow: /tag/
Allow: /search
Allow: /sitemap-html
Allow: /privacy
Allow: /terms
Allow: /tools/

# 允许访问英文内容
Allow: /en/
Allow: /en/category/
Allow: /en/tag/
Allow: /en/search
Allow: /en/sitemap-html
Allow: /en/privacy
Allow: /en/terms
Allow: /en/tools/

# 允许访问静态资源
Allow: /static/

# 允许访问RSS和Feed
Allow: /feed
Allow: /atom

# 禁止访问管理后台
Disallow: /admin/

# 禁止访问API接口
Disallow: /api/

# 禁止访问上传目录的直接浏览
Disallow: /uploads/

# 禁止访问配置文件和源码
Disallow: /config/
Disallow: /src/
Disallow: /database/
Disallow: /storage/
Disallow: /vendor/
Disallow: /.git/
Disallow: /.env

# 网站地图
Sitemap: https://www.niuseng.com/sitemap.xml

# 英文站点地图
Sitemap: https://www.niuseng.com/en/sitemap.xml

# RSS订阅源
# RSS: https://www.niuseng.com/feed
# Atom: https://www.niuseng.com/atom

# 爬虫访问频率限制
Crawl-delay: 1