.txt分析：
一、robots.txt 完整源码（可直接使用）
# Robots.txt 专业配置｜资讯/文章发表网站专用 # 适配：百度、搜狗、头条、谷歌、必应、360 全平台爬虫 # 遵循：Robots Exclusion Protocol 官方标准 # 功能：保护后台/隐私数据、精准收录文章、规避重复页面、优化爬虫抓取效率 # ===================== 全局通用规则（所有搜索引擎爬虫）===================== User-agent: * # 全局允许抓取网站公开内容 Allow: / # 禁止抓取：网站后台管理目录（核心防护，杜绝后台泄露） Disallow: /admin/ Disallow: /backend/ Disallow: /manage/ Disallow: /system/ # 禁止抓取：用户隐私、个人中心、会员相关页面 Disallow: /user/ Disallow: /member/ Disallow: /profile/ Disallow: /personal/ # 禁止抓取：登录、注册、找回密码、验证页面（无收录价值） Disallow: /login/ Disallow: /register/ Disallow: /password/ Disallow: /verify/ # 禁止抓取：临时缓存、草稿、测试页面（避免无效收录） Disallow: /cache/ Disallow: /temp/ Disallow: /test/ Disallow: /draft/ # 禁止抓取：数据接口、动态请求地址（防止爬虫抓取接口数据） Disallow: /api/ Disallow: /ajax/ Disallow: /interface/ # 禁止抓取：文件下载、附件、模板资源页面 Disallow: /template/ Disallow: /upload/ Disallow: /attachment/ # 禁止抓取：搜索结果页、标签列表页（规避SEO重复内容惩罚） Disallow: /search/ Disallow: /tag/ Disallow: /keyword/ # ===================== 主流搜索引擎专属优化规则 ===================== # 百度爬虫（国内核心收录爬虫） User-agent: Baiduspider Allow: / Crawl-delay: 1 # 头条/抖音爬虫（适配自媒体、资讯发表站点） User-agent: Bytespider Allow: / Crawl-delay: 1 # 搜狗爬虫 User-agent: Sogouspider Allow: / Crawl-delay: 1 # 360爬虫 User-agent: 360spider Allow: / Crawl-delay: 1 # 谷歌爬虫（海外收录） User-agent: Googlebot Allow: / Crawl-delay: 1 # 必应爬虫 User-agent: Bingbot Allow: / Crawl-delay: 1 # ===================== 站点地图配置（核心SEO）===================== # 请替换为你网站真实的 sitemap 地址，多地图可多行添加 Sitemap: https://www.你的域名.com/sitemap.xml Sitemap: https://www.你的域名.com/sitemap_article.xml
二、文件部署规范（必须严格遵守）
1. 文件命名：必须为纯小写 robots.txt，无任何大写、空格、后缀错误。
2. 存放路径：必须放置在网站根目录，可通过 域名/robots.txt 直接访问，子目录无效。
3. 编码格式：UTF-8 无BOM格式、纯ASCII文本，禁止带特殊符号、富文本格式。
4. 生效时效：上传后1-7天搜索引擎自动抓取生效，可在百度搜索资源平台、Google Search Console 手动提交更新。
三、核心配置说明（适配文章发表网站）
1. 收录优先级：全局开放首页、文章详情页、栏目页收录，保障发表的文章正常被搜索引擎抓取。
2. 风险规避：彻底屏蔽后台、用户隐私、接口、测试页面，防止敏感数据暴露，同时避免无效页面占用爬虫配额。
3. 防重复收录：屏蔽搜索页、标签页，解决文章站点常见的重复内容SEO问题，提升核心页面权重。
4. 爬虫限速：设置1秒抓取间隔，避免爬虫高频访问导致服务器卡顿，适配中小型发表网站服务器配置。
四、自定义修改指南
1. 将源码中 https://www.你的域名.com 替换为网站真实域名。
2. 若网站无对应目录（如无 /member/、/api/），可直接删除对应 Disallow 规则，不影响整体使用。
3. 若需要屏蔽特定文章栏目，可新增一行 Disallow: /栏目目录/。
4. 网站无多站点地图时，保留一条主 sitemap 即可。
五、校验方式
上传完成后，可使用 https://www.litchi.info/tool/ 校验工具、百度搜索资源平台校验功能检测语法错误，确保配置100%合规生效。