你好，我是家禾。
今天聊一个特别基础但特别重要的话题——robots.txt和sitemap.xml的配置。
为什么说要重视这个？因为我见过太多网站，内容做得很好，关键词布局也没问题，但就是因为robots.txt配置错误，导致搜索引擎爬虫根本抓不到核心页面。这就好比你开了一家很棒的餐厅，但把大门锁上了，客人进不来。
robots.txt的正确写法
robots.txt文件放在网站根目录下，就是一个纯文本文件。它的基本语法很简单：
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /tag/
Sitemap: https://www.example.com/sitemap.xml逐行解释一下：User-agent: *表示这个规则对所有搜索引擎爬虫生效。Allow: /表示默认允许抓取所有页面。后面的Disallow行是不允许抓取的路径。最后一行告诉爬虫你的sitemap在哪里。
这些Disallow陷阱千万别踩
陷阱一：Disallow了整站。有人写Disallow: /，这等于把所有页面都屏蔽了，搜索引擎什么都抓不到。这种错误一般是因为不懂语法，想测试robots.txt的时候忘记改回来了。
陷阱二：屏蔽了CSS和JS文件。有些老教程会建议屏蔽静态资源文件，但Google从2014年开始就能渲染页面了，如果屏蔽了CSS和JS，Google看到的是个没有样式的”裸奔”页面，可能判定你的网站质量很低。
陷阱三：Disallow了带参数的URL。比如你写Disallow: /*?*，确实能屏蔽所有带参数的URL，但有些参数是必要的，比如分页参数?page=2。需要具体分析哪些参数页面需要被收录。
XML Sitemap的生成和优化
sitemap.xml就是告诉搜索引擎你的网站有哪些页面，每个页面的重要程度和更新频率。一个标准的sitemap.xml长这样：
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/</loc>
<lastmod>2026-08-10</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://www.example.com/about</loc>
<lastmod>2026-08-08</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>几个关键点：lastmod一定要写真实的最后修改日期，不要随便写个当前日期糊弄搜索引擎；priority不要所有页面都写1.0，那样等于没写；一个sitemap文件里的URL不要超过5万个，超过了要做成分站地图。
向百度和Google提交Sitemap
生成好sitemap之后，需要主动提交给搜索引擎：
百度搜索资源平台：登录 ziyuan.baidu.com，在”普通收录”里提交sitemap链接。百度会定期抓取，但不是实时的，通常1-3天开始处理。
Google Search Console：在”站点地图”部分输入你的sitemap URL，Google处理速度通常比百度快，一般24小时内就会开始抓取。
在robots.txt中声明：别忘了在robots.txt最后加上Sitemap:那一行，这样所有遵循robots协议的爬虫都能找到你的sitemap。
定期检查和维护
sitemap不是一劳永逸的。我一般建议每周检查一次：有没有新增页面没有被收录？有没有已删除的页面还在sitemap里？有没有返回404或500的URL？
可以用Screaming Frog这类工具爬一遍你的sitemap，检查所有URL的状态码。如果有大量非200状态的URL，及时从sitemap中移除。
如果你对企业网站的SEO基础设施配置不太确定，建议找专业团队来做。北遇建站（cv98.cn）在SEO技术优化方面有一套完整的流程，从robots.txt到sitemap再到结构化数据，每个环节都会检查到位，确保搜索引擎能高效抓取和收录你的网站内容。
robots.txt和sitemap.xml虽然是”幕后”工作，但它们是SEO优化的地基。地基打不好，上面再好的内容也发挥不出效果。
原创文章，作者：家禾，如若转载，请注明出处：https://www.duanjiahe.com/2372.html
