众所周知，爬虫在进行网站页面抓取的过程中，对每个网站分配的爬虫资源量都是天差地别的，这取决于网站本身权重以及站点更新频率，然而每个站点通常都会有着十分庞大的页面构成（单一的营销页面在这里不做讨论）。如何更高效的利用好搜索引擎给每个网站分配的爬虫资源是每个站长分外关注的问题。
在爬虫爬行的方式中，sitemap文件又是极其重要的一种指引方式，一个良好的sitemap文件可以最大化的利用爬虫有限的抓取频次，从而将站点最重要的页面提交给爬虫，从而确保站点内容索引的及时更新。
那么如何对sitemap进行配置呢？开始之前需要先同步一个信息，那就是自从2020年7月开始百度发布公示明确不再支持索引型sitemap文件提交方式。如下图
但如果逐条提交又会十分耗时并且耗费研发资源，因此建议采用目录索引形式。具体配置如下：
1.sitemap文件格式要求如下：
2.具体参数说明：
3.明确页面优先级
需要根据业务需求及页面重要性进行优先级配置，从而保证重要页面能够优先收录更新。
完成上述步骤之后，还需要在robots.txt文件里添加对应的sitemap文件地址即可。
当然，配置完成发布上线后别忘了进行排查，并跟进下站长平台反馈的提交数据。
