抓取权限

网站robots.txt怎么写才正确？本文详解robots.txt的User-agent、Disallow、Allow、Sitemap语法规则，讲清该屏蔽后台路径、搜索参数页和重复页面，以及千万别误封资源文件的注意事项，