潇湘驭文导读：做SEO搜索引擎优化的人，常常会有这样的疑问：网站是不是一定要放置robots.txt文件？网站不放robots.txt会有什么后果？厦门SEO为你解答。
网站是不是一定要放置robots.txt文件
搜索引擎不会也不可能收录世界上每一个网站的全部页面。当然，也并不是每个网站都希望被搜索引擎收录。虽然一般而言，搜索引擎掌握着一个网站的生杀大权，但网站亦有对搜索引擎颐指气使的力量，这个力量完全来自robots.txt文件。
在搜索引擎的世界里，robots.txt是一个拥有着特殊力量的，非同寻常的纯文本文件——无论是百度搜索引擎，还是谷歌搜索引擎都必须听命于robots.txt文件中的指令。因为它们在访问一个网站时，会首先查找这个网站的根目录下面是否放置了robots.txt文件，然后再根据文件中的指令，决定抓不抓取网站的全部或部分页面。
因为搜索引擎会一厢情愿地抓取一个不存在robots.txt文件网站上的所有页面，所以那些希望网站完全被抓取的站长就干脆不去添加这个文件。厦门SEO认为此举虽然无伤大雅，但为了以防万一，站长最好还是添加一个没有内容，或者包含要求搜索引擎抓取指令的robots.txt文件。
假如你希望自己的网站被搜索引擎完全抓取，可以添加如下指令：
User-agent:*
Disallow:
假如你不希望搜索引擎收录一些目录，可以在robots.txt文件添加如下指令：
User-agent:*
Disallow:/***/ 【***】代表你不希望被收录的目录名，如果有多个目录不希望被收录，则必须另起一行添加。
例如用wordpress程序建设的网站，默认的robots.txt文件的内容均为：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
网站不放robots.txt会有什么后果
既然默认情况下，搜索引擎会抓取所有页面，那么为什么一个希望被搜索引擎抓取全部网页的网站还要在根目录下放置robots.txt呢？不放会有什么后果呢？
厦门SEO的回答：
因为有些网站的服务器设置会有问题，当robots.txt文件不存在时，会返回200状态码以及一些错误信息，而不是返回404状态码，从而导致搜索引擎的误会，对网站造成负面影响。（这种情况极少见，百度建议，若希望蜘蛛完全抓取，网站可以无需创建robots.txt文件）
总结：
若网站允许搜索引擎完全抓取，robots.txt文件可放，可不放。影响微乎其微。
本文由球事一哥潇湘驭文原创，转载需授权并保留本文链接：https://www.wangyuwen.com/archives/144.html
