一个网站不是所有的内容都要给搜索引擎看的，
每个网站都有隐私，所以有很多根目录文件什么的都是禁止搜索引擎索引的，
比如admin文件就要屏蔽搜索引擎，没有什么坏处，搜索引擎喜欢高质量的网页内容，将网站内容结构做好，屏蔽哪些低质量的没有用的，对搜索引擎没坏处反而有好处。
搜索引擎蜘蛛不断爬行互联网，如果我们网站没有做出禁止搜索引擎收录的操作，很容易就会被搜索引擎收录 ，禁止搜索引擎收录网站内容方法。
1、设置搜索引擎和网站之间的协议，User-agent:*表示和所有搜索引擎协议适用；Disallow:/表示禁止抓取收录全站。
2、如果只是禁止某一个搜索引擎抓取收录网站的某一个目录，比如要禁止百度抓取收录data目录，则如图设置。
3、保存文件后，把robots.txt文件上传到服务器根目录，即表示搜索引擎和网站之间的协议生效，可以禁止搜索引擎抓取收录网站内容。
