研究seo有几天了，今天在网上看到一篇关于robots.txt的文章，简单的介绍了一下这个文件的功能。现在写一下和大家一起分享。
首先介绍了一下学习robots.txt要弄懂的三个问题：
第一，什么是robots.txt ；
第二是robots.txt都有哪些作用；
第三是如何写robots.txt.
robots.txt的解释：这个文件是必需放在网站根目录下的文件，让搜索引擎的小蜘蛛读取的txt文件，文件名不可以大写，只能以小写字母的方式出现例如：robots.txt
robots.txt的作用：可以控制搜索引擎的收录本站的内容，靠搜索引擎的小蜘蛛哪些目录和文件是可以收录，哪些是不能收录的。
robots.txt如何写：如果你允许任何一个搜索引擎都可以收录你的站点，那么这个文件你可以什么都不用写，保持空就可以了。
如果你想让搜索引擎收录哪些目录可以这样写：
User-agent:*
Disallow:/目录文件名/
如果你想禁止某一个搜索擎引擎的收录的话：
User-agent:Baiduspider /*说明这个是拿百度做实例*/
Disallow: /
参考资料：常见搜索引擎机器人Robots名字
名称 搜索引擎
Baiduspider http://www.baidu.com
Googlebot http://www.google.com
MSNBOT http://search.msn.com
ia_archiver http://www.alexa.com
如果你创建了site.xml地图的话，也可以加入到这个文件里面，这样可以让搜索擎更好地收录你的站点:
加入sitemap.xml路径,例如：
Sitemap: http://www.clseo.com.cn/sitemap.xml 长乐科技SEO版权所有，转载时必须以链接形式注明作者和原始出处及本声明。SEO技术支持