最新消息:无痕SEO优化博客为嘉兴双鑫网络技术有限公司子站!本公司承接嘉兴网站优化,嘉兴seo优化诊断,嘉兴关键词排名各类SEO外包业务详询咨询QQ:2027298108。

西风SEO:如何极大可能发挥robots.txt的优化作用?

SEO问答 无痕SEO 731浏览

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在 robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。robots.txt文档通常是网站用来控制搜索引擎访问的,换而言之是给搜索引擎蜘蛛看的文本,但是英国《每日邮报》的网站技术人员却相当幽默,他们在robots.txt的最后贴上了招聘信息,要的不是别人,正是SEO人才,也许他们实在太了解这些技术宅了,认为只有看网站连带robots.txt一起看的牛人才真正了解SEO的含义吧。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索引擎蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有页面。

西风SEO

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

语法:最简单的 robots.txt 文件使用两条规则:

User-Agent: 允许访问的搜索引擎蜘蛛。

Disallow: 要拦截的网页robots.txt文件的功能非常有限,它并不能诱使蜘蛛在你的网站上花费更多的时间或者访问更多的页面。但你可以发挥robots.txt文件的作用来对自己的网站进行一定的优化处理。

1.可以屏蔽搜索引擎重复收录网页,有的网站配置了静态规则,同一个网页,可以用静态网址(后缀为html或htm等)又可以用动态网址(网址含有?后缀为asp或php等)打开,如果搜索引擎都把两种不同形式的网址的同一个网页内容收录,搜索引擎可能认为你的网站作弊,给予降权甚至拔毛哦。robot.txt恰好可以解决这个问题。

2.robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:Sitemap: http://www.*.com/sitemap.xml 这个通告对百度有一定的作用。

3.每当一个用户试图访问一个已经不存在的URL时,服务器就会在日志中记录一个404错误(无法找到文件)。每当蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该在网站根目录下添加一个robots.txt文件,哪怕是一个空白的robots文件也好。

4.使蜘蛛程序远离某些服务器上的目录——保证服务器性能。避免将所有程序文件被蜘蛛索引,可以节省服务器资源。

 

转载请注明:【嘉兴SEO】-嘉兴网站优化-无痕SEO技术分享博客 » 西风SEO:如何极大可能发挥robots.txt的优化作用?