建站心得

巧用robots文件提升页面抓取率
来源:深圳网软通科技有限公司 日期:2012/3/8 9:41:52

一、认识robots文件

我们知道,robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,什么是不可以被查看的,蜘蛛知道了这些以后,就可以将所有的精力放在被我们允许访问的页面上面,从而将有限的权重集中起来。

同时,我们还不能互略最重要的一点就是,robots.txt是搜索引擎访问网站要查看的第一个文件。明白了这一点,我们就有必要,也可能针对这一条做一些文章。

二、将sitemap.xml写入robots文件

前面提到了,robots.txt文件是搜索引擎中访问网站要查看的第一个文件,那么,如果我们将sitemap.xml(网站地图)文件地址写入 robots.txt文件里面,自然而然会被搜索引擎蜘蛛在第一时间发现,也增大了网站页面被快速抓取和收录的可能性。此种做法,对于新站作用明显,对于 大站更具有积极和现实的作用。

具体写法示例如下:

所以,无论是新站还是老站,为了使得更多的页面被搜索引擎抓取,有必要将sitemap.xml写入robots.txt文件中。

三、Sitemap.xml文件的获取

前面讲了那么多,可能很多人还不是很明白,sitemap.xml文件究竟如何攻取呢?

给大家提供一个工具,也是谷歌官方推荐的sitemap.xml在线生成工具,http://www.xml-sitemaps.com/,大家可 以根据里面的选项选择适合自己网站的sitemap.xml生成样式。生成sitemap.xml后,一般需要将该文件放置在根目录下面即可。

综上,把sitemap.xml地址写入robots.txt文件,从而提升页面抓取率的方式是可行的,也是具有可操作性的。希望可以与更多的朋友就网站推广和优化进行探讨。

深圳网站建设,深圳网站制作,深圳网站设计,深圳网络公司
 

上一篇 妙用三个步... 下一篇 没有了


友情链接
深圳市网页设计
深圳网站建设
深圳市网络公司
深圳网页设计
深圳软件开发
深圳软件公司
深圳市网站建设
深圳市软件公司
深圳网站制作
深圳网络公司
深圳市软件开发公司
深圳市网站制作
域名注册公司
深圳企业邮箱,域名注册,虚拟主机服务商
深圳企业管理软件开发公司
免费网站建设,深圳最便宜网站建设商家
版权所有 © 深圳市网软通科技有限公司 http://www.sznetsoft.com
直线:  +86-0755-83822397 +86-0755-33207200   总机:+86-0755-33207200    传真:+86-0755-81248352
地址: 深圳市福田区车公庙江西大厦(世纪豪庭)9D1-9D2 邮箱:salessznetsoft.com 粤ICP备06067962号
在线支持: