您现在的位置:[首页]电商平台 > 网站公告 > 苦逼站长与robots不得不说的故事

苦逼站长与robots不得不说的故事

发布日期:2014-03-22  阅读次数:3449

小编今天想说的就是一个站长小伙伴们都非常熟悉的东西:robots文件,相信小伙伴们对这个文件都不陌生吧!但是呢合肥网站制作公司小编小编就发现,很多的站长小伙伴都忘记了robots的重要性,robots表示很生气,后果很严重。小编的SEO都是自学的,看到robots文件的问题以后,我就问了一些SEO大 神,robots文件很重要吗?当时,这位大神就对小编语重心长的说:robots可以成就你的网站,也可以毁掉你的网站,所以,robots还是很重要的。小编用下面的小故事来告诉大家robots对站长小伙伴多么的重要,这个故事是发生在别人身边的,但是小编为了叙述方面,就改为第一人称了,小伙伴们 就不要在意这些细节了哈!

  闲话少说,小编来和大家聊聊robots对我们网站的一些影响。在A5站长网群里有一位小伙伴跟小编的关系比较好,有一次,他的网站有上千的收录的,但是到一个下午以后,收录突然变为0了。当时他非常的紧张,因为网站的收录没有了,网站的流量也没有了,幸幸苦苦一个多月的时间,到头来发现都是井中月水中花,看得见摸不到。当时这位小伙伴就很灰心,就跑到A5站长群里聊天,问其他的站长小伙伴是怎么回事,网站被K了啊,怎么办呢!A5站长群的小伙伴们还是很热心的,有很多人帮他检查原因,经过一段时间的 检查以后大家发现了原因,那就是他网站的robots文件屏蔽了百度蜘蛛抓取网站页面。

  现在就有小伙伴想问了:为什么会出现这种情况 呢?原因就在大他在做网站的时候robots文件是完全屏蔽了百度蜘蛛抓取的。相信大家都知道一个事实,就是当你写好了robots文件规则,屏蔽了百度 蜘蛛的时候,发现百度还是会抓取的,道理很简单,百度毕竟不是人,不能做到人一样的智能化,所以百度还是会派蜘蛛来抓取页面的,但是站长小伙伴也别慌,等过段时间以后,百度就会把已经抓取的页面(robots文件屏蔽的)从自己的索引库中删除,百度也会有一个发现的过程,然后改正、纠错。

  这位小伙伴还问了一句话:为什么会去屏蔽百度蜘 蛛啊?因为网站是刚做好的,而且他本人也有学习SEO,所以也知道关于robots文件方面的内容,明白做一个新网站可以暂时屏蔽百度蜘蛛,等网站做好了在提高给百度,并且把robots文件修改下,允许百度抓取。可能最后是他忘记了吧,把这么关键的一步给忘记了,导致他幸幸苦苦做的网站和外链一夜回到解 放前了。不做死就不会死啊,那段时间他真的很痛苦,整个人的情绪也不是很高。

  小编想通过这个小伙伴的经历提醒大家去重视 robots文件这个问题。robots很重要,请不要轻易的忽视了,顺便小编也说说自己做robots文件的一些经验,我记得在网站刚开始的时候,小编 也没有注意robots文件这个东西,觉得这个东西无所谓啦。然后通过一段时间自己摸索,小编发现自己错了,小编开始重视这个问题,然后把网站上一些垃圾 的、不想推的页面和图片全都给屏蔽了,页面主要都是动态的,大家都知道百度喜欢的是静态的页面,如果你的网站是动态的,会造成搜索引擎的多次抓取,给度娘 的态度很不友好,浪费的蜘蛛的时间和资源,你说度娘会对你的网站有所青睐吗?还有图片也是采集其他网站上的,百度会抓取一些原创图片,如果你的网站再次使 用,就会导致百度认为你的网站是抄袭和伪原创的,这导致的后果不用小编在这里啰嗦了吧?

  小编总结:

  说了这么多,小编只是要提醒站长小伙伴重视robots文件,这关系到自己网站的流量,网站要是没有流量了,那么站长小伙伴还做网站干嘛?这也关系到养家糊口嘛,嘿嘿,小编说的有点远了,今天就白话到这吧,我们明天再见!

标签:robots
老张
产品经理微信
司瓦图创始人老张
司瓦图是一家专门做小程序定制开发的公司。一般来说,小程序开发制作费用是根据具体功能来定的。如果您想做小程序又不知道要花多少钱?扫描加微信,安排我们专业产品经理给你详细介绍!