想发外链网
当然,百度对于网站内部的检查非常严格,不会公布site不好用的所有信息。因此,这里我给大家介绍一下site:什么叫site?
site:site: /site:
而且百度官方所说的是:建议网页url被百度抓取时不要读取,如果网站被搜索引擎抓取过,那么site也就被认为是一种垃圾邮件。
site: /site:
这里主要是指把搜索引擎最喜欢的网页复制出来,放到搜索引擎sitemap中的,如果没有收录可以在百度站长工具中查看。
百度site结果页面网址参数如下:
百度site中收录的网页
大家都知道,收录是网页的一个重要的标准。site对于网页优化而言,是非常重要的一个过程,当然,这里要提醒大家的是,不要提交sitemap,可以让百度进行收录。
比如说,网站中的死链接、错误链接,也会被搜索引擎收录。但是,对于robots.txt中的规则,在我们的网站中还是需要注意的。
如果不注意这些问题,就很难做出一个完整的网站优化。
什么是robots.txt?
robots.txt是一个协议文件,用来告诉搜索引擎哪些文件是可以抓取的,哪些文件是不能抓取的。而且,这个文件也有利于网站的收录,当我们遇到不安全的网站的时候,就可以把robots.txt文件中的规则告诉蜘蛛,而搜索引擎爬虫就会对该网站进行访问。
但是,有些站长为了更方便,用一些站长工具,查询网站是否被K或者被降权,就直接把网站robots.txt的规则写进robots文件中,这样搜索引擎就可以清楚地看到,哪些文件是可以抓取的。
而如果我们发现网站中存在的网页被修改了,或者是修改的地方比较隐蔽,那就需要注意了。
比如,网站中存在大量的JS代码、框架、广告等。
当我们浏览网页的时候,就会发现网站中的一些JS文件无法被搜索引擎所读取,从而也会影响到蜘蛛的抓取。
一般来说,我们在浏览网页的时候,并不知道哪些页面是可以被蜘蛛抓取的,也不知道哪些页面是不可以被蜘蛛抓取的,就会导致网站中的网页数量太多,而且蜘蛛爬取的数量也会受到一定的限制,对于这种情况,就可以让网站中的图片文件,自动的去掉。
