 |
|
 |
|
|||||||
|
|||||||
|
我们做SEO的，蜘蛛对于我们来说是相当熟悉的，相信做我们这一行的对于搜索引擎的工作原理更是熟的不能再熟了，我们SEOer都是知道的蜘蛛的带宽资源、时间都不是无限的，也不可能爬完所有页面，实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。由此可见，虽然理论上蜘蛛能爬行和抓取网站所有页面，但是实际上不能、也不会这么做的。SEO人员想要让自己的网站更多页面被收录，那么就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。这就不言而喻了，作为站长的SEOer们面对蜘蛛所要做的就是要引导蜘蛛去抓取自己网站上比较重要的页面和信息，那么哪些页面才能被蜘蛛认为比较重要呢?下面郝晓奇就来和大家一起看看：
1.网站以及页面的权重高低。我们都知道质量高、资格老的网站会被认为权重比较高，像这种网站上的页面被蜘蛛爬行的深度也会比较高，所以自然的会有更多内页被收录。
2.页面更新度。蜘蛛还是比较喜欢那些经常性的更新页面的，也就是我们常说的蜘蛛是比较喜欢“新鲜血液”的。蜘蛛每次爬行都会把页面数据存储起来。如果第二次发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁地访问这种页面，页面上出现的新链接，也自然会被蜘蛛更快地跟踪，抓取新页面。
3.导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。
4.与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁地也是首页。离首页点击距离越近，页面权重越高，被蜘蛛爬行的机会也越大，所以我们可以把自己网站上重要的页面以及信息在建站的同时放到距离首页较近的位置，这样蜘蛛能够很快的爬行与抓取这些页面。
以上是本人总结的几点相信肯定是不全面的，但是对于菜鸟的我也是实属不易了，有什么不当的地方还需各位提出宝贵意见和补充，菜鸟郝晓奇(http://www.canvasworks.cn)撰写，转载望保留。