做SEO优化的朋友都知道，搜索引擎蜘蛛是拟人化的算法而已。算法就是按部就班的执行事先设计的抓取策略，所以良好的网站结构具备引导、分配权重、提高抓取效率等作用，只有内部框架搭建好之后，内容的布局才能井然有序，蜘蛛才能有序爬行。

一、逻辑上全站爬行

1.网站结构优化

网站物理结构，即基于内容聚合的目录及文件位置决定的结构。目前的主流思维就是网站扁平化设计，即平行结构。如： 列表目录扁平化设计。

其主要实现方式有： 第一种，简单的上下页操作 ;第二种，在第一种的基础上增加页面的选择性; 第三种，目前主流的列表页设计方式，交流性比较合理。

首页的扁平化设计，首页一般是权重的最高页面，也是蜘蛛最先访问的页面。所以在首页链接对于页面的重要性有一定影响，但往往一个网站的页面成千上万，首页的链接数理论上维持一百到一百五是合理的，所以将想要频道页、详细页在首页留下链接，实现逻辑上首页扁平化设计。同样适用频道页等聚合属性的页面。

那么问题来了，面对数量巨大页面，如何保证都可以实现被爬行抓取? 树形结构的辅助，就是为了解决，扁平化带来的不足，在导航栏、面包屑导航等设计页面层级思维，辅助蜘蛛对网站结构的理解。

总体上扁平化加树形结构才是合理的网站结构优化策略组合。

2.链接结构优化

两种蜘蛛抓取不到的页面：网站本身不希望被收录的页面;没有链接到达的页面，即孤岛页面。对于没有被首页推荐的页面，可以再内链上补充。合理的内链就是一个四通八达、井然有序的交通系统，蜘蛛就是来往的车辆。社会化、描文本、设置链接入口等。

二、重要性的主导

对于搜索引擎来说，什么样的页面会被认为更重要?有这么一句话：每个链接都是一个投票，意思是：页面的所有链接都是投票。在搜索引擎看来：获得更多内部投票的网页相对来说更加重要。

三、网页的标签：关键词

搜索引擎在分析页面的内容是优先从标题入手;之后就是关键词和描述，最后是标签。