网站大致主要有以下两个结构种别。
一、物理结构
物理结构就是网站的目录形式，一般有两种形式，扁平和从属，扁平结构就是所有的页面都在网站的根目录，从属形式就是每个内容页面从属于上级目录，层次比较清楚。在物理结构上，良多人曲解了一句话：“目录越少，蜘蛛越好抓取。”这句话的意思是网站内部的页面临比而言，目录越少，蜘蛛会优先抓取.针对统一个网站而言，蜘蛛会按照从上到下的顺序来抓取，由于搜索引擎的资源是有限的，因此蜘蛛在抓取网页的时候肯定会有一个先后顺序，优先抓取一些目录较少的页面，而目录较深，url参数比较多的会放在最后抓取，由于搜索引擎的资源有限，我们假设一个蜘蛛来一次可以抓取100个页面, ,那么排在后面的一些目录较深的可能抓取不了，这就要求我们要公道铺排网站物理结构，根据页面的重要程度来铺排结构，而把所有页面都放在根目录下，看似减少了目录层次，实在就网站内部而言，所有的页面就都没区别了，由于所有的页面都在统一个目录下，对蜘蛛而言，已经没有了任何区别，一些小网站可以这样铺排，但是对于中大型网站这样做显然是不公道的，那么多页面都放在根目录，治理上太麻烦了，而且也没必要这样做。
二、URL层次结构
其什物理结构目前对于抓取意义已经不大，URL层次结构就显得比较重要了，大家都知道一个网站的页面最多从首页点击四次要能看到，多了蜘蛛就很难抓取了，一般的中小网站都没必要考虑这一点，由于中小网站一般的页面你不管怎么做，点击四次也足够了。而对于中大型网站来说，因为栏目太多，而且栏目下还有子栏目，下面可能还有子栏目，每个栏目的页面可能也非常多，这个时候就需要把内链做好，内链主要说下内容页的链接分布，
1、链接到首页和顶级栏目的导航
2、链接到上级栏目
3、面包屑导航
3、链接到相关内容
4、随机链接当前栏目的其他内容
对于中型网站来说，内容页做到这几点，一般蜘蛛的抓取都不成题目了。