一般来说,网站的首页和分类页面收录不会有什么问题,除非主导航系统有严重的蜘蛛陷阱,或者网站已经被惩罚。大部分网站在结构方面面对的挑战,是使更多最终产品页面被收录,就算尽量把网站结构扁平化,当产品数量巨大时,实际上已经不太可能足够扁平,在这种情况下要让产品页面被收录,有两种方法,一种是多入口,二是单一入口,在选择上需要谨慎。
多入口是指通向最终产品页面的链接路径有多条,比如典型的电子商务网站的产品页面,一定会出现在相应的分类产品列表中,还可能出现在不同的排序页面上,也可能出现在相关品牌货生产商产品列表中,也可能出现在搜索页面或标签聚合页面中。
在比如博客系统中,同一篇帖子除了在博客主列表中出现,还出现在分类存档,按时间存档,标签页面,优势还会出现在作者分类页面,其它CMS系统也大多数具备这种多入口结构通向最终产品页面。
这种结构的优势是为最终页面提供了多条爬行收录渠道,东方不亮西方亮,由于某种原因没从分类页面爬行,但还可能从其它页面爬行抓取,提供的入口越多,被收录的机会就越大。但确定是这些入口页面本身也占用网站收录页面的名额,而且往往造成很多相似的内容,一个给定的网站,权重是大致固定的,所能收录的总页面也是有上限的,首页的分类页面、各种排序页面。品牌生产商的页面,搜索标签的页面越多,给最终产品页面剩下的名额就越少。要提高整个网站的权重,唯一的方法就是增加外部链接,如果网站权重足够高,能带动的收录页面数远远大于实际页面,提供多入口的就是最佳方式,因为那些入口的页面并不会挤占产品页面的名额。当然,那种方法最适合还得看网站自身的情况,如域名权重,实际总页面等。