被发现的URL必须是可以被抓取的。相关的数据库动态生成,带有更多参数的URL、SessionID,整个页面的flash,框架结构等大量复制内容都可能让搜索引擎敬而远之。
3.抓取页面后怎样提炼有效的信息
关键词在页面重要位置的合理分布,重要标签的撰写,HTML代码精简,起码的兼容性问题可以帮助搜索引擎理解网站页面内容,更好的提取有用的信息,只有搜索引擎能够顺利的找到所有页面,抓取这些网站页面并提取其中真正的相关性内容,网站才可以被视为搜索引擎友好的。方圆网站制作认为,做好SEO是一个量的积累过程,需要脚踏实地一步一个脚印,认真踏实的做好每个细节网站才能引来搜索引擎的兴趣进而达到收录,排名靠前的情况。