1、flash的优化
现在还是有很多网站采用flash的形式来建站，尤其是一些知名大品牌的官方企业站点，这样的网站虽然好看但不利于蜘蛛爬行和抓取，这些技术也被称为蜘蛛陷阱。
这类网站的整个首页都是一个大的flash文件，搜索引擎在抓取html代码时只有一个指向flash文件的链接，没有其他文字内容，蜘蛛故而无法读取flash文件中的文字内容和链接的，也无法判断其相关性。解决方法如下。
在html页面中加上一个通往html版本的链接，这个链接应该是在flash文件之外的html代码中，蜘蛛可以跟踪这个链接抓取后面的html版本页面。
2、网站地图
网站地图有两种形式，一种为html版本的网站地图，另一种是在Robots.txt文件中通知搜索引擎网站地图文件的位置。
2.1 html网站地图
对于一些必须要有js 脚本、flash图片的网站来说，网站地图是搜索引擎找到网站所有页面的重要途径之一。
对稍具规模的网站来说，一个网站地图不可能罗列所有的页面链接，可以采取只列出最主要部分的链接，如一级分类、二级分类等。还可以将网站地图分成多个，然后由一个页面链接起来。
2.2 xml网站地图
xml文本是另外一种网站地图的形式。文件本身必须是utf8编码，此文件中列出了所有需要被收录页面的URL。最简单的网站地图可以是一个纯文本文件，文件只要列出页面URL，一行列一个就可以了，具体如图2-12所示。
网站地图声明的更新频率对搜索引擎来说只是一个提示，供搜索引擎参考的。
robots.txt文件中的网站地图需要在robots.txt文件中加入如下语句。
sitemap:http://www.xxx.com/sitemap.xml
所有的搜索引擎都支持网站地图的文件位置。大中型网站提交网站地图通常有比较好的效果，能使收录增长不少。
评论