最近接到一个综合网城的网店, 客户特别看中SEO, 在设计初花了大量的时间来处理网站与搜索引擎友好度问题. 以便搜索引擎更好的收录站点页面.
其中说到的大部分都是站内的优化,详情见: 外贸网店-站内优化
除此之外就是网站文件是否被收录以及页面收录权重的问题-roboots.txt

在roboots.txt文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。

一般都会把图片,CSS设置为不被收录,这样也能减少爬虫对服务器的影响.

更多详情,请咨询:  onepound.cn