与搜索引擎配合的组件:爬虫和搜索排序系统

网络爬虫和搜索排序系统虽然不是搜索引擎组件，但是是与搜索引擎配合工作的重要组件，所以作为一个合格的SEO，需要了解下。

网络爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫

爬虫（Crawler)是用于收集Web生的HTML文件等文档的系统（机器人)。例如，用于Web检索的爬虫就是通过追随Web页面上的超链接来收集全世界的HTML网页的。全世界的Web页面正以惊人的速度不断增长，因此爬虫的任务就是高效地收集这些网页。

搜索排序系统

以Google的PageRank系统为代表的搜索排序系统是给作为检索对象的文档打分的系统。例如，在Web检索中，通常会以考量了查询与文档的关联性以及文档的热门度后得出的分数为基准，将检索结果排序后提供给应用程序的用户。搜索排序系统正是用于此目的的、能（机械地）算出文档热门度的系统。