第2章 分布式爬虫随着互联网技术的发展以及风起云涌的云计算浪潮爬虫技术也逐渐向着分布式方向发展比如Google的爬虫就是使用成千上万台小型机和微机进行合作完成分布式抓取工作的分布式技术不仅可以解决IT运营的成本还可以解决爬虫效率问题尤其是当今云计算的热潮更把分布式推向了极致2.1 设计分布式爬虫把抓取任务分布到不同的节点主要是为了抓取性能与可扩展性

Spark亚太研究院系列丛书——Spark实战高手之路 从零开始????王家林综合评级： HYPERLINK :home.51ctoappsbookindex.phps=Indexbookbid4336status0 t :book.51ctoart201408_blank 想读(17)?? HYPERLINK :home.51ctoapps