新闻爬虫架构

新闻爬虫系统架构：

Zookeeper master：发布爬取任务 监控爬虫子节点存活性 宕机时重启Kafka：分布式消费队列Ip-pool：动态更换Ip 反防爬Extraction service：抽取规则服务器

 

 

 

 

 

disruptor：lock free用于快速消费任务

 

 

转载于:https://www.cnblogs.com/lnas01/p/10351673.html

相关资源：基于scrapy框架的对新浪新闻爬虫