1、设置爬虫爬取时间间隔
2、使用代理ip
3、利用分布式，让不同服务器上的爬虫随机抓取不同网站的数据，以延长同一个ip抓取同一网站url的频率。
转载于:https://www.cnblogs.com/tzq9308/p/5093474.html
