标签详情

在非设置代理的环境下，持续访问服务器，会被服务器判断为是一个爬虫，那么服务器维护人员就会禁止我们的IP访问，导致我们爬虫失效，代理IP就是为了防止该问题，如下整理的Scrapy爬虫框架中如何配置IP代理。