爬虫怎么解决封IP的问题？
总的来讲，网站的反爬虫的策略有：检测爬取频率、并发连接数目、HTTP请求header包括referer和UserAgent、网站日志和访问日志比对、判定User Agent，IP访问次数，通过这些数据来检测这个动态是爬虫还是用户个人行为。
其中最常见的就是判断你的请求频率和并发数量，如果你在短时间内发送了大量的请求，也就是你的爬取速度很快的话，那么他就直接判断你是爬虫，这时候先把你IP封了再说，免得给自己的网站带来负担。
那么这些策略我们都如何应对呢？这几个方法都不同，
1、爬虫伪装浏览器点击
我们先理解一下网站的代码执行，首先我们向服务器发送请求，这时服务器的后台php、java都会执行，然后网站代码被发送到本地，在本地时js、ajax会在浏览器内核中执行。所以这时候我们就知道，爬虫不仅要欺骗php java代码、还要欺骗js和ajax代码。
那么不同的代码就有不同的执行顺序，关于这一部分，这个教程给了很好的解释
（http://blog.csdn.net/wang1144/article/details/39378909）
2、使用代理
爬的太快会被封，是一定的。爬的太慢又非常耗时间。所以很多人都会说可以使用代理，所谓代理就是介于用户与网站之间的第三者：用户先将请求发到代理，然后代理再发到服务器，这样看起来就像是代理在访问那个网站了，实现一个不断的切换IP的假象。网上免费代理很多，但是能用的没几个，如果不想购买付费的代理，大家可以学习一下
3、降低访问频率
如果一直找不到好用的免费代理，又不想付费，最好的办法就是降低访问频率了。这样做可以达到与用代理一样的效果——防止被对方从访问量上看出来。比如：每抓取一个页面就休息随机几秒、限制每天抓取的页面数量。当然，在抓取效率上会差很多，因为数据量大的话，时间就会很长。
什么是HTTP代理？
1.伴随着云时代的来临，大数据也吸引住了越来越多的关注，大数据技术的战略意义不但取决于掌握庞大的数据信息，依据分析这些数据，使各个领域具备更强发展能力，而网络爬虫的作用就取决于采集整理这些数据信息。基于一些目的，网络中很多大型网站都会设置反爬虫策略，当网络爬虫频繁抓取信息时，非常容易被封禁IP，此刻HTTP代理IP的使用价值就突显出来了。
使用HTTP代理IP访问网站，能够有效隐藏自身源IP地址，自始至终让对方认为你是一个新用户。在使用HTTP代理IP前，要依据自己的需求去选择合适的服务商，好的服务商IP有专人定期维护，质量和稳定性更好，极光代理拥有海量HTTP代理IP资源，足以满足绝大部分网络爬虫的使用需要。
2.芝麻HTTP代理IP——什么是HTTP代理?HTTP代理是web代理的一种，是Internet上进行信息传输时使用最为广泛的一种非常简单的通信协议。WWW连接请求、浏览网页、下载数据都是采用的是http代理。它通常绑定在代理服务器80、3128、8080等端口部分局域网对协议进行了限制，只允许用户通过http协议访问外部网站。
3.http即网页传输的一种协议。就比如像大家共同协商好的，这个表示代表网页传输我们下载网页的适合采用那的就是http代理
