猫史档案馆

什么是隧道转发的爬虫代理：

传统API提取式代理，通过URL定时获取代理IP信息，需验证IP的可用性、更换代理设置，同时需要设计多线程异步IO，实现代理IP并发处理，不仅繁琐，而且影响效率。

“亿牛云爬虫代理IP”通过固定云代理服务地址，建立专线网络链接，代理平台自动实现毫秒级代理IP切换，保证了网络稳定性和速度，避免爬虫客户在代理IP策略优化上投入精力。

爬虫代理加强版的IP切换模式：

所有模式在IP有效时间到期会强制切换IP，标准版、加强版的IP切换模式有2种：

（1）每个HTTP请求自动切换IP，是指爬虫代理为爬虫程序发出的每个HTTP请求随机提供一个代理IP。该模式适合一些需要大量IP的单session爬虫业务。

（2）用户自主切换IP，爬虫程序通过设置HTTP头Proxy-Tunnel:随机数，当随机数相同时，将不同的HTTP请求强制指定为一个代理IP。该模式适合一些需要登陆（多个session使用相同IP）、Cookie缓存处理等需要精确控制IP切换时机的业务。

隧道转发的爬虫代理IP有效时间选择：20秒有效时间更短，但是可以提供的IP数量更多，180秒有效时间更长，但是可以提供的IP数量更少，除非业务采集必须，应该选择20秒代理有效时间，提供更多的IP，避免网站反爬策略。

隧道转发爬虫代理请求过多返回状态：

如果开通的HTTP\HTTPS代理，系统返回429 Too Many Requests；如果开通的Socket5代理，系统会主动对T喵延迟降速，或者直接拒绝超出部分的T喵请求。这两种处理方式都不会对爬虫的运行产生影响，爬虫会根据返回结果自动重新发起请求，这是HTTP\HTTPS和Socket5的标准应答模式。

import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; 
public class Demo { 
 public static void main(String[] args) { 
 try{ 
 // 代理服务器(产品官网 www.16yun.cn)  final static String ProxyHost = "t.16yun.cn";  final static String ProxyPort = "31111"; 
 System.setProperty("http.proxyHost", ProxyHost);  System.setProperty("https.proxyHost", ProxyHost); 
 System.setProperty("http.proxyPort", ProxyPort);  System.setProperty("https.proxyPort", ProxyPort); 
 // 代理验证信息  final static String ProxyUser = "username";  final static String ProxyPass = "password"; 
 System.setProperty("http.proxyUser", ProxyUser);  System.setProperty("http.proxyPassword", ProxyPass); 
 System.setProperty("https.proxyUser", ProxyUser);  System.setProperty("https.proxyPassword", ProxyPass); 



 // 设置IP切换头  final static String ProxyHeadKey = "Proxy-Tunnel"; 
 // 设置Proxy-Tunnel  Random random = new Random();  int tunnel = random.nextInt(10000);  String ProxyHeadVal = String.valueOf(tunnel); 


 // 处理异常、其他参数  Document doc = Jsoup.connect(url).timeout(3000).header(ProxyHeadKey, ProxyHeadVal).get(); 
 if(doc != null) {  System.out.println(doc.body().html());  } 
 }catch (IOException e)  {  e.printStackTrace();  } 
 } }