更多的代理ProxyProvider实现

[code4craft]

新版ProxyProvider只有一个默认实现SimpleProxyProvider ，主要是作者考虑到实现一个复杂版本，第一不一定能完全理解需求，另外实现也没有经过检验，所以就抛砖引玉，先写一个简单可用的版本。

如果有更复杂的场景，欢迎回复此issue。

[KeozenEric]

您好
我在设置代理的时候，总是认证失败，都是我在同一个环境使用httpclient的代理设置是好的。跟踪调试也找不到思路啊，还请帮忙看看，不甚感激。谢谢。
其中：ChinaMoneyBundPageProcessorTest.java.txt 是我的程序。
run-log.txt 是日志信息

盼复！

ChinaMoneyBundPageProcessorTest.java.txt
run-log.txt

很怪异，把认证的用户名和密码去掉以后就可以了，可是实际上是需要认证的。会不会是调用的系操作统保存的认证信息。

你好，原因是 程序里没有设置认证信息。只能自己解决了。

原因是因为公司的代理采用的是微软的域控用户来认证的。需要使用 NTCredentials ，所以 我重写了us.codecraft.webmagic.downloader.HttpUriRequestConverter类里面的convertHttpClientContext方法来处理的。问题解决了。

[code4craft]

是说Proxy这部分没有设置认证信息吗？这里是有设置的：

 HttpClientContext httpContext = new HttpClientContext();
        if (proxy != null && proxy.getUsername() != null) {
            AuthState authState = new AuthState();
            authState.update(new BasicScheme(), new UsernamePasswordCredentials(proxy.getUsername(), proxy.getPassword()));
            httpContext.setAttribute(HttpClientContext.PROXY_AUTH_STATE, authState);
        }

是说没生效吗？

[code4craft]

抓包看了下，有设置Authorization: Basic dXNlcjpwYXNz，应该是设置进去了。
不过不知道代理到底是不是识别这个字段，有用过认证代理的同学可以试用一下。

[virjar]

http://git.oschina.net/virjar/proxyipcenter/blob/master/dungproxy-webmagic7/src/main/java/com/virjar/dungproxy/webmagic7/DungProxyProvider.java
这里有一个，不过我也没有测试其效果

[KeozenEric]

我在公司使用的是微软的域控认证的方式（即： DOAMIN/USERNAME + 用户密码的方式），这类认证通过BASIC 方式是没有作用的。需要使用 NTCredentials ，所以 我重写了us.codecraft.webmagic.downloader.HttpUriRequestConverter类里面的convertHttpClientContext方法来处理的。

谢谢 大家。

[liwei3232004]

是否可以开放接口在抓取过程中动态设置代理ip。

[dengxiny]

@virjar 你是怎么重写的 能否贴个详细demo

[yangdingjie]

请问如何在运行期间更新代理池，现在没办法隔一段时间自动替换新的代理池

[lianjianlin]

想要在爬虫运行区间动态更换ip代理池，要怎么实现呀？

[yangdingjie]

目前的我的做法是这样的

public static void getInfo() throws InterruptedException {

		// 配置动态代理
		// HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
		// httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(new
		// Proxy("forward.xdaili.cn", 80)));
		// spider.setDownloader(httpClientDownloader);

		// 配置混播代理
		HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
		String json = httpGet();
		System.out.println("初始化代理");
		System.out.println("初始化代理");
		System.out.println("初始化代理");
		System.out.println("初始化代理");
		System.out.println(json);
		System.out.println("初始化代理");
		System.out.println("初始化代理");
		System.out.println("初始化代理");
		System.out.println("初始化代理");
		JSONObject jo = JSONObject.parseObject(json);
		List<Map<String, String>> ips = (List<Map<String, String>>) jo.get("RESULT");
		httpClientDownloader.setProxyProvider(
				SimpleProxyProvider.from(new Proxy(ips.get(0).get("ip"), Integer.parseInt(ips.get(0).get("port"))),
						new Proxy(ips.get(1).get("ip"), Integer.parseInt(ips.get(1).get("port"))),
						new Proxy(ips.get(2).get("ip"), Integer.parseInt(ips.get(2).get("port"))),
						new Proxy(ips.get(3).get("ip"), Integer.parseInt(ips.get(3).get("port"))),
						new Proxy(ips.get(4).get("ip"), Integer.parseInt(ips.get(4).get("port")))));

		spider.setDownloader(httpClientDownloader);
		spider.start();
		Thread.sleep(12000);
		spider.stop();
		Thread.sleep(3000);
		System.gc();
		getInfo();
	}
}

[KeozenEric]

终于弄明白了
我之前认证问题的环境是在公司内部访问外网：
1、需要设置代理服务器
2、需要通过windows域控认证（问题解决主要在这）
我的解决方案：
1、设置代理服务器：
String proxyServer = “xxx.xxx.xxx.xxx”;
int proxyPort = 80;
HttpHost proxy = new HttpHost(proxyServer, proxyPort);
……
//
HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
httpClientDownloader.setHttpUriRequestConverter(httpUriRequestConverter);
//
SimpleProxyProvider proxyProvider = SimpleProxyProvider
.from(new Proxy(proxy.getHostName(), proxy.getPort(), user, passwd));
httpClientDownloader.setProxyProvider(proxyProvider);
……
2、windows域控认证：
我是通过重写类 NTHttpUriRequestConverter extends HttpUriRequestConverter
的 convertHttpClientContext 方法：
private HttpClientContext convertHttpClientContext(Request request, Site site, Proxy proxy) {
HttpClientContext httpContext = new HttpClientContext();
if (proxy != null && proxy.getUsername() != null) {
NTCredentials creds = new NTCredentials(proxy.getUsername(), proxy.getPassword(), null, domain);
CredentialsProvider credsProvider = new BasicCredentialsProvider();
credsProvider.setCredentials(new AuthScope(proxy.getHost(), proxy.getPort(), AuthScope.ANY_REALM, "ntlm"), creds);
httpContext.setCredentialsProvider(credsProvider);
}
if (request.getCookies() != null && !request.getCookies().isEmpty()) {
CookieStore cookieStore = new BasicCookieStore();
for (Map.Entry<String, String> cookieEntry : request.getCookies().entrySet()) {
BasicClientCookie cookie1 = new BasicClientCookie(cookieEntry.getKey(), cookieEntry.getValue());
cookie1.setDomain(UrlUtils.removePort(UrlUtils.getDomain(request.getUrl())));
cookieStore.addCookie(cookie1);
}
httpContext.setCookieStore(cookieStore);
}
return httpContext;
}