`
futrueboy
  • 浏览: 83624 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

在网上看了一段代码 觉得好有摘下来 主要是中文的处理上有用

阅读更多

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import javax.net.ssl.SSLHandshakeException;
import org.apache.http.HttpEntity;
import org.apache.http.HttpEntityEnclosingRequest;
import org.apache.http.HttpRequest;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.HttpVersion;
import org.apache.http.NameValuePair;
import org.apache.http.NoHttpResponseException;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.HttpRequestRetryHandler;
import org.apache.http.client.ResponseHandler;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpRequestBase;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicHeader;
import org.apache.http.params.CoreConnectionPNames;
import org.apache.http.params.CoreProtocolPNames;
import org.apache.http.protocol.ExecutionContext;
import org.apache.http.protocol.HTTP;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;
import com.anal.UtilComm;

public class HttpClientFactory {
	
	private static final String CHARSET_GBK = "GBK";
	
	/**
	 *  异常自动恢复处理
	 *  使用HttpRequestRetryHandler接口实现请求的异常恢复
	 */
	private static HttpRequestRetryHandler requestRetryHandler = new HttpRequestRetryHandler() {
		// 自定义的恢复策略
		public synchronized boolean retryRequest(IOException exception, int executionCount, HttpContext context) {
			// 设置恢复策略,在发生异常时候将自动重试3次
			if (executionCount > 3) {  
                // 超过最大次数则不需要重试  
                return false;  
            }  
            if (exception instanceof NoHttpResponseException) {  
                // 服务停掉则重新尝试连接  
                return true;  
            }  
            if (exception instanceof SSLHandshakeException) {  
                // SSL异常不需要重试  
                return false;  
            } 
			HttpRequest request = (HttpRequest) context.getAttribute(ExecutionContext.HTTP_REQUEST);
			boolean idempotent = (request instanceof HttpEntityEnclosingRequest);
			if (!idempotent) {
				// 请求内容相同则重试
				return true;
			}
			return false;
		}
	};
	
	/**
	 *  使用ResponseHandler接口处理响应
	 *  HttpClient使用ResponseHandler会自动管理连接的释放
	 *  解决了对连接的释放管理
	 */
	private static ResponseHandler<String> responseHandler = new ResponseHandler<String>() {
		// 自定义响应处理
		public synchronized String handleResponse(HttpResponse response)	throws ClientProtocolException, IOException {
			HttpEntity entity = response.getEntity();
			if (entity != null) {
				String charset = EntityUtils.getContentCharSet(entity) == null ? CHARSET_GBK : EntityUtils.getContentCharSet(entity);
				return new String(EntityUtils.toByteArray(entity), charset);
			} else {
				return null;
			}
		}
	};
	
	/**
	* 获取DefaultHttpClient实例
	* 
	* @param charset
	* 参数编码集, 可空
	* @return DefaultHttpClient 对象
	*/
	public static DefaultHttpClient getDefaultHttpClient(final String charset){
		DefaultHttpClient httpclient = new DefaultHttpClient();
		ArrayList headers = new ArrayList();
		headers.add(new BasicHeader("Accept", "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*"));
		headers.add(new BasicHeader("Accept-Language", "zh-cn,en-us,zh-tw,en-gb,en;"));
		headers.add(new BasicHeader("Accept-Charset","gbk,gb2312,utf-8,BIG5,ISO-8859-1;"));
		headers.add(new BasicHeader("Connection","Close"));
		headers.add(new BasicHeader("Cache-Control","no-cache"));
		headers.add(new BasicHeader("User-Agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; CIBA)"));
		httpclient.getParams().setParameter("http.default-headers", headers);
		
		//设置http头信息
		httpclient.getParams().setParameter(CoreProtocolPNames.PROTOCOL_VERSION, HttpVersion.HTTP_1_1);
		//模拟浏览器,解决一些服务器程序只允许浏览器访问的问题
		httpclient.getParams().setParameter(CoreProtocolPNames.HTTP_CONTENT_CHARSET, charset == null ? HTTP.UTF_8 : charset);
		httpclient.getParams().setIntParameter(CoreConnectionPNames.CONNECTION_TIMEOUT,30000);
		httpclient.getParams().setIntParameter(CoreConnectionPNames.SO_TIMEOUT,60000);
		httpclient.setHttpRequestRetryHandler(requestRetryHandler);
		return httpclient;
	}
	
	/**
	 * get方式提交抓取网页
	 * 
	 * @param url
	 * @param charset
	 * @throws IOException
	 * @throws ClientProtocolException
	 * @throws IOException
	 */
	public static String httpGet(HttpClient httpClient, String url,
			String charset) throws ClientProtocolException, IOException {
		HttpGet httpget = new HttpGet(url);
		String content = null;
		// 发送请求,得到响应
		HttpResponse response = httpClient.execute(httpget);
		HttpEntity entity = response.getEntity();
		if (entity != null && HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {
			charset = EntityUtils.getContentCharSet(entity) == null ? 
					CHARSET_GBK : EntityUtils.getContentCharSet(entity);
			content = UtilComm.getString(entity.getContent(),charset);
		}

		abortRequest(httpget);
		return content;
		
	}

	/**
	 * post方式提交抓取网页
	 * 
	 * @param url
	 * @param charset
	 * @throws IOException
	 * @throws ClientProtocolException
	 */
	public static String httpPost(HttpClient httpClient, String url,
			String charset) throws ClientProtocolException, IOException {
		HttpPost httppost = new HttpPost(url);
		// 得到提交的POST值
		List<NameValuePair> nvpsList = UtilComm.getNameValuePairs(url);
		httppost.setEntity(new UrlEncodedFormEntity(nvpsList, charset));
		// 得到返回值
		String content = null;
		HttpResponse response = httpClient.execute(httppost);
		HttpEntity entity = response.getEntity();
		if (entity != null && HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {
			charset = EntityUtils.getContentCharSet(entity) == null ? 
					CHARSET_GBK : EntityUtils.getContentCharSet(entity);
			content = UtilComm.getString(entity.getContent(),charset);
		}
		
		abortRequest(httppost);
		return content;
	}
	
	/**
	* 释放HttpClient连接
	* 
	* @param hrb
	* 请求对象
	* @param httpclient
	* 			client对象
	*/
	public static void abortRequest(final HttpRequestBase hrb){
		if (hrb != null && hrb.isAborted()) {
			hrb.abort();
		}
	}
	
	public static void shutdown(final HttpClient httpclient) {
		if (httpclient != null) {
			httpclient.getConnectionManager().shutdown();
		}
	}
}
 
分享到:
评论

相关推荐

    基于Linux V4L2视频库、ASLA高级声音框架的远程视频及语音聊天.zip

    基于Linux V4L2视频库、ASLA高级声音框架的远程视频及语音聊天

    node-v8.7.0-x86.msi

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    node-v7.7.3-linux-armv6l.tar.gz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    香色闺阁 2.56.1.ipa

    香色闺阁 2.56.1.ipa

    基于python智能监考系统人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+源代码+注释说明+演示视频.zip

    基于python实现的智能监考系统,人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+源代码+注释说明+演示视频 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。

    CGnetsw.exe

    CGnetsw.exe

    node-v0.10.40.tar.gz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    并行计算简介.pptx

    并行计算简介.pptx

    lyra默认地图玩家登录流程

    lyra默认地图玩家登录流程

    域名防封防报毒网站程序PHP开源源码.rar

    域名防封防报毒网站程序PHP开源源码.rar域名防封防报毒网站程序PHP开源源码.rar

    智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip

    智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip 智能监考系统(机试) 人脸信息采集识别签到+微机电脑录屏+前置摄像头录屏+违法外设检测+违法进程检测关闭(含视频).zip

    毕设绝技-段子发布平台(ssm-vue)

    设计一个基于SSM(Spring, Spring MVC, MyBatis)后端框架和Vue.js前端框架的段子发布平台,可以划分为以下几个关键步骤: 1. 项目概述 目标:开发一个用户友好的段子发布、浏览和互动平台。 特点:用户注册、登录、发布段子、浏览段子、点赞、评论、分享等。 2. 技术栈选择 后端:Java(JDK 1.8 或更高版本),SSM框架(Spring Boot 2.x, Spring MVC, MyBatis)。 前端:Vue.js 2.x 或 3.x,Vue Router,Vuex(可选),Axios(用于发送HTTP请求)。 数据库:MySQL 5.7 或更高版本。 开发工具:IntelliJ IDEA 或 Visual Studio Code,Maven(或Gradle)项目管理工具。 3. 需求分析 用户注册与登录:用户需要能够注册新的账号并登录系统。 发布段子:用户应该能够发布包含文本、图片(可选)的段子。 浏览段子:用户可以浏览热门段子、最新段子或特定用户的段子。 点赞与评论:用户可以对段子进行点赞和评论。

    REALTEK RTS3901、3901L、3902L芯片应用开发评估板Cadence原理图+PADS PCB图文件.zip

    REALTEK RTS3901、RTS3901L、RTS3902L芯片应用开发评估板Cadence原理图+PADS PCB图文件

    kangle虚拟主机后台管理系统销售管理系统源码.rar

    kangle虚拟主机后台管理系统销售管理系统源码.rarkangle虚拟主机后台管理系统销售管理系统源码.rar

    基于Qt+C++开发的智力数独游戏+源码(毕业设计&课程设计&项目开发)

    基于Qt+C++开发的智力数独游戏+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ 基于Qt+C++开发的智力数独游戏+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ 基于Qt+C++开发的智力数独游戏+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ 项目简介: exe为可执行文件,可直接运行 提供计时、暂停、重开、提示、删除、不同难度和关卡选择随机生成数独的功能。

    node-v9.2.1-x86.msi

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    node-v8.1.2-darwin-x64.tar.gz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    04_Charisma传统老式网站主页HTML5源码H5源码产品官网电商网站网页源码下载.zip

    HTML源码下载,HTML5源码H5源码,产品官网,落地页,整站官网,论坛网站,电商网站,电商网站网页源码下载。预览地址:https://www.uu2id.com/34998.html

    机器学习算法步骤及源码实现.zip

    机器学习 机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径。 机器学习的发展历程可以追溯到20世纪50年代,当时Arthur Samuel在IBM开发了第一个自我学习程序,一个西洋棋程序,这标志着机器学习的起步。随后,Frank Rosenblatt发明了第一个人工神经网络模型——感知机。在接下来的几十年里,机器学习领域取得了许多重要的进展,包括最近邻算法、决策树、随机森林、深度学习等算法和技术的发展。 机器学习有着广泛的应用场景,如自然语言处理、物体识别和智能驾驶、市场营销和个性化推荐等。通过分析大量的数据,机器学习可以帮助我们更好地理解和解决各种复杂的问题。例如,在自然语言处理领域,机器学习技术可以实现机器翻译、语音识别、文本分类和情感分析等功能;在物体识别和智能驾驶领域,机器学习可以通过训练模型来识别图像和视频中的物体,并实现智能驾驶等功能;在市场营销领域,机器学习可

    node-v6.12.3-sunos-x64.tar.gz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

Global site tag (gtag.js) - Google Analytics