网络爬虫学习笔记———网页源码下载之get方法

请求网页的方式主体有两种，一种是get方法，一种是post方法。正如这两个单词明面上的意思，一个是单纯地从网页中获取源码，另一种需要传递正确的参数后才能返回正确的源码。如图所示，我们可以利用F12观察的方法来查看具体是哪种请求。

 

下面是post方法。

 

 

怎样通过程序去模拟这个过程呢，Apache给我们提供了一系列的方法。http://hc.apache.org/网址下提供了我们需要的主体的架包，网站上也包含了其他很有用的工具，可以根据需要选择使用。主体使用的架包为：

 

 

下面写一个简单get方法实现的请求。

 

import java.io.IOException; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.ParseException; import org.apache.http.client.ClientProtocolException; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; /****** * * @author luffy * @deprecated 简单的get请求方法 */ public class Test { public static void main(String[] args){ CloseableHttpClient httpClient=HttpClients.createDefault();//类似于浏览器核心的工具，是获取源码的主要工具 HttpGet getmethod = new HttpGet("http://www.csdn.net/");//定义获取的GET方法 HttpResponse httpresponse = null; try { httpresponse = httpClient.execute(getmethod);//开始获取源码，返回的结果除了源码外，还有其他一些信息 } catch (ClientProtocolException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } HttpEntity entity = httpresponse.getEntity();//从结果中获取源码的实体 String out = ""; try { out = EntityUtils.toString(entity);//将源码实体转化为字符串 } catch (ParseException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } System.out.print(out); } }