当前位置：首页 > 编程语言 > Java爬虫(httpclient&jsoup)

Java爬虫(httpclient&jsoup)

2021-04-21 03:30

阅读：402

标签：get   last   操作   规则   string   lis   ram   rac   组合   

简介

网络爬虫是一种按照一定的规则自动的抓取网页上面的信息的一种程序或脚本。
使用httpclient和jsoup可以爬虫网页信息。

httpclient

  • get请求

        public static void main(String[] args) throws IOException {
    //创建HttpClient对象
    CloseableHttpClient httpClient = HttpClients.createDefault();
    //创建HttpGet请求
    HttpGet httpGet = new HttpGet("http://www.jd.com/");
    CloseableHttpResponse response = null;
    try {
  //使用HttpClient发起请求
  response = httpClient.execute(httpGet);
  //判断响应状态码是否为200
  if (response.getStatusLine().getStatusCode() == 200) {
      //如果为200表示请求成功，获取返回数据
      String content = EntityUtils.toString(response.getEntity(), "UTF-8");
      //打印数据长度
      System.out.println(content);
  }
    } catch (Exception e) {
  e.printStackTrace();
    } finally {
  //释放连接
  if (response == null) {
      try {
          response.close();
      } catch (IOException e) {
          e.printStackTrace();
      }
      httpClient.close();
        }
    }
}

  • get请求(携带params)

        public static void main(String[] args) throws IOException {
    //创建HttpClient对象
    CloseableHttpClient httpClient = HttpClients.createDefault();
    //创建HttpGet请求
    String uri = "http://www.jd.com/search?keys=Java";
    HttpGet httpGet = new HttpGet(uri);
    CloseableHttpResponse response = null;
    try {
  //使用HttpClient发起请求
  response = httpClient.execute(httpGet);
  //判断响应状态码是否为200
  if (response.getStatusLine().getStatusCode() == 200) {
      //如果为200表示请求成功，获取返回数据
      String content = EntityUtils.toString(response.getEntity(), "UTF-8");
      //打印数据长度
      System.out.println(content);
  }
    } catch (Exception e) {
  e.printStackTrace();
    } finally {
  //释放连接
  if (response == null) {
      try {
          response.close();
      } catch (IOException e) {
          e.printStackTrace();
      }
      httpClient.close();
        }
    }
}

  • post请求

        public static void main(String[] args) throws IOException {
    //创建HttpClient对象
    CloseableHttpClient httpClient = HttpClients.createDefault();
    //创建HttpPost请求
    HttpPost httpPost = new HttpPost("http://www.jd.com/");
    CloseableHttpResponse response = null;
    try {
  //使用HttpClient发起请求
  response = httpClient.execute(httpPost);
  //判断响应状态码是否为200
  if (response.getStatusLine().getStatusCode() == 200) {
      //如果为200表示请求成功，获取返回数据
      String content = EntityUtils.toString(response.getEntity(), "UTF-8");
      //打印数据长度
      System.out.println(content);
  }
    } catch (Exception e) {
  e.printStackTrace();
    } finally {
  //释放连接
  if (response == null) {
      try {
          response.close();
      } catch (IOException e) {
          e.printStackTrace();
      }
      httpClient.close();
        }
    }
}

  • post请求(携带params)

        public static void main(String[] args) throws IOException {
    //创建HttpClient对象
    CloseableHttpClient httpClient = HttpClients.createDefault();
    //创建HttpPost请求
    HttpPost httpPost = new HttpPost("http://www.jd.com/");
    //声明存放参数的List集合
    List params = new ArrayList();
    params.add(new BasicNameValuePair("keys", "java"));
    //创建表单数据Entity
    UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(params, "UTF-8");
    //设置表单Entity到httpPost请求对象中
    httpPost.setEntity(formEntity);
    CloseableHttpResponse response = null;
    try {
  //使用HttpClient发起请求
  response = httpClient.execute(httpPost);
  //判断响应状态码是否为200
  if (response.getStatusLine().getStatusCode() == 200) {
      //如果为200表示请求成功，获取返回数据
      String content = EntityUtils.toString(response.getEntity(), "UTF-8");
      //打印数据长度
      System.out.println(content);
  }
    } catch (Exception e) {
  e.printStackTrace();
    } finally {
  //释放连接
  if (response == null) {
      try {
          response.close();
      } catch (IOException e) {
          e.printStackTrace();
      }
      httpClient.close();
        }
    }
}

  • httpclient连接池

        private static void doGet(PoolingHttpClientConnectionManager cm) {
    //创建httpclient对象
    CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
    //创建httpget请求
    HttpGet httpGet = new HttpGet("http://www.jd.com/");
    CloseableHttpResponse response = null;
    try {
  response = httpClient.execute(httpGet);
  // 判断状态码是否是200
  if (response.getStatusLine().getStatusCode() == 200) {
      // 解析数据
      String content = EntityUtils.toString(response.getEntity(), "UTF-8");
      System.out.println(content.length());
  }
    } catch (Exception e) {
  e.printStackTrace();
    } finally {
  //释放连接
  if (response == null) {
      try {
          response.close();
      } catch (IOException e) {
          e.printStackTrace();
      }
      //不能关闭HttpClient
      //httpClient.close();
        }
    }
}

  • 设置请求参数

        public static void main(String[] args) throws IOException {
    //创建HttpClient对象
    CloseableHttpClient httpClient = HttpClients.createDefault();
    //创建HttpGet请求
    HttpGet httpGet = new HttpGet("http://www.jd.com/");
    //设置请求参数
    RequestConfig requestConfig = RequestConfig.custom()
      .setConnectTimeout(1000)//设置创建连接的最长时间
      .setConnectionRequestTimeout(500)//设置获取连接的最长时间
      .setSocketTimeout(10 * 1000)//设置数据传输的最长时间
      .build();
    httpGet.setConfig(requestConfig);
    CloseableHttpResponse response = null;
    try {
  //使用HttpClient发起请求
  response = httpClient.execute(httpGet);
  //判断响应状态码是否为200
  if (response.getStatusLine().getStatusCode() == 200) {
      //如果为200表示请求成功，获取返回数据
      String content = EntityUtils.toString(response.getEntity(), "UTF-8");
      //打印数据长度
      System.out.println(content);
  }
    } catch (Exception e) {
  e.printStackTrace();
    } finally {
  //释放连接
  if (response == null) {
      try {
          response.close();
      } catch (IOException e) {
          e.printStackTrace();
      }
      httpClient.close();
  }
    }
}

    jsoup(一般只用jsoup来作解析工具使用)

    jsoup主要功能:

  1. 从一个url，文本或字符串中解析html
  2. 使用dom或css选择器来查找，取出数据
  3. 可操作html元素，属性，文本

解析url（jsoup可以直接输入url，发起请求并获取数据，封装为document对象）

      public void testJsoupUrl() throws Exception {
      //    解析url地址
      Document document = Jsoup.parse(new URL("http://www.jd.com/"), 1000);

      //获取title的内容
      Element title = document.getElementsByTag("title").first();
      System.out.println(title.text());
  }

使用dom方式遍历文档

  • 元素获取
    1.根据id查询元素getElementById
    2.根据标签获取元素getElementsByTag
    3.根据class获取元素getElementsByClass
    4.根据属性获取元素getElementsByAttribute

    //1.    根据id查询元素getElementById
Element element = document.getElementById("city_bj");
//2.   根据标签获取元素getElementsByTag
element = document.getElementsByTag("title").first();
//3.   根据class获取元素getElementsByClass
element = document.getElementsByClass("s_name").last();
//4.   根据属性获取元素getElementsByAttribute
element = document.getElementsByAttribute("abc").first();
element = document.getElementsByAttributeValue("class", "city_con").first();

  • 元素中获取数据
    1.从元素中获取id
    2.从元素中获取className
    3.从元素中获取属性的值attr
    4.从元素中获取所有属性attributes
    5.从元素中获取文本内容text

    //获取元素
Element element = document.getElementById("test");
//1.   从元素中获取id
String str = element.id();
//2.   从元素中获取className
str = element.className();
//3.   从元素中获取属性的值attr
str = element.attr("id");
//4.   从元素中获取所有属性attributes
str = element.attributes().toString();
//5.   从元素中获取文本内容text
str = element.text();

  • 使用selector选择器语法查找元素

  tagname: 通过标签查找元素，比如：span
  //tagname: 通过标签查找元素，比如：span
  Elements span = document.select("span");
  for (Element element : span) {
      System.out.println(element.text());
  }

  #id: 通过ID查找元素，比如：# city_bj)
  //#id: 通过ID查找元素，比如：#city_bjj
  String str = document.select("#city_bj").text();

  .class: 通过class名称查找元素，比如：.class_a
  //.class: 通过class名称查找元素，比如：.class_a
  str = document.select(".class_a").text();

  [attribute]: 利用属性查找元素，比如：[abc]
  //[attribute]: 利用属性查找元素，比如：[abc]
  str = document.select("[abc]").text();

  [attr=value]: 利用属性值来查找元素，比如：[class=s_name]
  //[attr=value]: 利用属性值来查找元素，比如：[class=s_name]
  str = document.select("[class=s_name]").text();
  • selector选择器组合使用
  el#id: 元素+ID，比如： h3#city_bj
  //el#id: 元素+ID，比如： h3#city_bj
  String str = document.select("h3#city_bj").text();

  el.class: 元素+class，比如： li.class_a
  //el.class: 元素+class，比如： li.class_a
  str = document.select("li.class_a").text();

  el[attr]: 元素+属性名，比如： span[abc]
  //el[attr]: 元素+属性名，比如： span[abc]
  str = document.select("span[abc]").text();

  任意组合: 比如：span[abc].s_name
  //任意组合，比如：span[abc].s_name
  str = document.select("span[abc].s_name").text();

  ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
  //ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
  str = document.select(".city_con li").text();

  parent > child: 查找某个父元素下的直接子元素，比如：

  //parent > child: 查找某个父元素下的直接子元素，
  //比如：.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
  str = document.select(".city_con > ul > li").text();

  .city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
  parent > *: 查找某个父元素下所有直接子元素
  //parent > * 查找某个父元素下所有直接子元素.city_con > *
  str = document.select(".city_con > *").text();

Java爬虫(httpclient&jsoup)

标签：get   last   操作   规则   string   lis   ram   rac   组合   

原文地址：https://www.cnblogs.com/wenqihe/p/13283008.html

上一篇：1329. 将矩阵按对角线排序(暴力）

下一篇：[JSOI2013] 快乐的 JYY - 回文自动机,DFS

文章来自：搜素材网的编程语言模块，转载请注明文章出处。
文章标题：Java爬虫(httpclient&jsoup)
文章链接：http://soscw.com/index.php/essay/77435.html

评论

亲，登录后才可以留言！

热门文章

推荐文章

最新文章

置顶文章

关于我们 | 版权声明 | 常见问题 | 素材投稿 | 联系我们 | 网站地图 |
搜素材网素材除本站原创外均由用户分享，若发现权利被侵害，请联系及时联系我们，我们会在第一时间进行处理。
特别说明：本站所有资源除本站原创外仅供学习与参考，请勿用于商业用途,如有侵犯您的版权请联系客服服务QQ：点击这里给我发消息
Copyright © 2024 soscw.com 搜素材网素材网版权所有 蜀ICP备18015633号-1