位置: IT常识 - 正文

Java如何解析html里面的内容并存到数据库(java如何解析json字符串)

编辑:rootadmin
Java如何解析html里面的内容并存到数据库 一、前言

推荐整理分享Java如何解析html里面的内容并存到数据库(java如何解析json字符串),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:java如何解析xml字符串,java如何解析json字符串,java如何解析byte数组,java如何解析xml字符串,Java如何解析xml,java如何解析xml字符串,java如何解析xml字符串,java如何解析xml字符串,内容如对您有帮助,希望把文章链接给更多的朋友!

        最近接到一个任务,需要爬取五级行政区划的所有数据(大概71万条数据在),需要爬取的网站:行政区划 - 行政区划代码查询 发现这个网站不是用接口请求的,而且直接返回html代码,所以,去看了一下Java是如何解析html里面的内容

二、准备工作

        我选用的是使用jsoup进行html的读取和解析,需要加入如下依赖:

<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.8.3</version> </dependency>

        jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jquery的操作方法来取出和操作数据。它是基于MIT协议发布的。

        jsoup的主要功能如下:

        1、从一个URL,文件或字符串中解析HTML;

        2、使用DOM或CSS选择器来查找、取出数据;

        3、可操作HTML元素、属性、文本; 

        示例代码:

//获取html的文档对象Document doc = Jsoup.parse("http://www.dangdang.com");//获取页面下id="content"的标签Element content = doc.getElementById("content");//获取页面下的a标签Elements links = content.getElementsByTag("a");for (Element link : links) { //获取a标签下的href的属性值 String linkHref = link.attr("href"); //获取a标签下的文本内容 String linkText = link.text();}

        Elements这个对象提供了一系列类似于DOM的方法来查找元素,抽取并处理其中的数据。具体如下:

        1、查找元素

        getElementById(String id)

        getElementsByTag(String tag)

        getElementsByClass(String className)

        getElementsByAttribute(String key) (and related methods)

        Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()

        Graph: parent(), children(), child(int index)

        2、元素数据

        attr(String key)获取属性

Java如何解析html里面的内容并存到数据库(java如何解析json字符串)

        attr(String key, String value)设置属性

        attributes()获取所有属性

        id(), className() and classNames()

        text()获取文本内容

        text(String value) 设置文本内容

        html()获取元素内

        HTMLhtml(String value)设置元素内的HTML内容

        outerHtml()获取元素外HTML内容

        data()获取数据内容(例如:script和style标签)

        tag() and tagName()

        3、操作HTML和文本

        append(String html), prepend(String html)

        appendText(String text), prependText(String text)

        appendElement(String tagName), prependElement(String tagName) html(String value)

三、开始爬取网站数据

        直接上代码:

        Test.java:

@Slf4j@SpringBootTestclass Test { @Resource private PositionService positionService; /** * 爬取省市区网站 */ @Test public void test2() throws InterruptedException { //一共五级 for (int i = 0 ; i < 5 ; i++) { if (i == 0) { List<PositionEntity> positionEntities = PositionUtils.reqPosition(PositionUtils.URL_HEAD); savePosition(positionEntities, null, i); continue; } List<Position> positions = positionService.findListByLevel(i); for (Position parentPosition : positions) { List<PositionEntity> positionEntities = PositionUtils.reqPosition(String.format("%s%s%s", PositionUtils.URL_HEAD, parentPosition.getSn(), PositionUtils.URL_TAIL)); savePosition(positionEntities, parentPosition, i); } } } /** * 报错地址信息 */ private void savePosition(List<PositionEntity> positionEntities, Position parentPosition, int i){ for (PositionEntity entity : positionEntities) { Position position = new Position(); position.setSn(entity.getCode()); position.setFullInitials(PinyinUtils.strFirst2Pinyin((parentPosition != null ? parentPosition.getFullName() : "")+entity.getName())); position.setFullName((parentPosition != null ? parentPosition.getFullName() : "")+entity.getName()); position.setLevel(i + 1); position.setName(entity.getName()); position.setOrderNumber(0); position.setPsn(parentPosition != null ? parentPosition.getSn() : 0L); long count = positionService.countBySn(position.getSn()); if (count == 0) { positionService.savePosition(position); } } }}

         PositionService.java:

public interface PositionService { void savePosition(Position position); long countBySn(Long sn); List<Position> findListByLevel(Integer level);}

         PositionServiceImpl.java:

@Servicepublic class PositionServiceImpl extends ServiceImpl<PositionMapper, Position> implements PositionService { @Override public void savePosition(Position position) { baseMapper.insert(position); } @Override public long countBySn(Long sn) { return baseMapper.selectCount(new QueryWrapper<Position>().lambda().eq(Position::getSn, sn)); } @Override public List<Position> findListByLevel(Integer level) { return baseMapper.selectList(new QueryWrapper<Position>().lambda().eq(Position::getLevel, level)); }}

        PositionMapper.java:

@Repositorypublic interface PositionMapper extends BaseMapper<Position> {}

        Position.java:

@Data@TableName("position")@EqualsAndHashCode()public class Position implements Serializable { @TableId(type = IdType.AUTO) private Integer id; /** * 编码 */ private Long sn; /** * 上级地址编码 */ private Long psn; /** * 名称 */ private String name; /** * 简称 */ private String shortName; /** * 层级 */ private Integer level; /** * 区号 */ private String code; /** * 邮政编码 */ private String zip; /** * 拼音 */ private String spell; /** * 拼音首字母 */ private String spellFirst; /** * 地址全名 */ private String fullName; /** * 地址全名拼音首字母 */ private String fullInitials; /** * 排序 */ private Integer orderNumber;}

        PositionMapper.xml:

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><mapper namespace="com.wkf.workrecord.dao.PositionMapper"></mapper>

        PositionUtils.java:

public class PositionUtils { public final static String URL_HEAD = "https://xingzhengquhua.bmcx.com/"; public final static String URL_TAIL = "__xingzhengquhua/"; public static List<PositionEntity> reqPosition(String url) throws InterruptedException { String htmlStr = HttpUtils.getRequest(url); //解析字符串为Document对象 Document doc = Jsoup.parse(htmlStr); //获取body元素,获取class="fc"的table元素 Elements table = doc.body().getElementsByAttributeValue("bgcolor", "#C5D5C5"); //获取tbody元素 Elements children; children = table.first().children(); //获取tr元素集合 Elements tr = children.get(0).getElementsByTag("tr"); List<PositionEntity> result = new ArrayList<>(); //遍历tr元素,获取td元素,并打印 for (int i = 3; i < tr.size(); i++) { Element e1 = tr.get(i); Elements td = e1.getElementsByTag("td"); if (td.size() < 2) { break; } String name = td.get(0).getElementsByTag("td").first().getElementsByTag("a").text(); String code = td.get(1).getElementsByTag("td").first().getElementsByTag("a").text(); if (CheckUtils.isEmpty(name) || CheckUtils.isEmpty(code)) { continue; } result.add(new PositionEntity(name, Long.parseLong(code))); } //防止ip被封 Thread.sleep(10000); return result; }}

        PinyinUtils.java:

public class PinyinUtils {private final static HanyuPinyinOutputFormat format = new HanyuPinyinOutputFormat();static {format.setCaseType(HanyuPinyinCaseType.LOWERCASE);format.setToneType(HanyuPinyinToneType.WITHOUT_TONE);format.setVCharType(HanyuPinyinVCharType.WITH_V);}/** * 字符串转拼音 * * @param str * 中文字符串 * @param fill * 分隔符 * @return 返回中文的拼音串 */public static String str2Pinyin(String str, String fill) {if (null == str) {return null;}try {StringBuilder sb = new StringBuilder();if (fill == null)fill = "";boolean isCn = true;for (int i = 0; i < str.length(); i++) {char c = str.charAt(i);if (i > 0 && isCn) {sb.append(fill);}if (c == ' ') {sb.append(fill);}// 1、判断c是不是中文if (c >= '\u4e00' && c <= '\u9fa5') {isCn = true;String[] piyins = PinyinHelper.toHanyuPinyinStringArray(c, format);if (null == piyins || 0 >= piyins.length) {continue;}sb.append(piyins[0]);} else {// 不是中文if (c >= 'A' && c <= 'Z') {sb.append((char)(c + 32));} else {sb.append(c);}isCn = false;}}return sb.toString();} catch (BadHanyuPinyinOutputFormatCombination e) {e.printStackTrace();}return null;}/** * 拼音首字母 * * @param str * 中文字符串 * @return 中文字符串的拼音首字母 */public static String strFirst2Pinyin(String str) {if (null == str) {return null;}try {StringBuilder sb = new StringBuilder();for (int i = 0; i < str.length(); i++) {char c = str.charAt(i);// 1、判断c是不是中文if (c >= '\u4e00' && c <= '\u9fa5') {String[] piyins = PinyinHelper.toHanyuPinyinStringArray(c, format);if (null == piyins || 0 >= piyins.length) {continue;}sb.append(piyins[0].charAt(0));} else {// 不是中文if (c >= 'A' && c <= 'Z') {sb.append((char)(c + 32));} else {sb.append(c);}}}return sb.toString();} catch (BadHanyuPinyinOutputFormatCombination e) {e.printStackTrace();}return null;}}
本文链接地址:https://www.jiuchutong.com/zhishi/299262.html 转载请保留说明!

上一篇:不仅仅是ChatGPT:分享一些AI时代的有力工具(不仅仅是喜欢原唱)

下一篇:【学姐面试宝典】—— 前端基础篇Ⅰ(HTTP/HTML/浏览器)(面试学弟学妹问题)

  • 怎样做到微博阅读量上百万?(怎样做到微博阅读量高)

    怎样做到微博阅读量上百万?(怎样做到微博阅读量高)

  • 团购网站10种可行的免费推广方式(团购网站排名大全)

    团购网站10种可行的免费推广方式(团购网站排名大全)

  • 荣耀50se有指纹解锁功能吗(荣耀50se指纹锁怎么设置)

    荣耀50se有指纹解锁功能吗(荣耀50se指纹锁怎么设置)

  • qq如何隐藏空间入口(怎么设置qq空间)

    qq如何隐藏空间入口(怎么设置qq空间)

  • 荣耀x10有没有呼吸灯呢(华为荣耀x10怎么呼唤语音助手)

    荣耀x10有没有呼吸灯呢(华为荣耀x10怎么呼唤语音助手)

  • 打印图片为什么会少一部分(打印图片为什么让保存文档)

    打印图片为什么会少一部分(打印图片为什么让保存文档)

  • 用抖音拍视频怎么不带水印(用抖音拍视频怎么拍)

    用抖音拍视频怎么不带水印(用抖音拍视频怎么拍)

  • 打印机可以打测试页但打不了文档(打印机可以打测试页但是打文档空白)

    打印机可以打测试页但打不了文档(打印机可以打测试页但是打文档空白)

  • iphone抬头显示怎么关闭(怎么把苹果抬头显示关掉)

    iphone抬头显示怎么关闭(怎么把苹果抬头显示关掉)

  • 硒鼓加粉后打印很脏(硒鼓加粉后打印不清楚)

    硒鼓加粉后打印很脏(硒鼓加粉后打印不清楚)

  • 计算机系统中用通常所说的内存是指(计算机系统中用来保存)

    计算机系统中用通常所说的内存是指(计算机系统中用来保存)

  • 笔记本可以连wifi吗(笔记本可以连wifi手机连不上)

    笔记本可以连wifi吗(笔记本可以连wifi手机连不上)

  • 手机wps云文档在哪打开(手机wps的云文档在哪里)

    手机wps云文档在哪打开(手机wps的云文档在哪里)

  • 微信最多可以发多少字(微信最多可以发几分钟的视频)

    微信最多可以发多少字(微信最多可以发几分钟的视频)

  • 钉钉打卡后会跟踪定位吗(钉钉打卡会有记录吗)

    钉钉打卡后会跟踪定位吗(钉钉打卡会有记录吗)

  • 探探消息发出去是叹号(探探消息发出去多久可以撤回)

    探探消息发出去是叹号(探探消息发出去多久可以撤回)

  • 小度在家1c怎么连接电视机(小度在家1c怎么拆开维修)

    小度在家1c怎么连接电视机(小度在家1c怎么拆开维修)

  • ospf协议是域内路由协议吗(ospf协议区域)

    ospf协议是域内路由协议吗(ospf协议区域)

  • 华为手表watch gt2可以打电话吗(华为手表watch gt2怎么连接手机)

    华为手表watch gt2可以打电话吗(华为手表watch gt2怎么连接手机)

  • 魅族怎么样解除root(魅族手机如何解除手机锁定)

    魅族怎么样解除root(魅族手机如何解除手机锁定)

  • excel表格里的查找在哪(excel表格里的查找替换在哪里)

    excel表格里的查找在哪(excel表格里的查找替换在哪里)

  • 安卓emoji怎么变ios(安卓emoji表情切换)

    安卓emoji怎么变ios(安卓emoji表情切换)

  • 韩剧TV怎么切换线路(韩剧tv怎么切换qq号)

    韩剧TV怎么切换线路(韩剧tv怎么切换qq号)

  • 8代cpu如何装win7(8代cpu装win7教程)

    8代cpu如何装win7(8代cpu装win7教程)

  • 低音没弹性的原因(低音发闷,没有弹性怎么办)

    低音没弹性的原因(低音发闷,没有弹性怎么办)

  • 怎样启用内存卡(怎么启用内存卡)

    怎样启用内存卡(怎么启用内存卡)

  • hdmi转vga需要供电吗(hdmi转vga需要音频接口吗)

    hdmi转vga需要供电吗(hdmi转vga需要音频接口吗)

  • g2030cpu哪一年的(g2030cpu什么时候发布)

    g2030cpu哪一年的(g2030cpu什么时候发布)

  • 住房公积金发票
  • 土地交易服务费属于非税收入吗
  • 股东退股如何清算表格
  • 应付票据和应付账款有什么区别
  • 职工的取暖补贴上税吗
  • 政府补助的核算方法名词解释
  • 中标服务费可以抵扣进项税吗
  • 母子公司无偿划拨资产
  • 资产折旧纳税
  • 外地预缴企业所得税税率
  • 已提完折旧车辆可以卖吗
  • 从原材料到库存商品的生产核算过程
  • 收到多开发票已认证怎么做账?
  • 承租人转租需要交税吗
  • 企业所得税汇算清缴时间
  • 建筑分包项目有哪些内容
  • 税务代开劳务费税点如何确定
  • 个人名义去税务局开票
  • 公司购买电视
  • 小规模企业企业所得税优惠政策2022年
  • 租金不开专票合理吗
  • 供热公司向用户提供
  • 工会经费什么时候申报缴纳
  • 怎么批量给指定条件加入批注
  • php中??
  • 商品房缴纳维修基金的规定
  • 临时 文件夹
  • Element UI 及 Element Plus框架
  • 超市代金券买什么最划算
  • laccadive islands
  • framework教程
  • yolov5训练参数说明
  • 应收票据年末计息的分录
  • svc语法
  • deepsort 跟踪
  • 火车票的进项税率
  • 增值税专用发票怎么开
  • 进项税额已抵扣转出会计分录
  • 企业折旧申报备案怎么写
  • 条码续展费用
  • python多线程编程案例
  • 计算机网络面试八股文
  • 公司还款给个人怎么操作
  • mysql5.7免安装版
  • 房企预缴增值税
  • 年终奖的个税税率
  • 企业存货的账务处理办法
  • 私募基金怎么运作
  • 房产税征收对象和依据2021
  • 工会经费可以列支哪些项目
  • 应付账款暂估款的账务处理
  • 以前年度少记税怎么办
  • 公司法人往公司账户打钱怎么能换回来
  • 多计提企业所得税怎么冲回
  • 电商商品采购流程
  • 专票红冲信息表填开显示红字信息表金额大于蓝色金额
  • 上年度漏提折旧
  • 融资租赁租金利息怎么算
  • 坏账收不回来如何做分录
  • 哪些合同不受法律保护
  • 建厂期间购买材料怎么办
  • 跨期发票会计处理
  • 营改增后建筑业增值税税率
  • 补缴以前年度企业所得税分录怎么写
  • 库存商品账务没做如何调增
  • 固定资产多少金额必须招标
  • sql server 判断数据是否存在
  • centos6 systemctl
  • wmiprvse.exe是什么程序
  • win8怎么安装不了win10
  • mscorsvw.exe是什么进程
  • g++编译debug
  • windows8.1如何安装
  • 激情台球游戏源码大全
  • 辅组什么词?
  • unity2019图集
  • 什么叫党员双报到
  • 南阳市税务稽查局举报电话
  • 广东怎么交农村合作医疗保险
  • 诊所办理要求
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设