位置: 编程技术 - 正文

MySQL插入emoji表情失败问题的解决方法(mysql存emoji表情)

编辑:rootadmin

推荐整理分享MySQL插入emoji表情失败问题的解决方法(mysql存emoji表情),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql存emoji,mysql存emoji表情,mysql存emoji,mysql支持emoji表情,mysql存emoji表情,mysql存emoji表情,mysql emoji,mysql存emoji表情,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

之前一直认为UTF-8是万能的字符集问题解决方案,直到最近遇到这个问题。最近在做新浪微博的爬虫, 在存库的时候发现只要保持emoji表情,就回抛出以下异常:

众所周知UTF-8是3个字节, 其中已经包括我们日常能见过的绝大多数字体. 但3个字节远远不够容纳所有的文字, 所以便有了utf8mb4, utf8mb4是utf8的超集, 占4个字节, 向下兼容utf8. 我们日常用的emoji表情就是4个字节了.

所以在此我们像utf8的数据表插入数据就会报出Incorrect string value这个错误.

Google一下很容易就找到了解决方案, 具体解决办法是如下:

一、修改数据表的字符集为utf8mb4

这点很简单, 修改语句网上找一大堆, 不过建议重新建表, 使用 mysqldump -uusername -ppassword database_name table_name > table.sql 备份相应数据表, 并修改其中的建表语句的字符集为 utf8mb4 即可, 然后 mysql -uusername -ppassword database_name < table.sql 重新导入sql即可完成修改字符集操作.

二、MySQL数据库版本要5.5.3及以上

网络上所有的文章都说明要MySQL 5.5.3以上的版本才支持utf8mb4, 不过我使用的数据库版本为5.5., 最终仍能解决问题, 所以同学们不要急着找运维哥哥升级数据库先, 先试试能不能自己解决问题.

三、修改数据库配置文件/etc/my.cnf并重启mysql服务

主要是修改数据库的默认字符集, 以及连接, 查询的字符集, [Mysql支持emoji 表情符号 升级编码为UTF8MB4][1] 这篇文章有详细的设置方法, [深入Mysql字符集设置][2] 这篇文章有其中设置的各个字符集的作用, 大家可以科普下.

四、升级MySQL Connector到5.1.及以上

MySQL插入emoji表情失败问题的解决方法(mysql存emoji表情)

以上所有的操作, 最关键的是步骤3, 修改数据库的配置文件, 其中大概修改了

这些配置指定了数据从客户端到服务端所经过的一条条管道使用的字符集, 其中每一个管道出现问题都可能会导致插入失败或者乱码.

但很多时候, 线上的数据库是不能随便修改数据库文件的, 所以我们的运维同学很果断的回绝了我修改数据库配置文件的请求(T_T)

所以就只能用代码解决了, 一开始是准备从JDBC连接时候就指定使用的字符集处下手.

主要把UTF-8修改为utf8mb4对于的Java Style Charset字符串应该就能解决问题吧&#;

不过很遗憾的是, Java JDBC并不存在utf8mb4对于的字符集. 使用UTF-8的时候可以兼容urf8mb4并自动转换字符集.

For example, to use 4-byte UTF-8 character sets with Connector/J, configure the MySQL server with character_set_server=utf8mb4, and leave characterEncoding out of the Connector/J connection string. Connector/J will then autodetect the UTF-8 setting. ? [MySQL:Using Character Sets and Unicode][3]

后来科普了一下, 在每一次查询请求的时候, 可以显式的指定使用的字符集, 使用 set names utf8mb4 可以指定本次链接的字符集为utf8mb4, 但这个设置在每次连接被释放后都会失效.

目前的解决办法是, 在需要插入utf8mb4的时候, 显示地调用执行set names utf8mb4, 如:

需要注意的是, 我们在使用一下ORM框架的时候, 因为性能优化原因, 框架会延迟提交, 除非事务结束或者用户主动调用强制提交, 负责执行的set names utf8mb4仍然不会生效.

在这里我使用的是myBatis, 以MessageDao为例

至此, 问题便解决了..

哎, 如果世事能那么顺利就好了, 在项目中, mybatis是实例是交由Spring去管理的, 也就是说我拿不到sqlSession, 也就是强制提交不了. 并且因为Spring事务框架的限制, 他并不允许用户显式调用强制提交. 目前还在纠结这个问题.

有两个解决思路:

使用AOP, 在可能插入4字节UTF8字符的时候, 前置方法执行set names utf8mb4, 但该方案还不能确定AOP的方法会被Spring进行事务管理么, 并且在前置方法中,拿到的链接是否和接下来拿到的连接对象是同一个session. 研究Spring JDBC的创建方法, 写一个hook在每次创建新的数据库连接的时候, 都执行一次set names utf8mb4, 这样就保证每一次拿到的链接都是设置过字符集的.

总结

标签: mysql存emoji表情

本文链接地址:https://www.jiuchutong.com/biancheng/349664.html 转载请保留说明!

上一篇:CentOS7 64位安装mysql图文教程

下一篇:Linux/Mac MySQL忘记密码怎么办

  • 企业所得税汇算清缴退税怎么做账
  • 财产行为税包括资源税吗
  • 增值税留抵税额退税账务处理
  • 以前年度多交增值税
  • 发票验旧是验旧已开发票还是未开发票
  • 电子发票的有效性在哪里查看
  • 办理外汇账户开户手续
  • 红字发票怎么勾选认证
  • 长期待摊费用可以抵扣吗
  • 代开专票作废了扣了两次税怎么办?
  • 异地存款手续费2022最新规定
  • 销售商品确认收入的时间
  • 季报所得税可以预交吗
  • 财产租赁合同印花税计税依据及税率
  • 房产税的征收对象有哪些
  • 开票系统怎么改管理员名字
  • 财政补助结转余额在借方还是贷方
  • 人工成本如何申报个税
  • 企业筹办期多久
  • 费用提多了利润少了所得税是如何调整?
  • 资本公积弥补亏损规定
  • 打开网页时显示无法获取属性
  • win11怎么取消开机启动项
  • win10专业版技巧
  • 定向增发利好还是利空股票
  • 财政专项补助资金企业所得税申报
  • 建筑施工企业是落实施工现场带班制度的第一责任人
  • php做
  • h3cmsr3020路由器
  • 最高跑分纪录的显卡是什么
  • php__call
  • three.js 教程
  • uniapp新建项目
  • tune a video:one-shot tuning of image diffusion models for text-to-video generation
  • 若依框架用到的技术
  • ie11已经为了帮助保护您的计算机而关闭此网页
  • php读取文件内容的方法和函数
  • 资产基金的明细科目
  • 电子发票开出后如何查看
  • 货物赔偿款如何计算
  • 缴纳税款滞纳金怎么算
  • sql随机数字
  • windows7基本使用教程
  • 厂区地面硬化属于土建还是市政
  • 供热管道属于什么结构类型
  • 个人所得税数据怎么导入新电脑
  • SQL2005中char nchar varchar nvarchar数据类型的区别和使用环境讲解
  • 个人去税务局开劳务费怎么开
  • 新政府会计下专业学什么
  • 应交税费进项税额转出是什么意思
  • 公司注销记账凭证还有用吗
  • 什么是盈亏平衡法
  • mysql5.7.
  • 远程连接sqlserver的数据库和本地连接时不一样
  • win8.0升级win8.1
  • centos7 tcp6
  • win10 怎么恢复
  • spyagent4.exe - spyagent4是什么进程
  • win8打开运行的快捷键是什么
  • linuxzen
  • linux系统的内存分配和回收采用什么算法?
  • Win7如何卸载dualmonitor
  • 跑跑3s是谁
  • nodejs函数返回值
  • 阿里云ecs keepalived
  • listview安卓
  • shell脚本实现自动化巡检报警发送邮箱
  • cocos2dx4.0入门
  • android系统架构由几部分组成
  • 简述javascript的常用控制结构
  • node.js中使用文件流进行文件复制,首先需要创建一个
  • 税务局分局副局长什么级别的干部
  • 浙江省网上税务服务大厅
  • 天津2023防暑降温费标准文件
  • 土地增值税清算时间要求
  • 怎么查询高速路封闭和开通
  • 江苏国税申报怎么操作流程
  • 南宁地方税务局网站
  • 上海税务办事大厅电话
  • 重庆税务总局发票查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设