位置: 编程技术 - 正文

Python检测生僻字的实现方法(python文字检测)

编辑:rootadmin

推荐整理分享Python检测生僻字的实现方法(python文字检测),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python判断汉字个数,python文字检测,python检测字母,判断生僻字正则表达式,python错别字检测,python检测输入字符,python检测输入字符,python错别字检测,内容如对您有帮助,希望把文章链接给更多的朋友!

解决思路

首先想到的就是利用 python 的正则表达式来匹配非法字符,然后找出非法记录。然而理想总是丰满的,现实却是残酷的。在实现的过程中,才发现自己对于字符编码、以及 python 内部字符串表示的相关知识的缺乏。在这期间,踩过了不少坑,到最后虽然还有些模糊的地方,但总算有一个总体清晰的了解。在此记录下心得,避免以后在同一个地方跌倒。

以下的测试环境是 ArcGIS .3 自带的 python 2.7.8 环境,不保证其他 python 环境也适用。

python 正则表达式

python 中的正则功能由内嵌的 re 函数库提供,主要用到 3 个函数。re.compile() 提供可重用的正则表达式,match() 和 search() 函数返回匹配结果,两者之间的区别在于: match() 从指定位置开始匹配,search() 会从指定位置向后搜索直到找到匹配字符串。例如下面的代码中,match_result 从第一个字符 f 开始匹配,匹配失败返回空值;search_result 从 f 开始向后搜索,直到找到第一个匹配的字符 a, 然后通过 group() 函数输出匹配结果为字符 a。

以上的实现方式需要先编译一个 pattern,然后再进行匹配。实际上,我们可以直接利用 re.match(pattern, string) 函数来实现相同的功能。但是直接匹配的方式没有先编译再匹配的方式灵活,首先是正则表达式没办法重用,如果大量数据进行同一模式匹配,意味着每次都需要内部编译,造成性能损失;另外,re.match() 函数没有 pattern.match() 功能强大,后者可以指定从哪个位置开始匹配。

Python检测生僻字的实现方法(python文字检测)

编码问题

了解 python 正则的基本功能后,剩下的事情就是找到一个合适的正则表达式来匹配生僻字和非法字符。非法字符很简单,采用以下 pattern 就可以实现匹配:

然而对于生僻字的匹配,着实难倒了我。首先是对于生僻字的定义,什么样的字算生僻字?经过咨询项目经理,规定非 GB 的字符属于生僻字。接下来的问题是,如何匹配 GB 字符?

经过查询,GB 的范围是 [xA1-xF7][xA1-xFE] ,其中汉字区的范围是 [xB0-xF7][xA1-xFE] 。因此,添加生僻字匹配后的表达式为:

问题似乎是顺理得当地解决了,然而我还是 too simple too naive 。由于要判断的字符串都是从图层文件读取的,arcpy 贴心地将读取的字符编码为 unicode 格式。因此,我需要找出 GB 字符集在 unicode 中的编码范围。但现实是,GB 字符集在 unicode 中的分布并不是连续的,使用正则表示这个范围必定是非常复杂的。使用正则表达式匹配生僻字的构想,似乎陷入了死胡同。

解决方案

既然提供的字符串是 unicode 格式,那么我可不可以将其转换为 GB 再进行匹配呢?实际上是不行,因为 unicode 字符集要远大于 GB 字符集,因此 GB => unicode 总是可以实现的,而反过来 unicode => GB 不一定能成功。

这突然为我提供了另外一种思路,假设一个字符串的 unicode => GB 转换会失败,那么是不是恰恰说明了它不属于 GB 字符集?所以,我使用 unicode_string.encode('GB') 函数尝试转换字符串,捕获 UnicodeEncodeError 异常来识别生僻字。

最终的代码如下:

总结

标签: python文字检测

本文链接地址:https://www.jiuchutong.com/biancheng/383420.html 转载请保留说明!

上一篇:python 写入csv乱码问题解决方法(python向csv写入数据)

下一篇:Python 内置函数complex详解(python 内置函数什么用来返回序列中的最大元素)

  • 小规模纳税人纳税申报时间
  • 减免税款的会计分录摘要
  • 企业申报表有异常期间可以更换财务负责人吗
  • 劳务派遣怎么做起来
  • 保费 车船税
  • 有限合伙企业经营期限多久
  • 厂房面积测绘收费标准
  • 应收而未收的装修款如何做账务处理?
  • 印花税已经缴纳了还需要申报
  • 建筑企业增值税预缴
  • 小规模增值税缴纳怎么算
  • 农产品进项税抵扣计算例题
  • 生产成本属于什么会计要素
  • win10如何设置闹钟
  • 会计的职责概述
  • 贷款利率计算公式表格
  • 收到服务费专票怎么做账
  • win11任务栏失灵
  • Win11截图工具怎么设置快捷键
  • 如何在Windows11上下载和安装 Minecraft
  • 发票明细与实际送货清单不符
  • PHP:Memcached::addServers()的用法_Memcached类
  • 应收款抹零
  • 联想thinkpad l380yoga
  • laravel视频教程
  • 搬迁收入增值税
  • 金融企业利息收入增值税
  • php日期时间函数
  • 提供有形动产租赁服务的增值税税率为
  • 轮播图效果用css怎么实现
  • php与服务器的关系
  • vue实现注册
  • mysql 连接语句
  • 低值易耗品管理办法
  • 收到政府扶贫款如何做分录
  • 销项负数会计分录怎么写
  • sqlserver连接到服务器登录名
  • 政府工会经费计入什么科目
  • 政府预算会计的会计科目
  • 商业折让发票如何开
  • 分配股利有几种形式
  • 因质量问题对方直接扣款也不开票
  • 基建结束后该做哪些工作
  • 预付账款属于哪一类账户
  • 已付款收货未收货怎么办
  • 行政事业单位固定资产入账标准最新规定
  • 业务收入和营业收入关系
  • 企业代购是什么意思
  • 总帐参数怎么设置
  • ubuntu gz
  • win10快速操作怎么调出来
  • win7与xp文件共享
  • windows 11安全模式
  • 微软发布新系统
  • win10不能注销登录
  • xp系统怎么隐藏文件
  • linux扫描硬件
  • win10系统如何查看版本号
  • win10资源管理器启动不了
  • windows10无法安装
  • win7系统安装软件乱码
  • win7磁盘空间不足怎么清理文件
  • jquery注释有哪几种
  • nodejs settimeout异步
  • 深入理解ts
  • jquery 正则表达式
  • python入门教程
  • androidのLinearLayout中组件右对齐
  • python作用域和命名空间
  • 原生js实现promise.all
  • each和each
  • android studio常用控件
  • python中的stringvar
  • 单位购买房产作废怎么办
  • 酒席发票
  • 个人所得税的网址
  • 杭州残保金2021年新政策申报时间
  • 一般纳税人城建税减免最新政策
  • 教师资格证认定流程
  • 税额差怎么计算
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设