位置: IT常识 - 正文

互联网文本处理挑战巨大中文分词系统设计如何面对？ Linux环境编程 ChinaUnix.net(互联网+文本格式)

发布时间：2024-01-27

互联网文本处理挑战巨大中文分词系统设计如何面对？ - Linux环境编程 - ChinaUnix.net -互联网文本处理挑战巨大中文分词系统设计如何面对？ --> 互联网文本处理挑战巨大中文分词系统设计如何面对？

推荐整理分享互联网文本处理挑战巨大中文分词系统设计如何面对？ Linux环境编程 ChinaUnix.net(互联网+文本格式)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:互联网文案的正文写作方式,互联网文案的载体包括,互联网内容编辑,互联网文字,互联网文字编辑,互联网+文本格式,互联网文字,互联网文字编辑,内容如对您有帮助，希望把文章链接给更多的朋友！

[复制链接]

0 0

crazyhadoop

crazyhadoop 当前在线空间积分0 信誉积分371 UID25203957阅读权限100积分2979帖子874精华1可用积分2981 专家积分10 在线时间1481 小时注册时间2011-04-11最后登录2012-06-05

版主

帖子874主题41精华1可用积分2981 专家积分10 在线时间1481 小时注册时间2011-04-11最后登录2012-06-05串门好友博客消息论坛徽章:0电梯直达

1楼

[收藏(0)]

[报告]

发表于 2012-05-28 17:15:30 |只看该作者 |倒序浏览

互联网文本处理挑战巨大中文分词系统设计如何面对？互联网的发展为文本处理提出了巨大需求和挑战。因为汉语的词语之间没有明显的分隔符，中文文本处理的首要问题往往是中文分词问题。

很多网站很想开展一些基于文本处理的应用，但首先就会被中文分词这个任务卡住。中文分词被视为一个很复杂的任务。网上有一些开源的算法，比如基于词典算法，比如最大匹配算法，十分简单，但是基本无法处理未登录词。国内比较好的中科院的ICTCLAS系统，只有一个月的试用期，无法直接嵌入到我们自己的系统中。而且，那种系统十分复杂，对其进行扩展和修改是一个比较艰巨的任务。所以我们组织了这一次中文分词系统的设计话题讨论活动

我们将首先向大家介绍一种十分简单而有效的新的分词方法。这种分词方法基于一个由我们提出的字串成词概率，是我们独创的。这个系统很容易掌握，分词效果逼近于目前较好的较复杂的分词系统，完全能够满足很多实用要求。因为其简单易用，便于新手入门学习；也便于在一些小规模系统中进行应用。我们可以提供完整的源代码和成型的系统。大家可以下载安装后，对源代码进行修改，补充词语资源，实践应用等。

其次，我们还将介绍并与大家一起讨论一种具有学术前瞻性的中文分词的新的方法。这个方法是为目前最流行的基于字标注的分词方法引入了一种新的特征。这种方法较为复杂，理论性更强，可与对中文分词这个话题有深入兴趣的朋友一起讨论交流。

中文分词仍是一个开放性的问题，最近学术界仍不断有新的成果出现。我们希望与您不受限制地讨论这个话题，可以是各种方法，各种已出现的源码或系统。