搜索

科技期刊

全部分类

在线办公

全部分类
水利部南京水利水文自动化研究所

水利水电行业专用中文分词方法研究------唐颖复,江新兰,张伟兵,王志璋,缪 纶

摘要:为改善对当前水利水电行业中大量以自然语言文本形式存在的相关资料挖掘不充分和利用率偏低的现状,在分析水利水电行业文本资料数据特点的基础上,构建水利水电行业的基本词典库,并对Jieba分词器进行算法改进

水利水电行业专用中文分词方法研究------唐颖复,江新兰,张伟兵,王志璋,缪 纶

摘要:为改善对当前水利水电行业中大量以自然语言文本形式存在的相关资料挖掘不充分和利用率偏低的现状,在分析水利水电行业文本资料数据特点的基础上,构建水利水电行业的基本词典库,并对Jieba分词器进行算法改进

分类:2021年第01期(总第160期)

发布: 2021-11-10 19:38:58

详情描述

唐颖复1,2,江新兰2,张伟兵2,王志璋2,缪 纶2

(1.清华大学水利工程系,北京 100084;2.中国水利水电科学研究院,北京100038)

  摘 要:为改善对当前水利水电行业中大量以自然语言文本形式存在的相关资料挖掘不充分和利用率偏低的现状,在分析水利水电行业文本资料数据特点的基础上,构建水利水电行业的基本词典库,并对Jieba分词器进行算法改进,生成一种水利水电行业专用中文新分词方法,并利用新分词方法对1988—2007年的全国水利工作会议报告进行分析。分析结果表明:提出的新分词方法可以准确地进行语句切分,有利于相关行业研究人员从大量现存文本资料中挖掘出更多潜在的高价值信息。

  关键词:中文分词;Jieba分词;算法改进;水利水电行业;专用;正向匹配法;水利工作会议

  A Chinese word segmentation method exclusive to water conservancy and hydropower industry

  TANG Yingfu1,2, JIANG Xinlan2, ZHANG Weibing2, WANG Zhizhang2, MIAO Lun2

  (1. Department of Hydraulic Engineering, Tsinghua University, Beijing 100084, China;

  2. China Institute of Water Resources and Hydropower Research, Beijing 100038, China)

  Abstracts: To improve the current situation of insufficient mining and low utilization of valuable materials in the form of natural language text in the water conservancy and hydropower industry, this article analyzes the characteristics of text data in the industry, builds a specific database and improves the algorithm of Jieba word segmentation, which eventually forms a specific word segmentation method for water conservancy and hydropower industry. This method is applied to the reports of the national water conservancy work conference from 1988 to 2007. Analysis results show that this method performs well in sentence and word segmentations, which has great value in uncovering more high-value information hidden in a large number of existing text materials.

  Key words: Chinese word segmentation; Jieba word segmentation; algorithm improvement; water conservancy and hydropower industry; exclusive use; forward matching; national water conservancy work conference

  • 水利水电行业专用中文分词方法研究.pdf
    下载
    下载量:0
扫一扫查看手机版
这是描述信息

水利部南京水利水文自动化研究所

电话:(025)52898300 
地址:南京市雨花台区铁心桥街95号
邮箱:
nsy@nsy.com.cn

版权所有:水利部南京水利水文自动化研究所     苏ICP备05086125号     中企动力  南京

版权所有:水利部南京水利水文自动化研究所     苏ICP备05086125号     中企动力  南京