余达征，蒋  蓉

（水利部水利信息中心，  北京  100053）

摘　要：采用美国 SAS 数据挖掘软件，在对我国防洪调度及水资源管理需求详尽分析的基础上，探索了数据挖掘技术在防洪调度及水资源管理方面的应用理论、方法及技术；研究了商品化数据挖掘软件与防洪调度及水资源管理需求相结合的具体方法，建立了太湖流域和中央节点的防洪调度和水资源管理数据仓库系统；分析研究了数据应用的基本模式，提出了数据挖掘的主题，运用 SAS 数据挖掘套件建立了基于数据仓库的防洪调度及水资源管理数据挖掘系统。
关键词：防洪调度；水资源管理；数据挖掘；分析型应用
中图分类号：TV87　　　　　文献标识码：B　　　　　　文章编号：1674-9405(2010)01-0033-03

1　 研究背景
　　自 20 世纪 80 年代以来，数据库建设已涉及相当多的中国水利业务，并且得到了广泛应用 [1]，如全国水文数据库系统，基本达到了国际先进水平 [2]。目前，基于数据库的防汛会商、洪水预报、防洪调度等应用已趋于成熟，具备了一定的全国范围内的防洪调度决策指挥能力 [3～5]。然而，随着我国经济社会对防洪保安的要求不断提高，以及流域调度工作思路从洪水调度向洪水调度和水资源调度相结合转变，从汛期调度向全年调度转变，从水量调度向水量水质统一调度转变，从区域调度向流域与区域相结合调度转变，致使对防洪调度及水资源管理的要求越来越高。
　　尽管信息技术在防洪调度和水资源管理业务中得到了一定程度的应用，但总体上还处于信息源建设和信息一般统计查询阶段，信息资源的开发程度较低。进入 20 世纪 90 年代，信息技术的发展沿着从在线事务处理向在线分析处理、从数据服务向信息和知识服务的方向发展，数据挖掘技术在这个发展过程中也应运而生，并且得到了广泛应用。数据挖掘技术是按照既定的业务目标，对大量的数据进行探索，揭示隐藏其中的规律性并进一步将之模型化的先进、有效的方法 [6]，在防洪调度及水资源管理方面具有很好的应用前途。为此，在中华人民共和国水利部 948 项目的资助下，2005 年 1 月由水利部水利信息中心、河海大学、水利部太湖流域管理局共同开展了防洪调度及水资源管理数据挖掘系统（FCD&WRMDMS）的研究工作，项目历经 3 年多
得已完成，并于 2008 年 4 月通过了水利部组织的验收鉴定。

2 　研究成果
　　本项目在引进、消化、吸收美国 SAS 数据挖掘软件的基础上，围绕我国防洪调度及水资源管理的需求，是探索了数据挖掘技术在防洪调度及水资源管理方面的应用理论、方法及技术，为水利信息系统从在线事务处理型向在线分析及知识应用型发展提供了技术实践与方法示范；二是研究了商品化数据挖掘软件与防洪调度及水资源管理需求相结合的具体方法，并吸收其技术优点，为减少行业内的重复开发和定制适合于业内需求的数据挖掘系统积累了经验，主要取得了以下研究成果：
　　（1）在水文数据库的基础上，结合防洪调度和水资源管理所需的相关数据，建立了太湖流域、中央节点的防洪调度和水资源管理数据仓库系统。
　　（2）分析研究了数据应用的基本模式，提出了数据挖掘的主题，建立了基于数据仓库的数据挖掘和在线分析系统。并在以下几个方面有所创新 [7]：① 提出了扩展小波神经网络模型法，建立了河道水位和流量预测方法；② 提出了水文时间序列中基于统计分析的关联规则优化算法；③ 建立了具有多站变量时间序列的带自回归误差的回归预报模型，实现了水位预测及相关因子分析；④ 提出了基于增量数据的流量预测方法，使用流量增量数据作为应变量，大大提高了神经网络模型的拟合程度，从而提高了预测精度。（ 3 ）通过对我国防洪调度及水资源管理需求的详尽分析，建立了基于 SAS 数据挖掘软件的FCD&WRMDMS，较好地解决了商用数据仓库和数据挖掘软件在水利系统的可用性和适用性问题。FCD&WRMDMS 采用功能强大的 SAS/BASE 作为管
理中心，实现了数据仓库与数据抽取、转换、装载（ETL）、数据挖掘，采用 SAS/EM 和 SAS/EG 作为分析工具，有机集成了各种数据挖掘算法，全面支持防洪调度及水资源管理等领域活动，具有广阔的推广应用前景。
（4）FCD&WRMDMS 于 2007 年在太湖流域管理局和水利部水利信息中心进行了推广应用，取得了良好的经济和社会效益。实践证明使用FCD&WRMDMS 可以提高水文预报的精度和时效，增长水文水资源的预见期，进一步扩大了防洪调度和水资源管理辅助决策的内涵和外延。

3　 系统结构
　　FCD&WRMDMS 所需处理的数据对象以水文数据为基础，建立防洪调度及水资源管理数据仓库，通过数据挖掘为防洪调度及水资源管理提供决策支持服务 [8]。总体框架如图 1 所示。
　　FCD&WRMDMS 数据库主要包括水文、水雨情实时、气象、工情及水质等数据库。FCD&WRMDMS数据仓库总体架构如图 2 所示。FCD&WRMDMS知识库主要存放数据挖掘所需要的领域知识，如洪水预报值合理性分析与修正经验综合规则事实库、水库调度综合规则事实库，以及分蓄洪区综合规则库等。
　　图 2 中原始数据层是系统所有数据来源，由各类数据库组成。数据仓库层是将各种来源的数据按照系统设计的规范组织和管理起来，形成数据仓库，为后续的数据分析提供完整的数据源。数据仓库从源数据库中获得原始数据，首先按主题要求形成当前的基本数据层，然后按综合决策的要求构成防洪调度与水资源管理所需的综合数据，由 SAS 软件的WA 模块来实现。OLAP 服务器层对分析所需要的数据进行有效集成，根据数据仓库提供的数据，通过相应处理，形成前端联机分析所需的数据。OLAP服务器层功能主要由 SAS 软件的 EN、EG 模块来支持。前端应用层主要包括各种报表、查询、数据分析等工具，用以实现防洪调度与水资源管理
过程中所需的各种信息查询。

4 　系统功能
　　FCD&WRMDMS 旨在提供统一的、高度集成的、一致的水文信息源，支持防洪调度及水资源管理工作中众多具有明确应用主题的分析型应用，如洪水演进规律分析、太湖水位变化周期研究、历史洪水特性分析、水位预报、洪水预报、降雨和径流关系与趋势分析等，同时也是进行各类多维分析的基础。FCD&WRMDMS 不偏重于某个具体业务，而是一个基于公共水文信息源的面向主题的挖掘系统，具体分析业务需要的数据可以由此获得，并能得到挖掘分析，保证了不同挖掘主题所需数据一致性和挖掘过程的规范性。FCD&WRMDMS 功能模块
如图 3 所示。

　　该系统划分为 2 个主要子系统：数据挖掘和信息管理子系统。数据挖掘子系统主要完成数据挖掘的过程，由定义主题、数据准备、分类和训练、方案预测、方案优化等功能组成。定义主题主要是对挖掘主题定义的管理；数据准备模块用于将多种异构的数据源转换为 SAS 格式；分类模块用来进行聚类分析和综合评价分析；训练模块训练形成各种预报和分析模型；方案预测模块根据需求调用相应的模型对新方案进行预测；方案优化模块利用预报和分析模型产生优化的预报和分析方案。信息管理子系统主要是对防洪调度与水资源管理的基本信息进行管理，包括防洪信息、水资源信息、洪水预报等管理。

5 　与现有应用系统的逻辑关系
　　FCD&WRMDMS 可单独运行，与现有的水利业务应用系统互不干扰，在防洪调度及水资源管理决策过程中为领导提供辅助决策依据，同时也可进一步完善现有的决策支持系统，如为洪水预报系统提供相关因子分析、算法优化、防汛调度模型等。当然，FCD&WRMDMS 所需的数据要从现有的数据库中提取，包括水雨情、水文、工情、水质等数据库，这种提取方法并不影响现有应用系统的使用，也不会影响数据库中的数据。将提取的数
据存入数据仓库后，通过数据展现和数据挖掘技术为防洪调度及水资源管理提供决策支持服务，FCD&WRMDMS 与现有应用系统的逻辑关系图如图 4 所示（虚线部分为其他项目已实现的任务，实线部分为本项目要完成的任务）。

6 　结语
　　当前，中国各级水行政管理部门都在大力推进水利信息化建设步伐，多年来建立了以国家水文数据库为代表的多类数据库，特别是国家防汛抗旱指挥系统工程和水利电子政务工程等全国性信息化工程的实施，无论在硬件设施或数据基础方面都为项目成果的应用提供了良好的支撑环境。FCD&WRMDMS 研究项目在 SAS 软件、消
化、吸收的基础上，通过防洪调度及水资源管理数据挖掘系统的研究，以及在水利部水利信息中心和太湖流域管理局的示范应用，在水文序列相似性查找，洪水传播时间估算，关联规则挖掘、洪水水位流量预报，以及异常检测方面探索了 SAS 软件在水利系统的可用性和实用性，项目研究单位认为，选择SAS 作为构建&WRMDMS 的基础是可行的，在中国水利系统具有广泛的推广应用前途。

参考文献

[1] 余达征， 史金松. 江西水文数据库系统研究[J]. 河海大学学报， 1992， （3）： 60～65.

[2] 余达征. 试论全国分布式水文数据库系统的分析与设计[A].中国科学技术协会首届青年学术年会论文集[C]. 北京： 中国科学技术出版社，1994.：22～26.

[3] 余达征，索丽生. 关于防洪调度智能决策支持系统的分析与设计[J]. 水文， 1999（2）： 18～22.

[4] 余达征，索丽生. 数据仓库技术及其在防洪调度智能决策支持系统中的应用[J]. 水利水电技术， 1999（2）： 43～45.

[5] 余达征, 索丽生. 基于数据仓库的数据开采技术及其在防洪调度智能决策支持系统（FCDIDSS）中的应用[J]. 水文，2001（2）：5～8.

[6] 汪嘉冈. SAS V8基础教程[M]， 北京： 中国统计出版社，2003.

[7] 李士进， 张晓花， 万定生， 朱跃龙. 基于DTW的测站水位影响关系估计[J]. 江南大学学报(自然科学版)， 2007（6）：678～682.

[8] 朱跃龙， 余达征， 吴浩云， 等. 水文时间序列数据挖掘应用研究. 水文，2008年增刊：7～12.