序号

子系统名称

数量

1

数据标准管理子系统

1套

2

元数据管理子系统

1套

3

主数据管理子系统

1套

4

数据共享交换子系统

1套

5

数据任务监控子系统

1套

6

数据质量管理子系统

1套

7

电子表格采集子系统

1套

8

数据资产管理子系统

1套

9

日志处理工具

1套

10

统一数据管理平台

1套

序号

子系统名称

技术功能要求

1

数据标准管理子系统

一、数据标准管理软件模块

1.       云端下载参考标准：提供云端参考标准集，包括教育部和国家标准委的标准及以前案例中积累形成的标准，可直接从云端下载标准作为参考。

2.       数据标准查看：支持查看标准详情。包括列名称、注释、类型等

3.       数据标准引入：支持将参考标准导入执行标准。

4.       数据标准分类定义：支持分类管理执行标准。对执行标准及标准分类进行增删改查，支持按名称检索。

5.       数据标准导出：支持将数据表导出为EXCEL。

6.       标准代码集权威参考源提供：内置教育部2012参考代码集及GB/T 29808-2013代码集，定期同步更新国标、行业权威标准。

7.       代码集引入：支持将参考代码集导入执行代码集，成为学校可使用的代码集。

8.       代码集分类定义：支持分类管理执行代码集。对执行代码集及代码集分类进行增删改查，支持检索。

9.       代码集绑定：支持查看代码集与元数据的绑定关系。

10.    数据UCRM矩阵：记录和编辑每个数据项的产生部门（Create）和使用部门，明确数据权威来源和责任归属，同时对部门各个角色（Role）在数据管理方面的权限（Management）进行明确定义，形成矩阵表。

二、数据标准配套工作

1.       数据标准制定：根据国家标准、教育部标准和行业标准，兼顾各个标准之间的兼容性、一致性以及标准的可扩展性，并结合湖南农业大学数据特点进行归纳整理，建设和完善学校的各项数据标准，制定学校自定义的编码规范并给出数据分类编码规格说明书，建设一套符合学校实际的《湖南农业大学数据标准》（数据子集、标准代码集、编码规范），同时建立数据标准管理平台，制定湖南农业大学数据标准遵从规范和湖南农业大学数据标准管理和发布更新规范。

2.       部门业务和数据调研：依据数据治理的范围，针对对应的部门进行调研，调研内容包括业务范围、工作流程、数据供需关系、敏感数据、管理业务系统、库表结构、数据运算关系、数据字典、电子表格数据、现有代码集、编码规则、约束条件等。

3.       数据仓库体系建模：将当前的主数据库升级为数据仓库。以制定的数据标准为依据，对数据仓库进行建模设计。数据仓库的承载内容从主数据扩展为全量数据，用于支撑本项目的综合数据分析和应用。

4.       数据标准发布和执行细则：需要设计完善的标准落地执行的规范体系，包括各个部门、各个软件开发商以何种方式和途径获取标准的内容，需要执行哪些动作、满足哪些条件来确保达到数据标准的要求，如何验证最终状态是否符合数据标准等。

5.       数据标准合规性检查：软件自带标准合规性检查功能，可对业务系统数据是否符合标准规范进行检查验证，并输出检查报告。

2

元数据管理子系统

一、元数据管理软件模块

1.       元数据采集：支持对元数据采集的数据源查询、新增、修改、废止功能，支持完善的校验功能，支持将数据源的表批量采集为元数据。

2.       元数据查看：支持查看数据源采集的元数据。

3.       元数据分类：支持分类管理元数据。对元数据分类可以进行增删改查。

4.       元数据编辑：支持对元数据结构的增加、删除、修改、查询，规则绑定等操作。

5.       元数据绑定：支持为元数据绑定标准及规则，并支持查看标准及规则的内容。系统根据模型匹配，给出元数据依赖的标准建议。

6.       血缘分析：支持元数据的全链分析，能采用图形方式展示以某个元数据为目标节点，其前后与其有关系的所有元数据，反应数据的来源与加工过程，分析数据来源和数据质量问题的定位。

7.       版本管理：支持元数据的版本管理，支持任意版本之间整体比对。支持单独对象不同版本之间进行比对，自动生成变更脚本。

8.       元数据接口管理：支持查看元数据相关接口

9.       元数据变更分析：支持对元数据变更的影响分析

二、元数据管理配套工作

1.       输出数据UCRM矩阵：记录每一个数据项的产生部门、使用部门，记录数据使用岗位、角色的权利和责任。

2.       输出全校数据血缘关系图：对数据项的代码引用关系、质量规则绑定、数据流动路径进行记录和可视化呈现，便于管理人员查看数据的引用关系、质量要求和影响范围。

3.       输出元数据库：对数据流动的每一个节点，采集其元数据信息，形成完整的元数据库。

3

主数据管理子系统

一、主数据管理软件模块：

1.       主数据分类：支持按照分类管理主数据。

2.       主数据引入：支持将数据表采集主数据。

3.       主数据发布：支持将主数据发布为Webservice服务。

4.       主数据版本管理：支持为对主数据进行版本管理。支持历史版本查询、删除及恢复。

5.       主数据备份：支持主数据的备份功能。能够针对每一张数据表进行备份或不备份的选择，可以查看、删除当前的备份清单。能够查看备份清单中每个对象的最近备份状态、备份时间、备份版本数、不同版本数据条数的变化情况，能够查看每一个历史版本的数据内容。

6.       数据导入：支持从EXCEL文件导入主数据。

二、主数据管理配套工作

1.       数据导入仓库：将治理之后达到质量标准的数据按照对应的主题导入数据仓库，形成主题数据集市。

2.       数据生命周期管理：实现有效的数据生命周期管理，对状态类数据的不同版本进行建模设计，使数据项能够按照时间线存储多个历史版本，清晰地体现数据的变化过程，并提供简单有效的访问规范使应用程序能够方便识别、读取到某个指定时段或全部版本的数据。

4

数据交换共享子系统（定制开发）

1.      定制和升级数据共享交换子系统：

1.1    将当前的主数据库升级为数据仓库，数据承载内容从主数据扩展为全量数据，用于支撑本项目的综合数据分析和应用。按照已经制定的数据标准的规范要求，对采集的数据进行清洗、转换、整合，成为可用于在全校进行共享交换的数据集，建立统一的业务中心数据库。

1.2    根据湖南农业大学的实际管理情况，定制开发数据共享交换规范，定制权威数据责任管理规范。

1.3    将数据交换集成模式从当前共享库逐渐迁移到数据仓库中实现，最终由新的数据仓库实现所有的数据交换集成。

1.4    根据实际的数据流向模式定制全校数据血缘关系总图，根据数据共享交换关系定制数据交换共享路由图。

2.      定制开发多种数据交换共享机制：

2.1    定制开发基于ETL过程的定期数据共享、准实时数据共享。

2.2    定制开发全实时的数据共享方式，该方式要求数据需求方能够即时访问到最新的数据变化。数据从源端发送到数据接收方的过程中，不在数据共享库暂存，但是管理平台能管理和监测该共享任务。

3.       共享交换任务管理：支持定时启动数据共享任务，支持通过触发启动任务。

4.       开发数据交换共享路由图：开发数据交换共享路由图，描绘数据共享关系和共享方式，包括数据从源业务系统输出权威数据到数据仓库，及从数据仓库输出数据到业务系统，对这些共享关系进行可视化呈现，便于管理人员了解和追溯数据的来源和去向。

5

数据任务监控子系统

一、数据采集传输工具

1.      可采集的数据类型：

1.5    对业务信息系统数据采集：提供完善和准确的业务信息系统数据感知与采集功能，能对各种管理信息系统的各种数据进行采集，支持定时任务采集和即时任务采集两种方式。

1.6    对设备日志数据采集：对IT设备、服务系统等输出的日志类数据进行采集。

1.7    对外部数据采集：对互联网上的社交数据、交易数据、信息发布数据进行采集。

2.      可采集的结构化数据源：

2.3    可直接采集常见的结构化数据库的数据，包括Oracle、SQLserver、MySQL、PostgreSQL、Greenplum、Hive、Impala、ACCESS等。

2.4    可直接采集常见的结构化数据文档，如csv、xls等。

3.       可支持的数据转换操作：可对数据源进行多种转换操作，包括映射、拆分、去重、数值计算、字符串操作、校验等，并可以使用SQL脚本进行自定义转换。

4.       数据采集的集中管控：提供数据接口监控管理功能，可对结构化数据采集任务信息和执行结果进行集中监控管理。

5.       可采集的日志数据种类：可连接到各种日志设备源进行日志数据的采集，如支持syslog、ftp等，可支持分布式采集。

6.       可采集的外部数据种类：可对web网页或API接口的数据进行采集，需提供爬虫及API采集两种方式。

7.       数据采集模式：支持持续、定期等多种数据采集方式。

二、数据任务管理软件模块

1.       数据接口发布：提供数据服务功能，对中心数据库的表或视图数据进行封装，并采用WebServices模式提供XML或JSON格式数据访问和维护接口。

2.       数据接口预览：支持预览发布的数据集.

3.       数据接口管理：支持启动及停止数据的服务接口，停止后禁止访问数据，启动后恢复数据访问。支持设置数据服务接口的有效访问时段

4.       用户账号设置：支持设置可以访问数据服务的账号。

5.       数据授权访问：支持授权账号查阅数据服务目录。

6.       用户密钥管理：支持为授权账号生成数据访问密钥，用户使用密钥读取数据。

7.       数据访问统计：支持数据服务的访问统计。提供数据服务访问日志管理功能，可以进行访问记录的查询和统计。支持对数据服务调用的审计，能够实时查看在线客户端以及历史服务使用情况

8.       ETL映射关系下载：支持从云端下载ETL映射关系，导入到etl工具，工具可快速查看ETL的接口内容。

9.      结构化数据采集任务的集中监控：

9.1     可对定时采集数据的任务配置信息和任务执行状态进行集中监控管理。可在集成界面中查看任务的源数据库、源表、目标库、目标表、源字段及目标字段对应关系。支持为此类接口补充信息，包括：名称、接口类型、数据来源系统、更新频率。

9.2     可在集成界面中查看任务的执行状态和结果，包括任务执行的结果（成功/失败）、启动和结束时间、新增/改写/删除的记录条数，任务执行的详细日志。

6

数据质量管理子系统

一、数据质量管理软件模块

1.       数据源有效性：支持检查数据源是否有效

2.       标准一致性校验：支持检查元数据与标准结构是否一致。

3.       数据内容有效性校验：支持检查数据是否符合检测规则。

4.       数据质量检测方式选择：支持按规则和按对象两种模式进行检测。支持按规则范围检测：可选取特定规则（如身份证号有效性检测），查看所有跟规则相关的对象的数据质量情况。支持按对象范围检测：可选取特定的数据对象，查看该对象的数据源，数据结构与标准是否统一及数据内容约束是否合规的质量情况。

5.       数据质量检测定时任务：支持通过设置定时检测任务，后台自动执行质量检测，并将检测结果发送给相关人员。

6.       数据质量报告输出：支持针对每次的检测结果，生成检测报告。

7.       数据质量报告推送：支持查询干系人，并设置推送结果，并将结果以邮件的形式通知相关人员。

8.       数据质量评分机制：数据质量归一化评分，可根据检测的数据项数量来对数据质量检测结果进行打分。

9.       数据质量检测规则库提供：支持灵活配置的自定义检核规则，根据我校业务系统的实际特点和要求，内置常用的数据质量检查规则，如“身份证号有效性校验”、“部门代码有效性校验”等。

10.    云端的质量参考规则：支持从云端知识库中下载供参考的质量规则库，下载后自动导入数据质量管理子系统，成为本地可用的规则库，可在此基础上进行编辑形成本项目特有的质量规则库。

11.  数据质量检测规则定义：

11.1  支持增删查改值域内容，格式例如1..100，添加后的内容在数据检测时，会根据相应的约束内容，对表的符合度进行判断

11.2  支持增删查改枚举内容，其中枚举类型支持通过执行代码集定义、主数据定义和自定义格式。添加后的内容在数据检测时，会根据相应的约束内容，对表的符合度进行判断

11.3  支持增删查改正则表达式，按照模版内容自行添加相应的内容，添加后的内容在数据检测时，会根据相应的约束内容，对表的符合度进行判断

11.4  支持增删查改唯一性约束，按照模版内容添加相应的内容，添加后的内容在数据检测时，会根据相应的约束内容，对表的符合度进行判断

11.5  支持增删查改关联一致性内容，验证两个表的两组字段之间的关联一致性。

12.    数据检测规则绑定设置：支持查询绑定规则的所有检查项，并分项执行检测任务

13.    数据质量问题的改进情况：支持查看异常问题的改进情况，并统计问题的改进趋势

14.    数据质量问题分析统计：数据质量报告中，针对表、字段等不同级别的数据对象呈现质量问题检核结论，可查看每个字段、每个规则下问题数据的条数，并可进一步查看每一条具体的问题记录的数值。可以对数据质量问题进行统计分析和预警，呈现各种问题的比例，包括数据质量问题类型分析、数据质量问题发生曲线图等。

二、数据质量管理配套工作

1.       生成完整的数据质量规则库：将质量规则（如非空性、唯一性、枚举有效性等）绑定到字段上形成的质量规则体系。基于该体系生成数据质量报告。数据报告将反馈到数据对应的责任部门进行完善和修正，不断提升数据质量。

2.      数据治理服务：

2.1    包括采集接口配置、数据采集、数据识别、质量检核、质量报告、数据清洗。

2.2    数据治理的内容，包括学校当前所有业务系统的数据，以及合同签订后三年内新增的业务系统数据、日志数据和需要采集的互联网数据。

2.3    治理完成后的数据集应该符合以下质量要求：

A.       各项数据正确、完整

B.       同一数据只有唯一来源

C.       单一字段中不存在多种信息

D.       同一字段内的数据格式统一

E.       相同对象的名称表达一致

F.       代码引用、缩写词、惯用语的表达一致

G.       值与字段名含义匹配

H.       同类数据的计量单位统一

7

电子表格采集子系统（定制开发）

1.      软件开发要求：

1.1    Web框架：基于MVC架构定制开发，要求前后端分离，使用ajax通过json完成前后端数据交互。

1.2        使用时无需安装浏览器插件

1.3        Excel数据既可在线编辑(实时保存至数据库，无需担心数据丢失)，也可下载至本地编辑，然后上传至数据库

1.4        支持多条件检索查询

1.5        管理人员可以通过简单设置避免数据重复风险

2.      功能：

2.1    新建数据表格

2.2        表格结构修改

2.3        权限管控 （用户授权模式,可授予查询、编辑2个权限）

2.4        数据批量上传、下载

2.5        单条件全局搜索、多条件全局搜索

2.6        Excel常用功能(列拖拽，冻结，过滤，单元格复制粘贴等)

3.      操作便利性：

3.1    无需本地安装EXCEL即可在线修改数据

3.2    重要Excel文件上传至数据库保存，可避免本地文件丢失风险

3.3    可对数据权限进行管控，确保数据安全

4.       性能：在线编辑可实时保存，无延时

8

数据资产管理子系统（定制开发）

1.      定制开发数据资产可视化管理视图：

1.1    根据用户的展示需求进行定制开发，通过可视化视图展示当前数据中心的数据总记录数、数据总容量、非结构化数据集的数量，以及数据量的变化趋势图

1.2    根据用户的展示需求进行定制开发，通过可视化视图展示已配置的数据接口数量、近期调用次数和主要应用，以及数据调用的时间趋势图

1.3    根据用户的展示需求进行定制开发，通过可视化视图展示已经制定的标准数量、元数据的数量和分布情况

2.      定制开发数据质量可视化管理视图：

2.1    根据用户的展示需求进行定制开发，通过可视化视图展示ETL任务执行的趋势、成功率

2.2    根据用户的展示需求进行定制开发，通过可视化视图展示数据质量问题的变化趋势、检测通过情况

2.3    根据用户的展示需求进行定制开发，通过可视化视图展示数据从源端到目标端的总体流动视图和数量统计

9

日志处理工具

一、日志数据处理软件模块

1.      系统架构和管理功能：

1.1    要求选用分布式的技术架构、图形化操作界面、简易快捷的操作方式，无需编码，并具备广泛的适用性。

1.2    存储架构：基于HDFS分布式文件系统，将硬件节点的磁盘存储空间整合为一个统一的文件系统，实现统一管理、统一容错、并行吞吐、并行计算。

1.3    要求整个集群在任意一块硬盘或任意一个节点损坏的情况下，不影响集群系统继续运行，不丢失数据。

1.4    计算框架：基于Spark内存计算技术框架。

1.5    算法库：支持Spark-MLlib和SparkR。

1.6    数据导入：支持Flume，支持Sqoop，支持Redis数据流导入。

1.7    提供重要组件的工作状态监控功能，对存储空间、剩余空间的直观显示，对Hadoop的存储、资源管理、并行计算、任务管理等组件的健康状态进行直观显示。

1.8    外部接口：开放Scala和Python、R编程接口。

2.      日志处理功能：

2.1    要求在统一的界面中完成对日志数据的存储、解析、关联、计算、可视化输出、API输出的管理配置。

2.2    支持对任意源设备、任意格式的日志数据格式化。

2.3    支持丰富的日志类型模版，内置支持的日志类型至少支持3种主流品牌及湖南农业大学现有的各种设备日志包括但不限于无线网络设备日志、上网认证日志、上网行为日志、防火墙及其他网络安全设备日志。

2.4    支持对日志数据进行内容浏览、解析字段查看、数据体量、数据条数、更新时间、变化趋势的查看。

2.5    支持日志抽取功能，能够抽取指定的日志行，能够抽取指定的日志字段。

2.6    支持日志转义，支持日志内容标签化和数据类型转化。

2.7    支持流式数据格式化，支持周期性格式化任务。

2.8    支持日志数据之间的关联功能，支持日志数据与关系型业务数据的关联功能，并且能够基于web页面通过拖拽操作完成字段对应关系，实现日志关联计算，整个过程无需编码。

2.9    支持日志实时检索功能，支持按字段检索以及在指定时间范围内进行日志检索，支持下钻检索。

2.10              支持使用SQL规则语法对日志数据进行SQL计算，支持将海量日志文件转置为SQL数据表，并提供数据结构定义。

2.11              支持针对流式数据的周期性SQL计算任务。

2.12              内置提供SQL模版，支持用户一键式SQL计算任务。

2.13              支持对日志文件使用SQL语句进行检索分析。

2.14              支持日志计算结果直接配置为可视化图表，支持饼图、柱图、热力图、趋势图、树形图、地图、数据标牌等可视化形式，支持图表动态配置。

2.15              支持多图表组装仪表盘功能，支持拖拽调整图表的尺寸，支持拖拽调整图表在仪表盘中的布局。

2.16              支持将多个仪表盘组成为小应用的功能，支持自定义菜单文本，自定义多级菜单，并实现菜单与仪表盘的关联。

2.17              支持图表、仪表盘导出保存为图片功能。

2.18              支持日志计算结果发布到数据库（至少支持mysql、oracle、SQLServer），对接任意第三方BI工具。

2.19              支持日志计算结果发布成API，提供给第三方应用调用。

3.      操作便利性：

3.1    日志格式化操作：选择解析模板后，要求解析结果所见所得。

3.2    日志关联操作：支持通过鼠标拖拽定义字段关系。

3.3    SQL计算操作：输入SQL语句后，要求自动判断语法的正确性。

3.4    可视化图表操作：支持通过鼠标拖拽定义字段与表格维度的对应关系。

3.5    可视化图表操作：支持通过鼠标选择图表类型后即自动呈现结果。

3.6    页面组装操作：支持图表元素的位置、大小通过鼠标拖拽进行调整。

4.       扩展性：支持任意可解析的新型日志文件的便捷接入。支持Spark-MLlib和SparkR的机器学习和数据挖掘算法接口扩展。

5.       数据压缩：提供流式数据的压缩存储功能，压缩比不低于5：1。

6.       系统优化：可基于时间戳优化数据分析速度；拥有自主算法针对spark进行性能优化。

二、日志数据处理配套工作

1.       日志数据采集和解析：将学校当前使用的认证日志，出口URL日志、用户上网行为审计日志数据进行采集，并自动存储到大容量分布式存储系统中。根据不同的日志数据源建立不同的存储路径，自动根据时间片切分文件，按照自动规则对文件命名存储，自动根据日志的语义格式进行正确的字段解析，可以由用户定义保留或舍弃某些字段。解析完成后的数据在后期能够采用标准SQL语法进行数据查询、筛选、计算，并采用分布式计算框架实现高效率的处理。解析完成后自动使用压缩算法进行存储以减少磁盘占用空间。

10

统一数据管理平台

一、数据仓库管理软件模块

1.       运行环境：平台后端支持主流Linux系统环境部署，前端支持WINDOWS、Linux、Mac OS操作系统运行的B/S架构界面

2.       开发语言：数据计算组件要求支持R、Python、Scala、Java等主流编程语言，前端页面要求采用Ruby On Rails、Java、C#等主流开发语言进行逻辑层、视图层开发。

3.      平台架构：

3.1    要求采用关系型数据库与Hadoop集群的融合架构，支持弹性集群扩展。为减轻部署和维护负担，Hadoop集群必须采用企业级产品（如Cloudera、MapR、HortonWorks等），必须采用Spark、Sqoop、Flume、Kafka等高性能组件作为处理引擎。

3.2    平台具备对PB级数据进行存储和分析处理的能力。

4.       计算框架：需提供MapReduce、Spark、Storm等多种计算框架，离线计算、内存计算和流式计算并存，满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。

5.      数据挖掘与分析：

5.1     支持R语言进行数据分析。

5.2     支持Mahout进行数据分析。

5.3     支持传统SQL进行数据分析。

5.4     支持Hive进行数据分析。

5.5     支持Spark进行数据分析。

6.       快速全文检索：支持全文检索引擎（如ElasticSearch等组件），满足检索响应快、实时高性能、海量存储等要求。

7.      数据源支持：

7.1    支持对Oracle、SqlServer、MySQL等关系型数据库的集成和状态监控。

7.2    支持对HDFS分布式文件系统数据源的集成和状态监控。

7.3    支持对MongoDB文档型数据源的集成和状态监控。

7.4    支持对ElasticSearch数据源的集成和状态监控。

7.5    支持对Hive数据源的集成和状态监控。

8.      数据源预览：

8.1    支持对平台中接入的不同类型数据源进行集中管理。可实时查看数据源连接状态、数据源连接信息、数据源详细信息。

8.2    支持数据源状态的实时监测，以及启用/停用数据源。

8.3    支持数据使用者基于平台进行数据API数据字典申请，并提供数据API访问链接获取、数据访问的说明性文档、调用方法和示例代码。

8.4    支持以SQL形式关联多个数据对象发布API接口。

8.5    可查询API对应的数据源、调用方法、示例代码。

8.6    可查询API所服务的应用列表。

8.7    可查询API调用频度的时间趋势。

8.8    可按需暂停/恢复API对应用的数据服务。

8.9    支持图片及其他二进制数据通过API发布。

8.10              支持第三方WebService接口的二次API封装发布。

9.      数据计算：

9.1     支持针对不同的数据源在后台创建计算任务。

9.2     支持通过SQL语句来基于分布式数据源创建计算任务。

9.3     支持将计算任务的结果发布成标准API接口。

9.4     支持查看计算任务的状态以及对任务多次执行。

10.  数据申请：

10.1  平台支持多种数据供应的方式，包括API接口、数据库直连和表格文件输出。

10.2  平台可以通过在线授权、申请的方式，向应用程序开放特定的API。

10.3  申请者可以指定申请API中的多个特定字段，管理者可以逐一选择接受或驳回。审批结果可在线查看，并有日志记录。

10.4  可对API允许访问的数据进行条件筛选，使应用程序只能调用特定范围的数据。条件包括数据范围（用等式或不等式表示）、枚举范围，也可以使用SQL语法进行更加灵活的筛选设置。

10.5  支持同一个API接口针对不同权限的用户提供不同字段的数据。

10.6  为防止数据的不当使用，平台对API调用可以限制每天、每月的调用频次上限，并可查看每个应用实际调用的次数统计，并以曲线图的方式查看其调用频次的趋势。

10.7  支持通过API数据接口请求、回写、更新数据。

10.8  平台可以通过在线授权、申请的方式，以数据库直连的方式向应用程序开发特定的数据表。申请发起者可以指定申请的数据需求，申请批复者可以看到申请的内容，并逐一选择允许访问的数据表和允许访问的时间。批复结果可在线查看，批复记录有日志记录。批复通过后，平台自动向申请者提供数据库的连接参数，通过平台向使用者提供数据字典、访问及连接方式，并可设置连接账号的有效期，已授权的数据可随时停用。

10.9  为防止数据的不当使用，平台对申请成功的数据库直连，可以指定数据表的访问时限，时限到期后将自动关闭，原有的连接参数将自动失效。

10.10            平台可以通过在线授权、申请的方式，以数据表格文件方式向用户提供数据。申请发起者可以指定申请的数据文件，申请批复者可以看到并批复申请的内容，批复行为有日志记录。批复通过后，平台自动将数据表转换成表格文件供用户自行下载。

10.11            上述过程均要求在平台的图形化操作界面中完成，而不是通过数据库管理界面操作

11.  数据授权管理：

11.1  支持分级授权的管理体制，即可将不同数据集的API审核权限分配特定的二级单位管理员行审核。

11.2  支持审核消息的消息墙提醒、待办事件提醒和邮件提醒功能。

12.  数据接口使用监控：

12.1  展示信息部门的工作成果，提供数据接口对外提供情况的汇总展示功能，并以数据报告形式向管理员提供。

12.2  提供单个API接口被调用情况的统计。

12.3  对不同用户调用API的个数、使用情况提供详细的统计信息和便捷的入口进行查看。

12.4  能够实时监测接口状态，接口出现异常（离线、非授权使用、超流量下载拖库等）能提供及时预警，提供所有操作行为的记录分析，异常行为能及时预警。

13.  数据共享交换：

13.1  支持多个业务系统之间的数据共享交换功能。

13.2  对现有的业务系统进行数据共享交换的技术分析，配置正确的ETL参数，包括数据范围、字段定义、交换周期等，确保最终实现多个业务系统之间的数据共享交换功能。

14.  数据安全管理：

14.1  支持数据接口的访问控制列表，可设置限制访问的IP地址、IP段和域名等规则，设置方式支持白名单和黑名单机制。

14.2  支持API访问地址的动态令牌变化，周期性自动更新访问链接，防止数据API访问链接外泄导致的数据安全问题。

14.3  可对API允许访问的数据进行条件筛选，使应用程序只能调用特定范围的数据。条件包括数据范围（用等式或不等式表示）、枚举范围，也可以使用SQL语法进行更加灵活的筛选设置。

14.4  支持同一个API接口针对不同权限的用户提供不同字段的数据。

14.5  平台对数据进行API封装时，支持对敏感字段脱敏输出。支持对每一个字段独立选择启用或不启用加密选项。选择加密后，API将以密文返回该字段的数据，程序提供解密秘钥才可以获得明文。

14.6  对于需要高度保密的数据，支持数据存储层的加密存储，以防万一数据泄漏时敏感信息外泄。

15.  用户管理：

15.1  支持用户账户的创建、删除、冻结操作。

15.2  支持与学校统一身份认证平台进行对接。

15.3  平台可进行分角色管理，将不同应用的访问权限授予角色组。一个用户可以属于不同的角色组。

15.4  支持创建二级管理员，并对二级管理员可使用的菜单进行授权。

15.5  支持创建二级管理员，并对二级管理员可审核及查看的API接口范围进行权限管控。

16.  应用管理：

16.1  支持查询平台已经发布上线的应用，包括名称、简介、版本、供应商、用户数量、使用的API列表、使用的数据源列表等。

16.2  可以查看每一个应用调用的API以及每个API每个字段所对应的数据表和数据字段

16.3  支持对平台的应用进行分类管理，同时可灵活调整应用分类及应用在分类中的显示顺序。

17.  运维管理：

17.1  支持基于B/S架构的图形化界面实现集群主机、组件和服务状态的监控，且提供统一入口的运维管理界面，无需多个管理系统之间进行切换管理。

17.2  提供Web图形化界面实现集群节点的监控，集群节点的运行状态能在界面上显示，能够监控节点CPU利用率均值及峰值、内存容量及其利用率、物理机磁盘利用率、磁盘I/O吞吐量及利用率、物理网络流量统计等。

17.3  支持Web图形化界面实现集群组件的启停、配置及其他管理行为，集群中不同组件的启动、停止、策略配置、资源池分配、服务添加、组件角色分配、是否加密存储等管理行为，均可以基于Web图形化界面进行管理配置。

17.4  支持Web图形化界面实现集群组件及服务的监控，集群中不同组件及其服务的运行状态都能在界面上显示，例如HDFS的使用率、Spark集群部署及运行状态、组件的不同角色分布在哪些服务器节点等。

17.5  平台运维管理系统应支持北向扩展的能力，即要运维管理系统提供相应的主机、组件状态、管理的API接口，使之可以集成到统一的运维管理平台中。

18.  系统管理：

18.1  平台集成Hadoop集群管理控制台功能，可直接查看、管理和配置Hadoop集群的组件、状态和参数。

18.2  平台支持以系统消息、邮件形式将数据使用异常、审核等情况实时通知管理员

18.3  平台支持待办事项功能，可以引导管理员完成工作。

二、应用开发及发布软件模块

1.      开发者管理：

1.1    提供可视化界面供开发者用户使用，用于应用程序的创建、注册、数据申请、应用发布、注销等。应用的创建、修改、上线、维护以及应用对数据API的调用都需要经过管理端审核。

1.2    在平台中支持数据使用者以开发者身份加入平台、支持开发者的创建、删除、冻结操作

1.3    可查询开发者的详细信息，包括账号、真实姓名、单位、创建的应用、已授权访问的API、以及开发者在平台中的操作日志

2.      应用管理：

2.1    支持查询平台已经发布上线的应用，包括名称、简介、版本、供应商、用户数量、使用的API列表、使用的数据源列表等。

2.2    应用的创建、修改、上线、维护以及应用中对API的使用都需要经过管理端审核。

2.3    支持对平台的应用进行分类管理，同时可灵活调整应用分类及应用在分类中的显示顺序。

3.      自定义管理：

3.1    支持自定义大数据平台的Logo，管理员可在后端根据需要上传相关的Logo图片

3.2    支持对大数据平台web页面头、尾部息进行编辑和管理，例如页面头部的自定义图样或LOGO、页面尾部的网站备案号、地址等信息。

4.       服务器集群管理：平台集成Hadoop集群管理控制台功能，管理端可直接查看、管理和配置服务器集群。

5.      消息管理：

6.1     平台支持以系统消息、邮件形式、学校统一消息平台将数据使用异常、审核等情况实时通知管理员

6.2     平台支持待办事项功能，可以引导管理员完成工作。

6.       模板管理：支持管理端上传统一模板供应用开发者在创建应用时下载使用。

三、数据管理配套咨询

1.       数据管理体制建设咨询服务：包含为湖南农业大学设计校级数据标准，对湖南农业大学的多个部门、主要业务系统涉及的业务范围、业务数据进行业务调研、数据采集、数据质量检核、数据清洗治理、主题数据建设等，并输出数据治理成果体系，提供数据管理体制的咨询服务等内容。针对数据治理过程中暴露出来的情况和问题，分析管理、流程、机制、考核等方面的原因，根据学校的管理特点，协助学校制定一套针对数据和信息化的工作标准和管理规范，主要包括数据标准遵从规范、数据标准管理和发布更新规范、权威数据责任管理规范、数据质量保障规范、数据共享交换规范、应用开发和上线管理规范等。