数据中台（初级）

用户是系统操作者，该功能主要完成系统用户配置。

配置系统组织机构（公司、部门、小组），树结构展现支持数据权限。

配置系统用户所属担任职务。

配置系统菜单，操作权限，按钮权限标识等。

角色菜单权限分配、设置角色按机构进行数据范围权限划分。

对系统中经常使用的一些较为固定的数据进行维护。

对系统动态配置常用参数。

系统通知公告信息发布维护。

系统正常操作日志记录和查询；系统异常信息日志记录和查询。

系统登录日志记录查询包含登录异常。

当前系统中活跃用户状态监控。

在线（添加、修改、删除)任务调度包含执行结果日志。

监控（系统驱动，java版本,jvm,class路径，数据源，sql监控，Sql防火墙，web应用，url监控，Session监控，Spring监控）

服务器CPU监控，内存监控， Java虚拟机信息， 服务器信息

监控Redis服务状态，内存信息

监控redis key和值

拖拉拽构建表单，并生成前端代码

根据数据表生成 系统接口类，实现类，mapper等

系统API文档

配置系统数据源，使数据源可配置化，灵活扩展

新增，更新，删除系统项目信息

支持MYSQL/ORACLE/HIVE/CLICKHOUSE/DORIS/Phoenix/SQLServer/PostgreSql/StarRocks/Presto/达梦/人大金仓 数据源的新增修改删除和测试连接

支持文件的上传管理

配置数据集成的任务插件，使任务插件可配置化和灵活扩展

采用XXJOB分布式调度，支持高可用，资源繁忙自动分配和自定义指定资源，支持Datax，java,python,shell,SQL,POWERSHELL,PHP,NODEJS,FLINK批任务上述类型任务脚本的调度和编辑

添加和编辑kettle数据库资源库

管理资源库目录，支持任务脚本的移动和资源库目录创建，支持kettle在线编辑

采用XXJOB分布式调度，支持高可用，资源繁忙自动分配和自定义指定资源

kettle任务的调度日志查看

执行器支持分组部署，可以部署在多台服务器上

用来监控执行任务的执行器服务

Datax，java,python,shell,SQL,POWERSHELL,PHP,NODEJS,FLINK批任务上述类型任务脚本的调度日志查看

支持在线编辑FlinkSql，UDF，支持yarn模式和本地模式和单机模式（需要客户有自己的Flink环境）

支持自定义告警策略，可以自由编辑告警规则

监控Flink任务的运行状态，查看flinK的日志，状态保存点和恢复状态保存点，告警日志查看

配置FlinkSql中的脚本变量，在执行过程中自动替换

定义元数据的主题域，用来给元数据打标签，方便分层和管理

定义元数据的所属标签，用来给元数据打标签，方便分层和管理

定义元数据的主题域和标签，用来与元数据整体绑定

采集并配置元数据输入源，支持单表和整库采集

记录元数据采集成功或者失败，记录采集数据和具体的表

浏览元数据详细信息包含，库，表，字段，所属部门，所属主题域，所属标签，所属负责人等信息，支持修改元数据，后续会新增血缘关系图

以树状目录的形式展示元数据的整体信息

查看元数据的修改记录

定义数据安全等级，并绑定用户角色组，区分哪些角色能哪些角色不能看

管理数据按目录层级，使数据层级分明

支持自定的脱敏规则，比如手机号 156xxxx2561等（脱敏只能用于字段级别）

支持MD5加密/BASE64加密/SHA_1加密/SHA_256加密/AES加密/DES加密,并能自己指定加密密钥（加密可以整表加密，或者某个字段加密）

根据用户定义的规则，去自动配置库中的表和字段，免去繁琐的手动添加，支持前缀匹配和正则匹配

用目录树的形式展示和添加修改及删除需要加密的表和字段信息用来加密和脱敏，支持表级别和字段级别

配置字段编码字段，使数据统一规范化

配置字典与数据表的对应关系，自动检索不符合规则的数据，并展示符规范的数据查询sql和不符合规范的数据查询sql方便数据定位和维护，统计符合规范和不符合规范的数据数量

支持字段唯一性校验/字段完整性校验/字段及时性校验/字段长度准确性/字段一致性校验/数据一致性校验等系统内置规则，还支持自定义SQL规则和正则表达式 规则校验

配置质量信息，见质量规则与库表绑定，用于系统自动检测

支持手动根据规则核验和系统自动定时检验，展示规则执行状态，核验状态，核查的配置信息（数据来源信息，核验结果信息），标准的检查SQL以及核验成功失败日志

统计所有规则的核验数据情况

新增修改和删除主数据目录，用来将数仓分级分层，每个数据层绑定相关库，比如（数据细节层DWD，数据中间层DWM ，数据服务层DWS等等）

添加主数据，浏览模型信息（包含 库的基本信息，字段信息，DDL信息），支持字段修改，字段新增，数据探查（和数据安全绑定，没有权限的或者加了加密和脱敏的都已配置形式展示）

对数据目录构建数据模型，支持建模配置的SQL查看，数据模型提交

数据建模提交后的审核，支持查看建模SQL，支持修改，审核通过和不通过，支持物化（即在对应库中构建物理表）

支持SQL的查询，修改和删除操作，支持数据的导出（后续会优化数据库的 查询，更新和删除权限，以及绑定数据安全的配置 已加上）

管理请求数据API的客户，支持请求次数的限制和Token过期时间的限制

管理数据API接口，支持POST和GET请求，支持公有接口和私有接口定义，支持Mybatis动态SQL查询，支持事务，支持SQL调试和接口请求测试，支持API文档导出

管理和限制请求api的IP白名单和黑名单，支持接口规定规定时间内的限流

管理数据API接口的调用日志，记录调用客户，API名称，响应时间，请求IP，调用参数，错误信息，返回信息

管理和配置Flink裸机实例

管理和配置Flink的YarnApplication集群实例

管理和配置Flink参数，UDF模板，函数等等

支持配置 企微，邮件，钉钉，飞书，短信，HTTP报警方式

配置告警组合，比如 同时报警不同的方式 企微+邮箱

管理告警信息内容的模板

资产分类和分主题

支持各中文件的上传下载和预览

系统元数据资源，API接口资源，文件资源汇总挂载，发布，上架或下架，发布资源在数据集市里面浏览申请订阅