一站式数据工场 Data Studio
提供数据的存储,集成,加工,治理,共享的全方位治理能力,解决了传统数据平台建设过程中,多工具,多界面的问题
800-828-1089
产品特色
-
数据融合支持主流的RDBMS数据库、NOSQL、大数据计算系统;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度带宽控制、并发数控制,全量和增量数据同步,屏蔽引擎层的复杂配置;支持页面可视化配置字段映射关系
-
数据开发基于Web的开发平台,提高开发效率’ 结合任务调度工作流,便捷完成整个ETL链路的开发;愉悦的WebIDE编程体验,支持代码自动补全,代码版本控制
-
数据质量配置化的数据规则校验,支持表级字段级校验;支持任务的定时运行,质量任务的阈值设定;支持数据质量报告的定时出具支持JAVA语义
-
任务调度分布式数据任务调度; 集群环境下支持任务的故障转移,支持多种任务路由策略; 支持DAG式的任务依赖关系; 支持任务邮件告警
-
离线计算引擎打通了多个计算存储引擎如:Spark、Hive、关系型数据库和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力
-
数据管理管理数据中台中数据的授权,审核,对于元数据包括表,字段,存储等信息的查询,用户可以向数据管理员申请需要的数据授权,管理员进行审批后放开数据使用权限给数据开发人员,数据授权操作记录可追溯,保障数据使用的安全性
技术特性
-
高可靠分布式任务调度,可靠性达到99.99%。
-
高性能数据融合支持各类异构数据源,同步性能比同类型工具提升30%
-
自定义基于JAVA语义的数据质量校验规则,用户可自定义质量逻辑规则,支持复杂的数据校验逻辑
-
多语言数据任务支持SQL、Python、Shell等任务类型,覆盖所有数据开发场景
使用场景
通过达科一站式数据工场 Data Studio可实现跨部门数据的传输、加载、清洗、转换和整合,支持用户进行自定义调度和图形化监控,实现统一调度、统一监控,满足运维可视化需求,提高运维管理工作效率。
1、数据加工:
实现大数据环境的ETL全链路调度,支持SQL,数据同步,Shell,python,数据质量等运行任务;
2、数据规范:
支持对全业务、全系统范围数据制定统一的标准;
3、数据质量:
支持进行数据质量校验,从而解决数据脏、乱、差问题;
4、数据集成:
支持具有海量数据处理能力的数据集成能力;
达科一站式数据工场 Data Studio使用流程: