南京维立志博完成近2亿元融资,昆药集团、华方资本领投
06-18
数据治理的定义基于DAMA国际数据管理协会对数据治理的定义:数据治理是对数据行使权力和控制的一组活动(计划、监控和执行)数据资产的管理活动。数据治理的最终目标是增加数据的价值。
数据治理流程 数据治理的主要流程: 数据集成 数据开发 数据质量 数据服务 1、数据集成 数据集成主要包括数据采集和清洗两部分。 2. 数据开发 数据开发包括编码开发和规范建模。
编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务、Spark任务等;规范建模用于构建逻辑数据模型。 3、数据质量 数据质量体现在:及时性、准确性、一致性和时效性。
随着业务的发展,企业调整和优化业务、产品和服务的速度也会加快。在使用一些强调实时性的数据时,企业技术、分析和管理人员需要在短时间内使用数据。
一旦数据不能被及时利用,数据很可能就没有价值了。准确性 如果数据不准确,则数据的价值就会丢失。
因此,未来数据的准确性得到了保证。会做数据准确性测试和数据准确性监控。
一致性 提供给下游使用的数据必须有统一的口径和解释。通常情况下,指标是由分析师定义的,但在实际开发中,业务、产品甚至研发自己往往会定义一些指标,而结果往往会因为数据范围的不同而不一致。
因此,为了避免结果不一致,数据结果必须有一个验证过程。 4、数据服务 数据服务为数据应用提供支撑:决策支持、数据大屏、数据智能应用等服务。
数据治理架构 总体系统框架 总体技术框架 总体技术框架 数据平台 传统大数据平台 大数据平台_1 传统MPP平台 大数据平台_2 数据管理体系及运行机制 数据管理体系及运行机制 数据管理组织结构 数据管理组织结构 优势数据治理中的DawnSql DawnSql数据治理平台 DawnSql架构图 1.降低成本 DawnSql是分布式的 它是一个离线数据仓库,也是一个实时数据仓库。 DawnSql既支持标准Sql和NoSql,也支持自定义语言。
DawnSql是分布式缓存,支持数学实时反馈,提高实时数据对业务的价值。 DawnSql是一个分布式服务平台,可以支持服务的负载均衡和故障转移。
DawnSql 支持机器学习并扩展其方法。结论:DawnSql=传统大数据平台+MPP平台+微服务框架。
也就是说,以前需要多系统、多平台的支持,现在只需要一个DawnSql。开发成本、运维成本、硬件成本大幅降低。
2、提升数据价值 与其他平台相比,DawnSql在提升数据价值方面具有更快的时效性和安全性。企业对数据的使用将更加快捷、安全。
因为DawnSql不仅仅是一个缓存,它还可以根据企业的实际业务需求,为不同的人和不同的业务授予不同的数据读写权限。让数据被企业更快、更准确、更安全地使用。
版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
标签:
相关文章
06-18
06-06
06-18
最新文章
【玩转GPU】ControlNet初学者生存指南
【实战】获取小程序中用户的城市信息(附源码)
包雪雪简单介绍Vue.js:开学
Go进阶:使用Gin框架简单实现服务端渲染
线程池介绍及实际案例分享
JMeter 注释 18 - JMeter 常用配置组件介绍
基于Sentry的大数据权限解决方案
【云+社区年度征文集】GPE监控介绍及使用