关于数据治理平台中数据仓库ODS、DW和DM概念理解

最新推荐文章于 2024-09-02 19:29:33 发布

饮水思源09

最新推荐文章于 2024-09-02 19:29:33 发布

阅读量1.3k

点赞数

分类专栏： Hadoop

本文链接： https://blog.csdn.net/xsfqh/article/details/116294383

版权

Hadoop 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

数据仓库ODS、DW和DM概念理解

最近在做数据治理项目，里面有些专业名词，如ODS、DW、DM，现特意将其梳理出来，便于掌握

ODS——操作性数据

DW——数据仓库

DM——数据集市

1.数据中心整体架构

数据中心整体架构

数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。

2.数据仓库的ODS、DW和DM概念

ods、dw、dm区分

3.ODS、DW、DM协作层次图

协作层次

4.通过一个简单例子看这几层的协作关系

5.ODS到DW的集成示例

集成例子

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

饮水思源09

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

数据治理浅析

ZHAOHUODIAN888的博客

08-28

1434

包括资产治理、数据质量监控、数据指标体系的建设等。其实数据治理的范围很⼴，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在DAMA 数据管理知识体系指南中，数据治理位于数据管理“车轮图”的正中央，是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等 10 大数据管理领域的总纲，为各项数据管理活动提供总体指导策略。...

数据仓库—stg层_数据仓库中的ODS DW DM理解

weixin_39610759的博客

12-19

4686

1. DW1.1 简介data warehouse(可简写为DW或DWH)数据仓库,是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”,而是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础,主要应用于OLAP(On-Line Analytical Processing),支持复杂的分析操...

1 条评论您还未登录，请先登录后发表或查看评论

一文概览数据仓库知识和面试.pdf

06-04

一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf一文概览数据仓库知识和面试.pdf

数据仓库基本概念

weixin_36190755的博客

09-29

1285

什么是数据仓库？ 数据仓库，英文名称为Data Warehouse，数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 ——比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》...

数据治理学习笔记（二）：在数仓建模过程中，数据治理要怎么做

热门推荐

残缺的歌的专栏

08-31

2万+

甲问：数仓建模时，涉及到uv(去重用户数)指标时，数据从哪里取，只能走ods原始数据层吗，汇总到dw层时，由于数据量太大，不能到用户粒度，所以在dw层中不包含用户粒度的数据，而且电商的报表分析，几乎每张报表都会涉及到uv指标，如果所有的uv指标都从ods层去获取，那样io是否会成为瓶颈，原始数据量也比较大。举例：比如说有个字段column_a，包含了几百个数据（1-500），统计时可能会统计条件为

数据仓库ODS层详解- 功能、设计与最佳实践

一个8年大数据开发工程师的碎碎念

07-28

4711

数据仓库ODS层是大数据分析的基石,为企业决策提供可靠数据源。本文深入探讨ODS层设计原则、实施要点和最佳实践,涵盖金融、零售等行业应用。重点关注云环境下ODS层部署策略,以及实时数据集成、数据湖技术等创新趋势。文章还分析了数据体量增长、实时性需求等挑战,提供实用解决方案。whether助您构建高效、安全、可扩展的ODS层,为数字化转型奠定坚实基础。#数据仓库 #ODS层 #大数据分析 #云计算 #数据湖

大数据DW架构记录

qq_34446614的博客

07-30

627

DW一直以来是企业信息与决策支持系统的核心组件，随着各类日志、社交、传感等非结构化数据的加入，企业内部数据按指数级增长，传统DW已经达到一个关键临界点——需要大量的资源投入到硬件、优化、支持和维护中，当前大部分使用Apache Hadoop来处理各种来源的大数据，但传统数据仓库不允许最终用户查询非结构化数据，此外，传统数据仓库并没有针对低延迟大容量数据负载和高吞吐量复杂分析工作负载进行优化——而这...

数据概念梳理，ODS概念总结

Jack_2085

01-08

569

1、 ODS概念总结_Robin.Wang Tech Blog-CSDN博客_ods概念DB（Database）数据库ODS（Operational Data Store）运营数据存储DW（Data Warehouse）数据仓储DM（Data Market）数据集市ODS产生背景人们对数据的处理行为可以划分为事务型数据处理（OLTP,On-Line Transaction Processing）和分析型数据处理(OLAP,On-Line Analytic Proces...https://blog.csd

全链路数据治理分层详解

sunxunyong的博客

07-03

658

ods（Operation Data Store 贴源层）：直接接入源数据-业务库、埋点日志、消息队列等。dwd（data warehouse details 数据细节层）：ods层数据去空/脏数据、离群值等，业务层和数仓层的隔离层，保持和ods层相同粒度。dwm（data warehouse middle 数据中间层）：dwd层数据轻微聚合，算出统计指标，生成中间表。

数据治理之死(一)

石竹的专栏

07-15

3422

最近这两年一直在做报表开发，从起先的PC端，到之后的大屏、手机、PAD，做来做去，其实差不多，很多报表是重复性的，只是表现形式上变化而已，而且多是那种中国式报表，领导又想做的和国外的报表一样好看，又想功能全面，在一个图里展现复杂的数据结构，并且有非常丰富的交互，即是数据都不达到，全是红色，也要那种深浅不一的红（我叫它五颜六色的红）。一个图柱子要叠起来，可以拖动时间，并且有两个纵轴指标，点击可以下钻...

ODS层存在数据，但数据未进到DW和DM是什么原因

06-15

ODS层存在数据但是数据未进到DW（Data Warehouse）和DM（Data Mart）可能有以下原因： 1. ETL（Extract, Transform, Load）流程中出现错误：ETL流程可能存在数据提取、转换或加载错误，导致数据未能成功进入DW和DM。 2. 数据质量问题：ODS层中的数据可能存在质量问题，如缺失值、重复数据、无效数据等，这些数据不符合DW和DM的要求，因此未能成功进入DW和DM。 3. 数据模型不匹配：ODS层和DW/DM之间的数据模型可能存在差异，导致数据无法被正确映射到DW和DM中。 4. 数据量过大：ODS层中的数据量可能过大，超出了DW和DM的容量限制，导致数据无法被成功加载到DW和DM中。 5. 未被设计为进入DW和DM：有时候ODS层中的数据并不是为了进入DW和DM而设计的，而是为了支持操作型系统的日常业务运营需求而存在的，因此并不需要进入DW和DM。需要根据具体情况进行分析来确定未进入DW和DM的原因。