《小赢数仓开发手册1》是一份由大数据平台部制定的专业数仓开发指南，旨在为小赢科技的数仓建设提供明确的操作流程和规范。该手册由邹波签发，自2019年3月8日发布，并经历了多次修订以不断完善内容。 第一章前言部分，明确了文档的目的和适用对象。文档的目的是为了规范和指导小赢数仓的开发工作，确保数据仓库的高效、稳定和标准化建设。适用对象主要是参与数仓开发的工程师和技术团队，他们可以通过这份手册学习和遵循相应的开发流程和规范。 1.1.1 文档目的主要强调了建立统一的开发标准，提高数据处理效率，降低维护成本，以及提升数据的准确性和一致性。1.1.2 适用对象不仅包括数仓的开发者，也包括对数仓有使用需求的业务分析人员，以及需要监控数仓运行状况的运维团队。 第二章系统简介，对小赢的大数据数仓体系进行了概述，阐述了数仓的整体架构和功能。2.1 部分介绍了小赢科技在大数据领域如何构建其数据仓库，涵盖了数据的采集、存储、处理、分析等多个环节。2.2 部分通过架构图的形式直观展示了数仓的层次结构和各个组件之间的关系，帮助读者理解系统的整体运作逻辑。 第三章是命名规范，这是数仓开发中的基础也是关键部分。3.1 数仓基本命名规范确保了所有数据和脚本的命名都有统一的标准，便于理解和管理。3.1.1 数据分层代码命名规范规定了不同层级的数据（如ODS、DW、DWD等）应如何命名，以便于识别数据来源和处理阶段。3.1.2 数仓各层脚本命名规范则对ETL过程中的脚本命名做了详细规定，增强了脚本的可读性和可追溯性。 后续章节可能涉及到的内容可能包括数据模型设计、ETL过程、数据质量控制、性能优化、安全策略以及问题排查等方面，这些内容对于构建和维护一个高效、可靠的小赢数仓至关重要。通过遵循《小赢数仓开发手册1》中的指导，开发团队能够确保数仓的建设和运营符合最佳实践，满足业务需求，并为公司的数据分析和决策支持提供坚实的基础。

课程分享——实战Flink+Doris实时数仓课程，大家下载学习。

Atlas2.3.0已经编译好的版本

1.1数据仓库的趋势关于数据仓库的概念就不多介绍了。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变得越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据仓库的趋势：实时数据仓库以满足实时化&自动化决策需求大数据&数据湖以支持大量&复杂数据类型?1.2数据仓库的发展数据仓库有两个环节：数据仓库的构建与数据仓库的应用。早期数据仓库构建主要指的是把企业的业务数据库如ERP、CRM、SCM等数据按照决策分析的要求建模并汇总到数据仓库引擎中，其应用以报表为主，目的是支持管理层和业务人员决策（中长期策略型决策）。随着业务

主要包含中信银行数仓开发的系列流程资料： 1、ETL单元开发及测试 2、业务场景梳理 3、风险管理系统 4、集成测试 5、数仓模型 6、详细设计文档 7、项目排期分工 8、银行业务学习 9、源系统数据分析 10、总体设计文档 适合转行以及从业与金融行业的数据开发，ETL及金融数据分析人员，资料比较齐全清晰，有相应的案例以及对应的代码，资料可以帮助我们梳理银行数据仓库各个层之间的工作，以及银行数仓工作的核心工作内容，了解银行源系统数据样式，数据抽取加工的过程，银行主题划分，以及各个主题间各自的关联方式等。

主要包含中信银行数仓开发的系列流程资料： 1、ETL单元开发及测试 2、业务场景梳理 3、风险管理系统 4、集成测试 5、数仓模型 6、详细设计文档 7、项目排期分工 8、银行业务学习 9、源系统数据分析 10、总体设计文档 适合转行以及从业与金融行业的数据开发，ETL及金融数据分析人员，资料比较齐全清晰，有相应的案例以及对应的代码，资料可以帮助我们梳理银行数据仓库各个层之间的工作，以及银行数仓工作的核心工作内容，了解银行源系统数据样式，数据抽取加工的过程，银行主题划分，以及各个主题间各自的关联方式等。

企业大数据平台下数仓架构.pdf

企业型数仓全知识体系介绍，包括大数据平台架构、数仓架构、数仓建模、常见模型、事实表、设计规范、表命名规范、开发规范、流程规范、元数据管理、维度表、三范式与反范式、数仓分层、数据治理、ETL、数据倾斜等

实习老师讲解视频部分截图

《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。