数据中台建设：从方法论到落地实战(博文视点出品)（精装版）

3.3  数据中台的8大设计准则

数据中台对外部体现的是公共的数据服务能力，赋能业务快速、敏捷、智能响应客户的需求。数据中台对内体现的是工具化和模块化的能力，提升数据工作者的效率。数据中台的核心是实现数据价值最大化，始终围绕着业务需要什么数据、业务需要什么能力、业务需要什么工具和平台、业务需要什么服务等。笔者提炼了数据中台的8大设计准则。

3.3.1  有数能用

有数能用重点解决数据的采集、获取、接入等问题，解决“数据孤岛”问题，让数据来源更加丰富，更加稳定，为数据中台源源不断地提供数据资源。“有数能用”的标准是尽可能获得更多的数据，支持对业务价值的挖掘。数据可以来自内部业务系统或外部平台。有数能用需要遵循以下原则。

（1）采集和接入的数据字段的长度、精度、类型、编码、格式等应符合要求。

（2）对采集和接入的数据应进行初步的数据检验，要保障数据质量，如空值率、数据重复情况、数据的完整情况、数据条数、乱码情况校验等。

（3）必须保留接入数据的元数据详尽信息，如数据字典、数据来源、接入方式等。

（4）数据接入的接口符合接口规范，如数据安全、数据隐私、传输延时等。

（5）满足接入数据及时性和稳定性的要求。

3.3.2  让数据可用

让数据可用着重解决的是数据标准化、数据清洗和规整，以及与数据质量相关的问题，统一数据标准，消除歧义，提高数据质量。在数据接入后，要做到让数据可用，需要将异构、差异化的数据初步转化为符合企业数据使用规范的数据，然后将其存储在企业的数据平台上。让数据可用需要遵循以下原则。

（1）符合命名规范。

（2）符合企业对数据准确性、完整性、一致性、有效性、唯一性、及时性、稳定性等数据质量管理标准的要求。

（3）符合企业元数据管理规范的要求。

3.3.3  让数据好用

让数据好用解决的是数据模型抽象和数据平台效率等问题，让数据血缘关系清晰，支持离线和实时计算，让数据成为资产，且让数据能够复用、好用、实时可用。让数据好用主要涉及与数据模型相关的行为准则和规范，保障了数据模型清晰和好用。让数据好用需要遵循以下原则。

（1）符合字段、表、程序等命名规范。

（2）符合企业对数据准确性、完整性、一致性、有效性、唯一性、及时性、稳定性等数据质量管理标准的要求。

（3）遵循数据清洗、转化和数据校验规则。比如，身份证号处理、字段合并、空值处理、脏数据处理、重复数据处理等。

（4）数据分层逻辑清晰，屏蔽底层复杂业务逻辑，避免直接操作底层的事实表。

（5）遵循隐私数据加密处理和数据授权管理规则。

（6）减少数据获取时间，提高使用效率。

（7）提高数据仓库的使用效率。

3.3.4  让数据易用

让数据易用重点解决的是数据操作工具化、可视化等问题，提供便捷的开发环境，让数据更有穿透力、更直观地呈现数据价值，让数据很容易被人使用，降低数据使用门槛。让数据易用需要遵循以下原则。

（1）配套的数据开发、运维、管理工具齐全和好用。

（2）数据可视化工具齐全、好用。比如，BI工具、自动取数工具、自助分析工具等。

（3）数据文档清晰、完备、易用。

3.3.5  让数据放心用

让数据放心用解决的是数据安全、客户隐私保护和数据合规等问题，让数据合规、安全、可靠，用起来没有后顾之忧，用起来安心、省心、放心。让数据放心用需要遵循以下原则。

（1）数据来源合法合规。

（2）符合数据安全和隐私保护规则。

（3）数据接口安全、可靠。

3.3.6  让数据更智能

让数据更智能解决的是数据价值分析、挖掘、提炼和萃取等问题，让业务更加智慧。让数据更智能需要遵循以下原则。

（1）做好智能的抽象、分类和封装，提高模型复用性。

（2）提高算法和模型的效率，降低延迟，提高使用效率。

（3）提高模型建设、评估、测试、应用、迭代流程的可视化能力和自动化水平。

3.3.7  让数据服务化

让数据服务化解决的是数据能力的抽象、封装、共享和服务化问题，实现数据服务线上化、模块化、产品化和共享化，支持基于客户需求的解耦和洞察，自动化组装数据服务来满足客户需求，实现从需求到响应的全流程自动化和智能化。让数据服务化需要遵循以下原则。

（1）满足数据服务接口规范。

（2）提高数据的抽象设计和聚合能力，增强数据服务的复用性。

（3）满足数据服务的双向性：主动推送和被调用。

（4）遵循数据服务高可用性和高稳定性原则。

3.3.8  让数据可控

让数据可控解决的是数据管理和数据监控体系的问题。数据是重要的资产。企业需要像对待其他虚拟资产一样，做好数据资产的管理和监控，让数据朝着高价值的方向流动。让数据可控需要遵循以下规范。

（1）数据标准化规范。

（2）数据质量管理规范。

（3）数据生命周期管理规范。

（4）数据安全管理规范。

彭勇，国家公派留法计算机博士，中关村管委会技术专家，中国保险学会特聘保险科技专家。彭勇从事大数据研究和应用相关工作约16年，负责大数据创新项目超过100个，在数据仓库建设、数据中台建设、保险产品定制和创新、精算定价、精准营销、产品推荐、风险管理、智能理赔、人工智能、数字化转型等方面经验丰富。彭勇现就职于全球知名保险定制平台——保准牛，担任首席科学家。

数字化体系正在各个行业落地生根。本书首先介绍了工业、智慧农业、智慧服务业、智慧城市的数字化建设现状和发展趋势，让读者初步了解数字化发展。

数据中台是企业数字化建设的基础。本书重点介绍了数据中台的定义、整体框架和建设的方法论。该方法论主要涉及企业数字化发展战略、组织架构变革、数据的存储和建模、数据平台的建设、数据服务框架、数据产品化和数据智能化建设等多个方面的内容。

本书通过企业中两个热门场景的应用详细介绍了数据中台的落地实战。第一个是营销场景。企业通过营销中台的建设，构建了智能化营销体系，有效地提升了数据驱动营销的效能。第二个是风险管理场景。企业通过风险管理中台的建设，支持“事前—事中—事后”的智能风险管理，大幅提升了风险管理的效率和能力。

本书适合科技企业和互联网企业的创始人、中高层管理人员、数据战略负责人、首席数据官、信息系统负责人，以及正处于转型中的传统企业管理者和政府相关部门的工作人员阅读。

第1章 数字化转型是大势所趋

第2章 认知数据中台

2.1  什么是数据中台

2.2  建设数据中台的价值 

2.3  数据中台的建设目标 

2.4  数据中台与上下游平台的关系

2.5  数据中台建设的9大误区

2.6  行业对数据中台的4个认知阶段

2.7  数据中台服务化发展阶段 

第3章 数据中台建设方法论

3.1  数字化战略

3.2  数据中台的整体框架

3.2.1  统一数据基础设施平台

3.2.2  数据接入和汇聚平台

3.2.3  统一数据模型平台 

3.2.4  统一ID和标签平台

3.2.5  数据开发和运维平台

3.2.6  数据智能平台 

3.2.7  数据管理平台

3.2.8  数据服务平台 

3.3  数据中台的8大设计准则 

3.3.1  有数能用

3.3.2  让数据可用 

3.3.3  让数据好用

3.3.4  让数据易用 

3.3.5  让数据放心用

3.3.6  让数据更智能

3.3.7  让数据服务化

3.3.8  让数据可控

3.4  数据中台行动攻略 

3.4.1 “九看”方法论

3.4.2  数据中台MVP建设路径

3.5  数据中台技术选型

第4章  统一数据模型：让数据资产化 

4.1  数据标准化体系的价值

4.2  数据资产管理体系介绍 

4.3  高效数据建模，让数据好用起来

4.3.1  统一数据模型的意义

4.3.2  统一数据模型具体做什么

4.3.3  如何建设统一数据模型 

4.4  对维度建模进一步探索

4.5  统一建模的注意事项 

第5章 数据计算平台：让数据“飞”起来

5.1  计算平台的应用场景 

5.2  应用场景一：批处理 

5.3  应用场景二：实时计算

5.4  应用场景三：实时查询 

5.5  应用场景四：海量日志和信息检索

5.6  应用场景五：多维分析

5.7  应用场景六：图计算

5.8  应用场景七：人工智能计算

第6章 算法即服务：最大化实现数据价值

6.1  算法的价值 

6.2  建模标准化流程 

6.2.1  业务理解贯穿始终 

6.2.2  数据准备

6.2.3  数据预处理

6.2.4  特征工程

6.2.5  模型构建 

6.2.6  模型评估 

6.2.7  模型部署，让模型服务化

6.2.8  模型监控和迭代

6.3  算法即服务应用实践 

6.4  算法即服务须遵循的原则

6.4.1  算法即服务需要业务知识的输入，业务理解贯穿建模始终

6.4.2  算法不是万能的，有适用的场景

6.4.3  要合理地平衡算法的计算性能和效果

6.4.4  要优先选择混合模型 

6.4.5  要尽量实现建模全流程自动化

第7章 数据产品：让数据应用更便捷 

7.1  自助取数和自助分析 

7.2  数据爬虫

7.3  客户画像 

7.4  标签圈选 

7.5  客户分群 

7.6  数据可视化工具 

7.7  规则引擎

第8章 营销中台：让营销更精准、更及时

8.1  数字化营销是大势所趋

8.2  营销体系升级

8.3  营销中台建设

8.3.1  营销中台框架图 

8.3.2  营销中台功能介绍 

8.4  营销中台应用案例

8.4.1  电话营销续保精准营销

8.4.2  广告精准投放获客+线索转化 

8.4.3  保险智能销售助手 

第9章 风险管理中台：360°的风险管家

9.1  风险管理中台

9.1.1  主要风险管理节点示例 

9.1.2  风险管理中台框架图

9.1.3  风险管理中台功能介绍

9.1.4  风险管理的标准化流程 

9.2  风险管理中台的应用案例

9.2.1  反“薅羊毛”

9.2.2  语音质检风险筛查 

9.2.3  车险理赔反欺诈 

9.2.4  团体保险风险管理体系 

9.2.5  人身险风险管理建设