首页
课程中心
专家团队
新闻中心
精彩活动
关于我们

课程中心

数据中台与大数据建设的方法与实践(录播)

  • 主讲老师:范老师
  • 培训天数:5天
  • 公开课费用:1980元/人

中国的IT产业经历了十多年的发展,已经获得了长足的进步。未来IT产业新的增长点包括数字产业、机器学习、人工智能。但当我们真正要开展这类业务时,却惊奇地发现,没有数据中台,我们什么都干不了。为解决相关企业数据中台与大数据建设的需要,培训中心特举办“数据中台与大数据建设的方法及实践”培训班。

 

培训特色

本课程的授课特点是注重实战,通过讲师十几年经验收集的大量真实案例,与学员共同探讨数据中台的技术架构,以及如何简化技术开发成本,开展更多的数据挖掘、人工智能业务的思路与模式。通过总结以往项目过程中技术人员常犯的错误,分析和探讨正确的方法论,使相关企业少走弯路,高效构建属于自己的数据中台。

 

本课程有企业内训形式,授课老师、课程内容、教学方式均依据企业的培训需求灵活设置。

 

本网站内容包括并不限于课程介绍、课程大纲、上课照片、老师介绍等等资料及信息,未经允许不得抄袭和转载。

培训对象

1、系统架构师、系统分析师、高级程序员、资深开发人员。

2、牵涉到海量数据处理的机构数据中心运行、规划、设计负责人。

3、云服务运营服务提供商规划负责人。

4、高校、科研院所牵涉到数据中台与大数据的项目负责人。

 

培训内容

第一讲 数据中台建设(基础篇)

本节要点:

    中国的信息化建设开始由IT向着DT转型,在未来的3-5年时间里,各行各业都会陆续建设起来自己的数据中台。只有有了数据中台作为基础,才能落地更多的人工智能应用。然而,什么是数据中台,它有什么功能,该如何建设?本节从DT转型的过程开始梳理,帮助大家准确理解数据中台的建设。

目标:

    1、准确理解数据中台,数据驱动,以及数据价值变现

  2、在数据中台中实践“尽可能采集数据、更好地整理数据、有效地挖掘数据价值”

  3、将“自顶向下”与“自下而上”相结合,制订切实可行的数据中台建设路线图

  4、数据中台的技术架构最终落地到分布式大数据技术上

内容:

    1、从IT向DT的信息化转型

     1)以部门为单位的IT建设及其局限

     2)基于SOA架构的IT建设及其局限

     3)互联网架构发展及其数据需求

     结论:我们需要存储、处理、应用海量数据的能力

  2、数据应用成熟度

     1)查询统计:数据分散于各业务系统,无质量管控,应用价值低

     2)决策支持:数据集中于数据仓库,有质量管控,但局限于数据库、数据采集手段等问题

     3)数据中台:让数据产生价值(核心)

  3、数据中台

     1)尽可能多地收集数据

     2)更好地整理归集数据

     3)如何去挖掘数据的价值

  4、数据中台的建设思路

     1)自顶而下

     2)自下而上

  5、数据中台的技术架构

 

第二讲 数据中台建设(大数据篇)

本节要点:

数据中台建设的底层技术框架是大数据技术。通过大数据技术,可以为数据中台提供丰富的手段,采集更多的数据、更高效处理数据,以及有更多的方式挖掘数据价值。那么,什么是大数据技术,它们有什么丰富的手段,怎么建设大数据技术中台,去支撑数据中台?

目标:

    1、了解大数据技术的运行原理,理解大数据为什么能够高效处理海量数据

  2、掌握大数据有哪些丰富的技术,如何支撑数据中台的各个层次的应用

  3、掌握大数据技术中台的建设思路,如何封装技术框架、支撑业务应用

内容:

  1、传统关系型数据库的设计局限

       1)数据量

     2)计算能力

     3)数据复杂性

  2、分布式大数据的设计理念

     1)分布式并行计算

     2)移动计算而不是移动数据

     3)分布式计算发展历程与未来趋势

  3、大数据技术及其生态圈

     1)Hadoop核心组件:MapReduce,HDFS

     2)并行计算框架:Spark vs. MapReduce

     3)在线查询:HBase与Impala

     4)流式计算:Flink vs. Spark Stream

     5)文本索引:Solr vs. ElasticSearch

     6)Zookeeper与高可靠架构

     7)Kafka分布式队列与日志收集

     8)数据挖掘工具:Mahout、SparkR与Spark ML

  4、数据中台的大数据技术中台建设

     1)数据中台的大数据技术框架

     2)数据中台的大数据关键技术

        a. Hadoop的工作原理与HDFS

        b. Spark的工作原理与分布式内存计算

     3)数据中台的大数据技术中台建设

        a.将技术框架与业务应用解耦

 b.抽象共性、降本增效的思想方法

 c.业务层、基础层与技术层的建设思路

 

第三讲 数据中台建设(数据治理篇)

本节要点:

    在数据中台建设中,数据治理起到及其重要的作用,可以有效地进行数据质量管理,为后续的数据应用打下良好的基础。在本节课程中,老师详细拆解,多样化地采集数据,设计ETL过程,进行数据质量管理,运用大数据技术构建数据仓库。

目标:

    1、掌握大数据技术结构化与非结构化的数据采集

  2、掌握数据中台的ETL过程与数据仓库建设实践

  3、如何运用大数据技术进行ETL过程与数据仓库建设

内容:

1、数据中台中数据采集功能的建设思路

 1)结构化数据采集(Sqoop框架)及其案例实战

 a. Sqoop数据导入设计实战

 b. Sqoop数据导出设计实战

 c. Sqoop在大数据技术中台中的设计思路

 2)非结构化数据采集(flume+kafka+spark streaming)及其案例实战

 a. flume+kafka+spark streaming的设计原理

 b.用户行为分析的应用实战

2、数据中台中的数据质量管理与数据仓库

1) ETL过程中数据清洗、转换、集成及其应用实战

2)运用大数据技术进行ETL过程的应用实战

 a. Spark+Hive的设计原理与实战

 b. Spark+Hive在大数据技术中台中的设计思路

3)多维数据模型与数据仓库建设

 a. 多维数据模型的概念及其应用实践

 b. 雪花模型、星形模型与主题域模型的建设过程

 c. 分享在数据仓库建设上遇到的那些“坑”及其解决思路

3、数据中台的质量体系建设

     1)数据体系规划:原始数据层、数据仓库层、数据集市层

     2)数据资产管理:资产规划、数据治理、标签管理

     3)数据质量管理:元数据管理、数据血缘管理

     4)数据仓库建设:多维数据建模、事实表、维度表、聚合表

 

第四讲 数据中台建设(数据应用篇)

本节要点:

    数据中台建设的核心就是数据驱动,也就是以数据价值变现为核心,思考如何挖掘数据价值、设计数据产品、形成数据应用,甚至是智能应用。老师将通过一大波的应用案例,带领大家去探寻数据应用的神奇世界,挖掘数据应用世界的神奇宝藏,以及挖掘这些宝藏的金钥匙(思路与方法)

目标:

  1、掌握数据价值变现的常见方法(可视化、风控、推荐、人工智能等)

  2、掌握基于数据集市的数据建模过程(经验模型、数据模型)

  3、掌握如何将数据应用落地到大数据技术中台建设

内容:

1、数据中台的核心是数据价值变现

     1)数据可视化

        案例:网络运营商大数据监控系统建设过程

     2)数据风控

        案例:税务系统虚开发票风险监控系统建设过程

     3)数字化运营

        案例:用户行为分析与数字化运营的建设过程

     4)数据挖掘与人工智能

        案例:远程智慧医疗平台的人工智能建设过程

2、数据集市的系统建设与数据标签

1)数据集市的概念与应用举例

案例:税务系统虚开发票风险监控系统的数据集市应用

2)数据血缘管理的概念及其设计

a. 数据血缘管理在数据质量管理中的重要作用

b. 数据血缘管理的相关设计及其实践

3)数据标签的分析设计与开发

a. 数据标签的类型与在数据分析中的作用

b. 数据标签融合表及其设计实践

 

第五讲 数据中台建设(数据服务篇)

本节要点:

  数据中台经过一系列的分析处理之后,最终要对外提供数据服务才能价值变现。数据展现与数据服务是价值变现的最后一步,是用户对产品质量最直观的感受。因此,数据服务需要提供良好的用户体验,就需要数据服务“快、准、美”。

目标:

    1、掌握在海量数据中离线分析、在线分析与近线分析的设计思路

  2、掌握在海量数据中秒级查询的设计思路(数据索引)与实践

  3、理解打造支持快速数据分析展现的大数据技术中台建设思路

内容:

    1、海量数据的离线分析、在线分析与近线分析

     1)离线分析的概念与设计实践

        案例:税务系统虚开发票风险监控系统的风险数据离线分析

     2)在线分析的概念与设计实践

        案例:网络运营商大数据监控系统的实时流量监控

     3)近线分析的概念与设计实践

        案例:用户行为分析与数字化运营的分析设计过程

    2、海量数据的秒级查询的设计实现

     1)分布式NoSQL数据库的设计实践

         a. 传统关系型数据库的局限与NoSQL数据库

        b. MongoDB的工作原理与设计实践

        c. HBase的工作原理与设计实践

     2)分布式索引ElasticSearch的设计实践

        a. ElasticSearch的工作原理与设计实践

        b. ElasticSearch的优化与在技术中台中的设计思路

     3)分布式MOLAP框架Kylin的设计实践

        a. Kylin的工作原理与设计实践

        b. Kylin的降维设计与性能优化

    3、海量数据的数据服务与数据共享

     1)大数据分析报表系统的技术中台建设思路

     2)大数据服务共享平台的技术架构与建设思路

汇款、微信转帐

 

汇款信息:

单位名称:北京市海淀区中科院计算所职业技能培训学校

开户行:工行海淀西区支行

账号:0200 0045 1920 0043 667

开户银行代码:1021 0000 0458

 

微信转账:

    步骤一:打开微信,扫描二微码付款时,点击打开微信右下角里的“发现”,在列表界面有一个“扫一扫”选项,点击打开“扫一扫”(如下图):

    步骤二:点击打开“扫一扫”后,会出现一个扫描框,将中科院计算所培训中心二维码/条码放入框内,即可自动扫描,并显示支付信息,输入付款金额。

                                                                                                        

    (中科院计算所培训中心二维码)

 

    步骤三:点击 “添加付款备注”,填写付款人姓名和单位全称,所有信息核对无误后,点击“确认付款”,完成支付。

 

                

 

  • 注意:步骤三是为了尽快确认您的培训费用是否到帐,方便为您查帐,所以一定要把付款人姓名和单位名称填写完整,如果姓名和单位名称超过20个汉字,单位名称可以填写简称。

京公网安备 11010802025851号

 京ICP备14030124号-1  

QQ咨询

免费电话

010-82661221

微信咨询

微信客服

在线报名

返回顶部