首页
课程中心
专家团队
新闻中心
精彩活动
关于我们

课程中心

基于Python的Spark大数据处理技术

  • 主讲老师:杨老师
  • 培训天数:3天
  • 公开课费用:5800元/人
1、学习Python和Spark的相关基础知识。
2、学习Python和Spark的核心技术方法及应用。
3、了解Python和Spark在数据分析中的使用。

Python是数据分析最常用的语言之一,而Apache Spark是一个开源的强大的分布式查询和处理引擎。本培训用详尽的例子介绍了如何使用Python来调用Spark的新特性,如何处理结构化和非结构化的数据,如何使用PySpark中一些基本的可用数据类型,如何生成机器学习模型、操作图像、阅读串流数据以及在云上部署你的模型。

本培训结合简单实例来介绍PySpark大数据处理。内容包括对Apache Spark基础知识介绍,弹性分布式数据集RDD的内部运行方式讲解,分析利用DataFrame加速PySpark,准备数据建模,检查重复数据及异常数据,分析描述性统计、数据相关性,介绍MLlib数据挖掘工具应用,讲解ML机器学习包功能,使用Blaze实现持久化,讲解Tensorflow基础,分析结构化流Streaming,以及打包Spark应用程序,提交作业和监控执行等。

本培训将结合实例,对Python和Spark基础进行讲解,通过实际操作,了解云环境下,大数据处理、数据探索的基本方法。

 

 

 

本课程有企业内训形式,授课老师、课程内容、教学方式均依据企业的培训需求灵活设置。

 

本网站内容包括并不限于课程介绍、课程大纲、上课照片、老师介绍等等资料及信息,未经允许不得抄袭和转载。

对大数据的前沿技术非常感兴趣的人。

有志于成为一名数据科学家的从业人员。

有一定算法和编程基础的技术爱好者。

第一讲 Spark基础知识

1)什么是Apache Spark

2)Spark作业和API

3)DataFrame和Dataset

4)Spark 2.0的架构

5)SparkSession介绍

6)Tungsten Phase 2

7)结构化流

 

第二讲 弹性分布式数据集

1)RDD的内部运行方式

2)创建RDD

3)全局作用域和局部作用域

4)RDD转换

5)RDD操作

 

第三讲 利用DataFrame加速PySpark

1)Python到RDD之间的通信

2)Catalyst优化器刷新

3)创建DataFrame

4)RDD的交互操作

5)利用DataFrame API查询

6)利用SQL查询

7)DataFrame应用实例

 

第四讲 准备数据建模

1)检查重复数据及异常数据

2)描述性统计

3)数据相关性

4)数据可视化

5)直方图

 

第五讲 MLlib数据挖掘工具

1)MLlib包概述

2)加载和转换数据

3)数据相关性和描述性统计

4)创建最终数据集

5)MLlib应用实例-预测婴儿生存机会

 

第六讲 ML机器学习包

1)ML包的概述

2)分类、回归和聚类

3)使用ML预测婴儿生存率

4)ML超参调优

5)ML的特征提取

6)ML的其他功能

 

第七讲 使用Blaze实现持久化

1)安装Blaze

2)混合持久化

3)使用NumPy和pandas数据

4)与关系型数据库进行交互

5)数据操作和访问

6)数据连接

 

第八讲 Tensorflow基础

1)神经网络和深度学习

2)TensorFlow介绍和安装

3)配置和设置TensorFlow

4)使用TensorFlow进行矩阵分析

5)TensorFlow操作示例

 

第九讲 结构化流Streaming

1)Streaming介绍

2)Streaming的基本组件

3)Streaming应用程序数据流

4)用DStream简化Streaming应用程序

5)全局聚合

6)结构化流介绍

 

第十讲 打包Spark应用程序

1)spark-submit命令

2)以编程方式部署应用程序

3)配置你的SparkSession

4)创建SparkSession

5)模块化代码

6)提交作业和监控执行

汇款、现金、支票、刷卡
名  称:北京市海淀区中科院计算所职业技能培训学校
开户行:北京银行中关村支行
帐  号:01090302900120105445661

京公网安备 11010802025851号

 京ICP备14030124号-1  

QQ咨询

免费电话

010-82661221

微信咨询

微信客服

在线报名

返回顶部