首页
课程中心
专家团队
新闻中心
精彩活动
关于我们

课程中心

Kafka开发和系统管理

  • 主讲老师:熊老师
  • 培训天数:2天
  • 公开课费用:线上:4900元/人

Apache Kafka是一个开源的流处理平台,由LinkedIn开发并贡献给Apache软件基金会。Kafka因其高性能的消息发布/订阅模式而受到广泛欢迎,适用于构建实时数据管道和流式应用程序。本课程旨在让学员深入了解Kafka的核心组件及其工作原理,从架构设计到高可用性解决方案,再到Kafka Streams的实现,最后是全面的系统监控与日志管理。通过本课程的学习,学员将能够构建和维护健壮的Kafka集群,满足现代实时数据处理的需求。 

 

培训目标

1、深入理解Kafka的架构和关键组件。

2、掌握Kafka高可用性的实现原理和配置方法。

3、熟悉Kafka Streams框架,能够开发复杂的流处理应用。

4、学会如何配置和解读Kafka的监控指标。

5、了解Kafka日志的存储机制及其优化方法。 

 

证书

培训结束,颁发中科院计算所培训中心“Kafka开发和系统管理”结业证书。

 

本课程有企业内训形式,授课老师、课程内容、教学方式均依据企业的培训需求灵活设置。

 

本网站内容包括并不限于课程介绍、课程大纲、上课照片、老师介绍等等资料及信息,未经允许不得抄袭和转载。

一、培训对象

1、软件开发人员,尤其是那些需要处理大量实时数据的应用开发者。

2、运维工程师,负责大规模分布式系统的维护和技术支持。

3、架构师,正在寻找合适的实时数据处理方案以支持企业级应用。

4、数据分析师或科学家,希望利用Kafka进行数据集成和流处理。

 

二、学员基础

1、具备一定的编程基础,熟悉至少一种编程语言,例如Java或Scala。

2、对分布式系统的基本概念有所了解。

3、对消息队列有基本的认识或使用经验。

4、对Linux操作系统命令行操作有一定的熟练度。

培训内容

第1章  Kafka架构

1 Kafka整体架构

2 Topic & Partition

3 Producer最佳实践

4 消息路由之自定义Partitioner

5 两种不同的Consumer

第2章 Kafka HA

1 Kafka面临的CAP问题

2 高可用下的数据分发

3 动态平衡策略ISR

4 基于Zookeeper的领导选举方案

5 Failover原理

第3章  Kafka Stream

1 Kafka Stream架构

2 Kafka Stream并发模型

3 实现Topology的两种方式

4 窗口和Join原理与可恢复性保障

5 Kafka Stream与其它流式处理系统的异同

第4章 监控

1.度量指标基础  

  • 度量指标在哪里  
  • 内部或外部度量  
  • 应用程序健康检测  
  • 度量指标的覆盖面  

2.broker的度量指标  

  • 非同步分区  
  • broker度量指标  
  • 主题和分区的度量指标  
  • Java虚拟机监控  
  • 操作系统监控  
  • 日志  

3.客户端监控  

  • 生产者度量指标  
  • 消费者度量指标
  • 配额  

4.延时监控  

5.端到端监控

第5章 kafka  log 清除机制和应用

1.日志清除机制

  • 基于时间的删除策略
  • 基于日志大小的删除策略
  • 基于日志起始偏移量的删除策略

2.日志清理过程中的状态

  • LogCleaningInProgress
  • LogCleaningAborted
  • LogCleaningPaused

3.日志清理应用

  • 更改日志输出级别
  • 利用Kafka日志管理器
  • 压缩策略

汇款、微信转帐

汇款信息:

单位名称:北京市海淀区中科院计算所职业技能培训学校

开户行:工行海淀西区支行

账号:0200 0045 1920 0043 667

开户银行代码:1021 0000 0458

 

微信转账:

    步骤一:打开微信,扫描二微码付款时,点击打开微信右下角里的“发现”,在列表界面有一个“扫一扫”选项,点击打开“扫一扫”(如下图):

    步骤二:点击打开“扫一扫”后,会出现一个扫描框,将中科院计算所培训中心二维码/条码放入框内,即可自动扫描,并显示支付信息,输入付款金额。

                                                                                                        

    (中科院计算所培训中心二维码)

 

    步骤三:点击 “添加付款备注”,填写付款人姓名和单位全称,所有信息核对无误后,点击“确认付款”,完成支付。

 

                

 

  • 注意:步骤三是为了尽快确认您的培训费用是否到帐,方便为您查帐,所以一定要把付款人姓名和单位名称填写完整,如果姓名和单位名称超过20个汉字,单位名称可以填写简称。

京公网安备 11010802025851号

 京ICP备14030124号-1  

免费电话

010-82661221

微信咨询

微信客服

在线报名

返回顶部