Apache Kafka是一个开源的流处理平台,由LinkedIn开发并贡献给Apache软件基金会。Kafka因其高性能的消息发布/订阅模式而受到广泛欢迎,适用于构建实时数据管道和流式应用程序。本课程旨在让学员深入了解Kafka的核心组件及其工作原理,从架构设计到高可用性解决方案,再到Kafka Streams的实现,最后是全面的系统监控与日志管理。通过本课程的学习,学员将能够构建和维护健壮的Kafka集群,满足现代实时数据处理的需求。
培训目标
1、深入理解Kafka的架构和关键组件。
2、掌握Kafka高可用性的实现原理和配置方法。
3、熟悉Kafka Streams框架,能够开发复杂的流处理应用。
4、学会如何配置和解读Kafka的监控指标。
5、了解Kafka日志的存储机制及其优化方法。
证书
培训结束,颁发中科院计算所培训中心“Kafka开发和系统管理”结业证书。
一、培训对象
1、软件开发人员,尤其是那些需要处理大量实时数据的应用开发者。
2、运维工程师,负责大规模分布式系统的维护和技术支持。
3、架构师,正在寻找合适的实时数据处理方案以支持企业级应用。
4、数据分析师或科学家,希望利用Kafka进行数据集成和流处理。
二、学员基础
1、具备一定的编程基础,熟悉至少一种编程语言,例如Java或Scala。
2、对分布式系统的基本概念有所了解。
3、对消息队列有基本的认识或使用经验。
4、对Linux操作系统命令行操作有一定的熟练度。
培训内容
第1章 Kafka架构
1 Kafka整体架构
2 Topic & Partition
3 Producer最佳实践
4 消息路由之自定义Partitioner
5 两种不同的Consumer
第2章 Kafka HA
1 Kafka面临的CAP问题
2 高可用下的数据分发
3 动态平衡策略ISR
4 基于Zookeeper的领导选举方案
5 Failover原理
第3章 Kafka Stream
1 Kafka Stream架构
2 Kafka Stream并发模型
3 实现Topology的两种方式
4 窗口和Join原理与可恢复性保障
5 Kafka Stream与其它流式处理系统的异同
第4章 监控
1.度量指标基础
2.broker的度量指标
3.客户端监控
4.延时监控
5.端到端监控
第5章 kafka log 清除机制和应用
1.日志清除机制
2.日志清理过程中的状态
3.日志清理应用
汇款、微信转帐
汇款信息:
单位名称:北京市海淀区中科院计算所职业技能培训学校
开户行:工行海淀西区支行
账号:0200 0045 1920 0043 667
开户银行代码:1021 0000 0458
微信转账:
步骤一:打开微信,扫描二微码付款时,点击打开微信右下角里的“发现”,在列表界面有一个“扫一扫”选项,点击打开“扫一扫”(如下图):
步骤二:点击打开“扫一扫”后,会出现一个扫描框,将中科院计算所培训中心二维码/条码放入框内,即可自动扫描,并显示支付信息,输入付款金额。
(中科院计算所培训中心二维码)
步骤三:点击 “添加付款备注”,填写付款人姓名和单位全称,所有信息核对无误后,点击“确认付款”,完成支付。