Storm实战课程
-
-
课程目标
这是一套 系统且具有很强实战性 的Storm课程,从实时流计算及其在新浪、腾讯、360、百度等公司应用分析,到Storm的架构、工作流、机制,再到Storm集群的部署、运行、监控,最后以某上市婚恋网站的真实项目做为案例来详细讲解并带领大家完成从理论到实战的进阶!
众所周知,Hadoop在处理海量数据方面有着强大的能力,但是只能进行离线数据分析,而Storm可以帮助我们实现实时流式计算,因此Storm被誉为“实时的Hadoop”。
对于学员来说,在掌握了Hadoop的基础上,再学会Storm,简直如虎添翼,在大数据行业里面会有更强的竞争力。 -
师资团队
华清创客企业内训讲师,均是来自各个领域的资深专家,均拥有6年以上大型项目经验。
-
培养对象
1、技术出身,了解基本的研发思想即可。
2、小型企业的技术负责人;
3、大中型企业的数据部门相关人员、或是对数据感兴趣的其他部门的研发总监、部门经理、一线研发工程师等人员均可; -
培训方式
-
-
第一种:华清创客讲师面授
课时:共3天,每天6学时,总计18学时
◆费用(含教材费):4500元
◆外地学员:代理安排食宿(需提前预定)
第二种:线上直播授课
直播课时:共6天,每天3学时,总计18学时;
辅导:授课期间,辅导老师每天有1小时的辅导直播
◆费用(含教材费):4500元
第三种:企业订制培训
课时:根据定制的大纲确定课时
费用:根据课程难度,每课时1500~3000元
质量保证
-
1、培训过程中,如有部分内容理解不透或消化不好,可免费在下期培训班中重听;
2、培训结束后免费提供一个月的技术支持,充分保证培训后出效果;
3、培训合格学员可享受免费推荐就业机会。
-
课程大纲
第一章:初级阶段 第一节:实时流式计算介绍 实时流式计算是什么
实时流式计算的特点
实时流式计算使用场景分析
Queue+Worker,S4, Storm,Spark简单介绍
第二节:认识Storm Storm介绍
Storm特点
Storm优势
第三节:Storm使用场景 新浪的实时分析平台
腾讯的实时计算平台
奇虎360的实时平台
百度的实时系统
阿里的Jstorm
第二章:中级阶段 第四节:Storm的系统架构 主节点(Nimbus)
从节点(Supervisor)
Web节点(Storm UI)
协调节点(Zookeeper)
第五节:Storm的工作流 作业单元(Topology)
数据源编程单元(Spout)
数据处理编程单元(Bolt)
第六节:Storm的并发机制 服务器(Nodes)
JVM虚拟机(Worker)
线程(Executor)
Spout/Bolt实例(Task)
第七节:Storm的数据流 Stream讲解(Tuple)
Storm的数据模型
Stream Grouping
第八节:Storm的保障机制 功能性保障:多粒度的并行化
非功能性保障:多级别的可靠性
第三章:高级阶段 第九节:Zookeeper讲解 Zookeeper介绍
基础系统安装
JAVA安装
Zookeeper搭建
Zookeeper状态查看命令
第十节:Storm部署 Storm版本发展历史
本地模式
分布式模式
主节点Nimbus
工作节点Supervisor
Storm UI
Storm配置项
第十一节:项目如何在Storm集群下运行 Storm Java API
Topology创建与提交
Example
第十二节:Kafka讲解 Kafka介绍
Kafka的消息持久化和顺序读写
Kafka的应用
Kafka的客户端
Storm和Kafka的对接:KafkaSpout
第十三节:Storm集群的监控与管理 主机信息监控
日志监控
Storm UI
第四章:项目实战 第十四节:业务背景 案例背景
设计目标
分析需求
第十五节:系统架构与模块设计 整体架构
数据源
数据存储与处理
第十六节:核心模块实现 模拟数据实现
日志采集和存储实现
数据处理实现
第十七节:项目部署上线 上线大致流程
注意事项
监控
第十八节:DRPC DRPC构建与使用
DRPC原理
第十九节:Trident Trident介绍
用Trident实现可靠的实时word统计
第二十节:多语言开发 多语言开发介绍
Python举例
-
-
-
-
- 赞