大数据实时计算与应用 · 第10章 初识 Storm
Storm 的概念与特性、构建 topology、并发机制、数据流分组与消息的可靠处理
MARKDOWN PRESENTATIONS
《大数据实时计算与应用》(吴斌 主编)课程课件
Storm 的概念与特性、构建 topology、并发机制、数据流分组与消息的可靠处理
Storm 集群框架、nimbus/supervisor/DRPC/UI 工作机制、Linux 安装配置与 topology 提交
Trident 高阶抽象、batch 模型、接口操作、状态与 exactly-once 语义,以及 Trident-ML 实时在线机器学习
DRPC 概述、LinearDRPCTopologyBuilder、本地与远程模式、reach 计算例子
用 Storm + Kafka + HBase 计算网站页面浏览量(PV)与用户访问量(UV)
分布式概念、分布式通信、Storm 计算模型与分布式实时处理系统架构
Kafka 概述、使用场景、基本特性、性能、在 LinkedIn 的应用,以及 Topic/Log 与 Producer/Consumer 模型
Kafka 服务器搭建、多 broker 集群配置,以及基于 Maven 的开发环境与发送/接收程序示例
消息传输的事务定义、性能优化、生产与消费、主从同步、客户端 API 与消息日志格式
Zookeeper 的来源、分布式协作难点、数据模型与 znode、架构、API、监视点、故障处理与集群管理
HBase 的大数据背景、架构与读流程、存储 API,以及配置安装、运行模式与集群操作
HBase 的 CRUD 操作、批处理、行锁、扫描以及其他客户端 API(HTable 与 Bytes)
HBase 的过滤器(比较/专用/附加)、计数器(单/多)、协处理器(观察者/终端)
HBase 表与列簇的数据描述、表管理 API(HBaseAdmin)以及集群管理操作