学习目标
1. 掌握Redis原理及架构
2. 掌握Redis命令操作、及数据结构
3. 掌握Hbase原理及架构
4. 掌握HBase命令操作、MapReduce编程
5. 掌握Phoneix二级索引优化查询
6. 掌握ELK开发掌握Kafka原理及架构
7. 掌握KafkaStreams开发
8. 掌握基于Flink进行实时和离线数据处理、分析
9. 掌握基于Flink的多流并行处理技术
10. 掌握千万级高速实时采集技术
主讲内容1:分布式缓存系统
存储效率高,适合作为中间缓存数据库使用
1.Redis原理及架构 /
2.Redis Cluster原理及架构 /
3.Redis常用操作 /
主讲内容2:万亿级NoSQL海量数据存储
存储海量数据的列式数据库,内部高效设计解决了海量数据存储
1.HBase原理及架构 /
2.预分区 /
3.LSM结构 /
4.Bloom Filter /
5.co-processor /
6.结合Phoneix进行优化查询 /
主讲内容3:分布式流处理平台
分布消息队列存储数据,应用于低延时实时场景
1.Kafka原理及架构分析 /
2.分布式实时计算架构和思想 /
主讲内容4:Elastic Stack
涵盖数据采集、数据存储、数据可视化的完整的实时搜索解决方案
1.ElasticSearch开发 /
2.Logstash数据采集 /
3.Kibana数据可视化 /
主讲内容5:Flink Stream
构成了flink解决实时数据处理部分,是掌握实时数据处理必备技能
1.Flink DataStream的使用 /
2.Kafka + Flink /
主讲内容6:Flink DataSet
离线数据处理数据集,是掌握离线数据处理必备技能
1.Flink 性能监控 /
2.Flink调优 /
3.Flink SQL执行计划 /
主讲内容7:Flink Runtime
对flink任务进行调优,必须掌握的内容
1.Watermark /
2.Checkpoint /
3.任务调度与负载均衡 /
4.状态管理 /
主讲内容8:Flink SQL
解决flink中的sql化开发,Flink-Sql开发必备技能
1.Flink SQL开发 /
2.Hive + Flink SQL /
主讲内容9:Flink实战
践行场景式教学,运用了flink阶段知识点,解决实时数据分析的应用
1.Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL实战 /