设为首页收藏本站

宏胜资源网

 找回密码
 立即注册
搜索
热搜: PLC 电子 经济师
查看: 51309|回复: 3

Spark Streaming实时流处理项目实战 Flume+Kafka+Spark Streaming打造通用流处理平台

[复制链接]
发表于 2019-5-7 21:18:30 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
课程名称: Spark Streaming实时流处理项目实战 Flume+Kafka+Spark Streaming打造通用流处理平台

免费试看:   

下载地址:
游客, 下载地址需要支付 62下载币 才能浏览支付

课程简介:   

本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!

课程目录:  

1-1 -导学
1-2 -授课习惯和学习建议
1-3 -OOTB环境使用演示
1-4 -Linux环境及软件版本介绍
1-5 -Spark版本升级
第2章 初识实时流处理
本章节将从一个业务场景分析出发引出实时流处理的产生背景,对比离线处理和实时处理的区别,了解常用的实时流处理框架有哪些,实时流处理在企业级应用中各个环节的架构以及技术选型


2-1 -课程目录
2-2 -业务现状分析
2-3 -实时流处理产生背景
2-4 -实时流处理概述
2-5 -离线计算和实时计算对比
2-6 -实时流处理框架对比
2-7 -实时流处理架构及技术选型
2-8 -实时流处理在企业中的应用
第3章 分布式日志收集框架Flume
本章节将从通过一个业务场景出发引出Flume的产生背景,将讲解Flume的架构及核心组件,Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集


3-1 -课程目录
3-2 -业务现状分析
3-3 -Flume概述
3-4 -Flume架构及核心组件
3-5 -Flume&JDK环境部署
3-6 -Flume实战案例一
3-7 -Flume实战案例二
3-8 -Flume实战案例三(重点掌握)
第4章 分布式发布订阅消息系统Kafka
本章节将讲解Kafka的架构以及核心概念,Kafka环境的部署及脚本的使用,Kafka API编程,并通过Kafka容错性测试让大家体会到Kakfa的高可用性,并将Flume和Kafka整合起来开发一个功能


4-1 -课程目录
4-2 -Kafka概述
4-3 -Kafka架构及核心概念
4-4 -Kafka单节点单Broker部署之Zookeeper安装
4-5 -Kafka单节点单broker的部署及使用
4-6 -Kafka单节点多broker部署及使用
4-7 -Kafka容错性测试
4-8 -使用IDEA+Maven构建开发环境
4-9 -Kafka Producer JAVA API编程
4-10 -Kafka Consumer Java API编程
4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集
第5章 实战环境搭建
工欲善其事必先利其器,本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境


5-1 -课程目录
5-2 -Scala安装
5-3 -Maven安装
5-4 -Hadoop环境搭建
5-5 -HBase安装
5-6 -Spark环境搭建
5-7 -开发环境搭建
第6章 Spark Streaming入门
本章节将讲解Spark Streaming是什么,了解Spark Streaming的应用场景及发展史,并从词频统计案例入手带大家了解Spark Streaming的工作原理


6-1 -课程目录
6-2 -Spark Streaming概述
6-3 -Spark Streaming应用场景
6-4 -Spark Streaming集成Spark生态系统的使用
6-5 -Spark Streaming发展史
6-6 -从词频统计功能着手入门Spark Streaming
6-7 -Spark Streaming工作原理(粗粒度)
试看
6-8 -Spark Streaming工作原理(细粒度)
第7章 Spark Streaming核心概念与编程
本章节将讲解Spark Streaming中的核心概念、常用操作,通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程


7-1 -课程目录
7-2 -核心概念之StreamingContext
试看
7-3 -核心概念之DStream
7-4 -核心概念之Input DStreams和Receivers
7-5 -核心概念之Transformation和Output Operations
7-6 -案例实战之Spark Streaming处理socket数据
7-7 -案例实战之Spark Streaming处理文件系统数据
第8章 Spark Streaming进阶与案例实战
本章节将讲解Spark Streaming如何处理带状态的数据,通过案例让大家知道Spark Streaming如何写数据到MySQL,Spark Streaming如何整合Spark SQL进行操作


8-1 -课程目录
8-2 -实战之updateStateByKey算子的使用
8-3 -实战之将统计结果写入到MySQL数据库中
8-4 -实战之窗口函数的使用
8-5 -实战之黑名单过滤
8-6 -实战之Spark Streaming整合Spark SQL操作
第9章 Spark Streaming整合Flume
本章节将讲解Spark Streaming整合Flume的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试


9-1 -课程目录
9-2 -Push方式整合之概述
9-3 -Push方式整合之Flume Agent配置开发
9-4 -Push方式整合之Spark Streaming应用开发
9-5 -Push方式整合之本地环境联调
9-6 -Push方式整合之服务器环境联调
9-7 -Pull方式整合之概述
9-8 -Pull方式整合之Flume Agent配置开发
9-9 -Pull方式整合之Spark Streaming应用开发
9-10 -Pull方式整合之本地环境联调
9-11 -Pull方式整合之服务器环境联调
第10章 Spark Streaming整合Kafka

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

第12章 Spark Streaming项目实战

第13章 可视化实战
本章节将通过两种方式来实现实时流处理结果的可视化操作,一是使用Spring Boot整合Echarts实现,二是使用更加炫酷的阿里云产品DataV来实现


评分

参与人数 1下载币 +120 收起 理由
kongxinlang + 120 这是一个好教程,非常感谢分享!

查看全部评分




上一篇:15天入门互联网数据分析
下一篇:社交网络分析与挖掘视频课程
发表于 2019-5-11 21:41:17 | 显示全部楼层
我只是路过打酱油的
发表于 2019-6-4 20:15:03 | 显示全部楼层
感谢宏胜资源网提供这么好的教程。
发表于 2020-6-27 09:05:39 | 显示全部楼层
真是难得给力的帖子啊。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
VIP购买
在线客服
微信号:hszy8com
QQ:1127517575
宏胜资源【1】群
工作时间:
8:00-22:00
 

QQ|苏公网安备 32011402010784号|小黑屋|宏胜资源网-你身边的学习资料库! ( 鲁ICP备14027891号-1  

GMT+8, 2024-3-29 19:13 , Processed in 0.074401 second(s), 29 queries .

Powered by hszy8.com

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表