大数据完整实战视频教程


Big-Data-Project

Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL、Hue、J2EE、websoket、Echarts

项目名称:新闻日志大数据处理系统

项目简介

目标

1、完成大数据项目的架构设计,安装部署,架构继承与开发、用户可视化交互设计

2、完成实时在线数据分析

3、完成离线数据分析

具体功能

1)捕获用户浏览日志信息

2)实时分析前20名流量最高的新闻话题

3)实时统计当前线上已曝光的新闻话题

4)统计哪个时段用户浏览量最高

5)报表

项目技术点

Hadoop2.x、Zookeeper、Flume、Hive、Hbase

Kafka、Spark2.x、SparkStreaming

MySQL、Hue、J2EE、websoket、Echarts

开发工具

虚拟机: VMware、centos

虚拟机ssh: SecureCRT(在windows上链接多个虚拟机)

修改源码:idea

查看各种数据:notepad++(安装NppFTP插件,修改虚拟机中配置文件,好用的一批)

所有软件下载地址:

链接:https://pan.baidu.com/s/1aF_VmdXJVIjeB0WzAtfeEQ

提取码:cuao

项目架构

图片来自于卡夫卡公司

集群资源规划

利用VMware虚拟机+centos完成,基本要求笔记本电脑内存在8G以上。
最低要去克隆出3台虚拟机,每台给2G内存。

项目实现步骤

1、第一章:项目需求分析与设计

https://www.willxu.xyz/2018/12/19/project/1%E3%80%81%E9%A1%B9%E7%9B%AE%E9%9C%80%E6%B1%82/

2、第二章:linux环境准备与设置

https://www.willxu.xyz/2018/12/19/project/2%E3%80%81linux%E9%85%8D%E7%BD%AE/

3、第三章:Hadoop2.X分布式集群部署

https://www.willxu.xyz/2018/12/19/project/3%E3%80%81hadoop%E9%83%A8%E7%BD%B2/

4、第四章:Zookeeper分布式集群部署

https://www.willxu.xyz/2018/12/29/project/4%E3%80%81zk%E9%83%A8%E7%BD%B2/

5、第五章:hadoop的高可用配置(HA)

https://www.willxu.xyz/2018/12/29/project/5%E3%80%81ha%E5%AE%9E%E7%8E%B0/

6、第六章:hadoop的HA下的高可用HBase部署

https://www.willxu.xyz/2018/12/30/project/6%E3%80%81hbase%E9%83%A8%E7%BD%B2/

7、第七章:Kafka简介和分布式部署

https://www.willxu.xyz/2019/01/01/project/7%E3%80%81kafka%E9%83%A8%E7%BD%B2/

8、第八章:Flume简介和分布式部署

https://www.willxu.xyz/2019/01/01/project/8%E3%80%81flume%E9%83%A8%E7%BD%B2/

9、第九章:Flume源码修改与HBase+Kafka集成

https://www.willxu.xyz/2019/01/20/project/9%E3%80%81flume-hbase-kfk%E9%85%8D%E7%BD%AE/

10、第十章:Flume+HBase+Kafka集成全流程测试

https://www.willxu.xyz/2019/01/20/project/10%E3%80%81flume-hbase-kfk%E8%81%94%E8%B0%83/

11、第十一章:mysql、Hive安装与集成

https://www.willxu.xyz/2019/01/22/project/11%E3%80%81mysql-hive/

12、第十二章:Hive与Hbase集成

https://www.willxu.xyz/2019/01/23/project/12%E3%80%81hive-hbase/

13、第十三章:Cloudera HUE大数据可视化分析

https://www.willxu.xyz/2019/01/26/project/13%E3%80%81hue/

14、第十四章:Spark2.X集群安装与spark on yarn部署

https://www.willxu.xyz/2019/01/30/project/14%E3%80%81spark%20on%20yarn/

15、第十五章:基于IDEA环境下的Spark2.X程序开发

https://www.willxu.xyz/2019/01/30/project/15%E3%80%81spark-idea/

16、第十六章:Spark Streaming实时数据处理

https://www.willxu.xyz/2019/02/03/project/16%E3%80%81spark-streaming1/

项目配套视频

链接:https://pan.baidu.com/s/1-PQta6SCgps91oFNTkl6Qg

提取码:sh8x

坚持原创技术分享,您的支持将鼓励我继续创作!