@@ -4,27 +4,46 @@ Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming
44## 项目名称：新闻日志大数据处理系统
55
66### 项目简介
7+
78** 目标**
9+
8101、完成大数据项目的架构设计，安装部署，架构继承与开发、用户可视化交互设计
11+
9122、完成实时在线数据分析
13+
10143、完成离线数据分析
15+
1116** 具体功能**
17+
12181）捕获用户浏览日志信息
19+
13202）实时分析前20名流量最高的新闻话题
21+
14223）实时统计当前线上已曝光的新闻话题
23+
15244）统计哪个时段用户浏览量最高
25+
16265）报表
1727
1828### 项目技术点
19- Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming、MySQL、Hue、J2EE、websoket、Echarts
29+ Hadoop2.x、Zookeeper、Flume、Hive、Hbase
30+
31+ Kafka、Spark2.x、SparkStreaming
32+
33+ MySQL、Hue、J2EE、websoket、Echarts
2034
2135### 开发工具
2236
2337虚拟机： VMware、centos
38+
2439虚拟机ssh: SecureCRT（在windows上链接多个虚拟机）
40+
2541修改源码：idea
42+
2643查看各种数据：notepad++（安装NppFTP插件，修改虚拟机中配置文件，好用的一批）
44+
2745所有软件下载地址：
46+
2847链接：https://pan.baidu.com/s/1aF_VmdXJVIjeB0WzAtfeEQ
2948
3049提取码：cuao
@@ -42,51 +61,67 @@ Hadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、Spark2.x、SparkStreaming
4261### 项目实现步骤
4362
44631、第一章：项目需求分析与设计
64+
4565https://www.willxu.xyz/2018/12/19/project/1%E3%80%81%E9%A1%B9%E7%9B%AE%E9%9C%80%E6%B1%82/
4666
47672、第二章：linux环境准备与设置
68+
4869https://www.willxu.xyz/2018/12/19/project/2%E3%80%81linux%E9%85%8D%E7%BD%AE/
4970
50713、第三章：Hadoop2.X分布式集群部署
72+
5173https://www.willxu.xyz/2018/12/19/project/3%E3%80%81hadoop%E9%83%A8%E7%BD%B2/
5274
53754、第四章：Zookeeper分布式集群部署
76+
5477https://www.willxu.xyz/2018/12/29/project/4%E3%80%81zk%E9%83%A8%E7%BD%B2/
5578
56795、第五章：hadoop的高可用配置（HA）
80+
5781https://www.willxu.xyz/2018/12/29/project/5%E3%80%81ha%E5%AE%9E%E7%8E%B0/
5882
59836、第六章：hadoop的HA下的高可用HBase部署
84+
6085https://www.willxu.xyz/2018/12/30/project/6%E3%80%81hbase%E9%83%A8%E7%BD%B2/
6186
62877、第七章：Kafka简介和分布式部署
88+
6389https://www.willxu.xyz/2019/01/01/project/7%E3%80%81kafka%E9%83%A8%E7%BD%B2/
6490
65918、第八章：Flume简介和分布式部署
92+
6693https://www.willxu.xyz/2019/01/01/project/8%E3%80%81flume%E9%83%A8%E7%BD%B2/
6794
68959、第九章：Flume源码修改与HBase+Kafka集成
96+
6997https://www.willxu.xyz/2019/01/20/project/9%E3%80%81flume-hbase-kfk%E9%85%8D%E7%BD%AE/
7098
719910、第十章：Flume+HBase+Kafka集成全流程测试
100+
72101https://www.willxu.xyz/2019/01/20/project/10%E3%80%81flume-hbase-kfk%E8%81%94%E8%B0%83/
73102
7410311、第十一章：mysql、Hive安装与集成
104+
75105https://www.willxu.xyz/2019/01/22/project/11%E3%80%81mysql-hive/
76106
7710712、第十二章：Hive与Hbase集成
108+
78109https://www.willxu.xyz/2019/01/23/project/12%E3%80%81hive-hbase/
79110
8011113、第十三章：Cloudera HUE大数据可视化分析
112+
81113https://www.willxu.xyz/2019/01/26/project/13%E3%80%81hue/
82114
8311514、第十四章：Spark2.X集群安装与spark on yarn部署
116+
84117https://www.willxu.xyz/2019/01/30/project/14%E3%80%81spark%20on%20yarn/
85118
8611915、第十五章：基于IDEA环境下的Spark2.X程序开发
120+
87121https://www.willxu.xyz/2019/01/30/project/15%E3%80%81spark-idea/
88122
8912316、第十六章：Spark Streaming实时数据处理
124+
90125https://www.willxu.xyz/2019/02/03/project/16%E3%80%81spark-streaming1/
91126
92127### 项目配套视频
0 commit comments