日志分析系统

|

一、项目需求功能

  • JS | JDK 发送数据到 Nginx ;
  • Nginx配置日志文件access_log以及日志文件的数据格式,将访问它的数据(URL)存储在access_log文件中;
  • 使用Flume的(exec _ hdfs )将日志文件的数据存储在HDFS中指定的文件中;
  • 使用MR对数据实现ETL,在map阶段对数据进行切分,然后,将清洗后的数据存储在Hbase中;
  • 将Hbase中的数据整合到Hive中,使用hql对数据进行多维度分析
  • 对Hive中分析的数据结果通过Sqoop导出到MySQL 中,供前台展示

二、项目逻辑分布

三、项目初始化

文章目录
|
载入天数...载入时分秒...