目标:收集页面数据,存储到数据库。
前端:JS (采用iframe src 属性请求传输数据)
后端:
web架构采用spring boot 接收数据存放日志文件
中间件采用 flume 监听解析日志文件存放到mongo DB 中
定时任务读取MongoDB数据到Mysql数据库中
后台CMS平台:
解析日志文件、汇总、分析,多维度展示报表。
平台环境支持:
操作系统: Linux CentOS 7
运行环境: JDK1.7 (jdk-7u71-linux-x64.rpm)
其它软件版本:apache-flume-1.7.0-bin.tar.gz 、 mysql-5.7.15-linux-glibc2.5-x86_64.tar.gz 、mongodb-linux-x86_64-3.4.3.tgz
开发环境:myeclipse or IntelliJ IDEA 2016
其它:SVN OR GIT 、 MAVEN 管理项目
spring boot项目通过MAVEN打包成可执行JAR,到包含pom.xml配置文件的项目根目录中执行cmd命令 :mvn clean package
运行方式:nohup java -jar web.jar > out.log 2>&1 &
相关参照文档URL:
SSH 显示中文乱码:
http://blog.csdn.net/winter13292/article/details/8362834
linux中tar命令解压
http://www.111cn.net/sys/linux/45499.htm
linux MongoDB 安装
http://www.cnblogs.com/yangxia-test/p/3995093.html
linux 开放端口centos7
http://www.centoscn.com/CentOS/config/2015/0310/4848.html
flume 入门
http://www.cnblogs.com/itdyb/p/6270893.html
http://www.tuicool.com/articles/j6NR7f
flume 安装配置
http://www.cnblogs.com/cswuyg/p/4498804.html
mysql 安装
http://www.cnblogs.com/phpxiebin/p/4988156.html
http://www.linuxidc.com/Linux/2016-04/130414.htm
CentOs7将替换openJDK为sun的JDK1.7.0
http://blog.csdn.net/lcr06051210/article/details/48628119
Spring Boot应用的打包和部署
http://www.jianshu.com/p/afc31c34a99b
转载请注明原文地址: https://ju.6miu.com/read-666711.html