Lamda架构研究

Lamda架构学习 一、Lamda架构介绍 Lambda架构整合离线计算和实时计算，融合不可变性（Immutability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，HBase等各类大数据组件。 Lambda架构的目的是为应用程序提供一个低延迟的复合异步数据传输环境，例如新闻类应用，经常需要进行大规模信息处理，包括输入，归类，索引，存储等操作。 二、 Lambda架构思想 所有进入系统的数据被分配到了批处理层和实时处理层来处理。 批处理层管理着主数据集（一个不可修改，只能新增的原始数据）和预计算批处理视图。服务层索引批处理视图，因此可以对它们进行低延时的临时查询。 实时处理层只处理近期的数据。任何输入的查询结果都合并了批处理视图和实时视图的查询结果 三、 Lambda架构开源组件选型 数据流通用：Kafka、Flume、Hdfs 1、批处理层选型： 批处理存储层：HDFS,Hadoop,或者阿里的ODPS 批处理计算层：MapReduce,Spark 批处理服务层：HBase,或Cassandra 2、实时处理层选型： 实时处理：Storm或Spark Streaming 实时处理服务层：Redis