Spark学习笔记（八）

GRAPHX -SPARK上的统一图表分析

许多图形并行算法 协作过滤

交替最小二乘法 随机梯度下降 张量因式分解

结构化预测

Loopy Belief Propagation 最大产品线性计划 吉布斯取样

半监督ML

图形SSL CoEM

社区检测

三角计数 K-core分解 K-Truss

图表分析

PageRank 个性化PageRank 最短路径 图形着色

分类

神经网络

图形并行系统 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb

公开专用API以简化图形编程。 利用图形结构，在更一般的情况下实现数量级的性能增益

专业API：Pregel 顶点 - 程序通过发送消息进行交互

Pregel_PageRank(i,messages): //Receive all the messages total =0 foreach(msg in messages): total=total+msg //Update the rank of this vertex R[i] = 0.15 + total //Send new messages to neighbors foreach(j in out_neighbors[i]): Send msg(R[i]) to vertex j

Spark比Hadoop快4倍，GraphLab比Spark快16倍 GraphX统一方法解决单独的系统支持每个视图所带来的麻烦，使用户能够轻松高效地表达整个图形分析管道

新API

模糊表和图之间的区别，表和图是相同物理数据的可组合视图，以表格形式查看图表

新Library

在Spark中嵌入Graph-Parallel模型