Spark & Livy

简介

livy为Spark提供了REST接口，有如下特性: * 提供交互式shell * 批量提交 * 多用户使用用一个服务(用户模拟) * 可以从任何地方使用REST的方式提交 * 无需对代码进行任何修改

获取源码，进行编译(如果编译不通过需使用vpn)

git clone git@github.com:cloudera/livy.git cd livy-master mvn -Dspark.version=1.6.2 -Dmaven.test.skip package

配置

vim conf/livy-env.sh export SPARK_HOME=/usr/install/spark export HADOOP_CONF_DIR=/usr/install/hadoop/etc/hadoop/conf vim spark-blacklist.conf 注释spark.master # spark.master vim livy.conf //默认使用hiveContext livy.repl.enableHiveContext = true //开启用户代理 livy.impersonation.enabled = true //设置session空闲过期时间 livy.server.session.timeout = 1h

启动livy

nohup sudo -u admin ./livy-server >/dev/null 2>&1 &

通过端口8998访问

项目地址

https://github.com/cloudera/livy