Kaggle笔记

kaggle比赛： https://www.kaggle.com/competitions 在这里可以看到一些机器学习中数据分析的问题，同时在kernels中可以看到哪些技术能够比较好的解决对应的 经验贴： https://zhuanlan.zhihu.com/p/22266330 预测titanic上的人是否会幸存： https://www.kaggle.com/c/titanic/ 使用spark的Random Forest: package com.jd import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.LabeledPoint import java.lang.Math import org.apache.spark.mllib.tree.model.RandomForestModel import org.apache.spark.rdd.RDD import scala.util.Random /** * Created by zhangwj on 16-9-7. * * */ object testTitanic { val conf = new SparkConf().setAppName("testTitanic").setMaster("local[2]") val sc = new SparkContext(conf) def getTrainData(data:RDD[Array[String]],sexFlag:Double,fareFlag:Double): RDD[LabeledPoint] ={ data.map(x=>{ val survival = x(1) val passengerId = x(0) val pclass = if(x(2).contentEquals(""))(Math.random()*3) else x(2).toDouble val sex = if(x(4).contentEquals("male"))1.0 else if(x(4).contentEquals("female"))0.0 else sexFlag //取人数最少的性别 val age = if(x(5).isEmpty)(Math.random()*100) else x(5).toDouble //随机取年龄值 val sibSp = if(x(6).contentEquals(""))(Math.random()*8) else x(6).toDouble val parch = if(x(7).contentEquals(""))(Math.random()*6) else x(7).toDouble // val ticket = x(8).toDouble val fare = if(x(9).contentEquals(""))fareFlag else x(9).toDouble // val cabin = val embarked = if(x.length<=11)Math.random()*2 else if(x(11).contentEquals("C"))0.0 else if(x(11).contentEquals("S")) 1.0 else 2.0 val features:Array[Double] = Array(passengerId.toDouble,pclass.toDouble,sex.toDouble,age.toDouble,sibSp.toDouble,parch.toDouble,fare.toDouble,embarked.toDouble) LabeledPoint(survival.toDouble,Vectors.dense(features)) }) } def getTestData(data:RDD[Array[String]],sexFlag:Double,fareFlag:Double) ={ data.map(x=>{ val passengerId = x(0) val pclass = if(x(1).contentEquals(""))(Math.random()*3) else x(1).toDouble val sex = if(x(3).contentEquals("male"))1.0 else if(x(3).contentEquals("female"))0.0 else sexFlag //取人数最少的性别 val age = if(x(4).isEmpty)(Math.random()*100) else x(4).toDouble //随机取年龄值 val sibSp = if(x(5).contentEquals(""))(Math.random()*8) else x(5).toDouble val parch = if(x(6).contentEquals(""))(Math.random()*6) else x(6).toDouble // val ticket = x(8).toDouble val fare = if(x(8).contentEquals(""))fareFlag else x(8).toDouble // val cabin = val embarked = if(x.length<=10)Math.random()*2 else if(x(10).contentEquals("C"))0.0 else if(x(10).contentEquals("S")) 1.0 else 2.0 val features:Array[Double] = Array(passengerId.toDouble,pclass.toDouble,sex.toDouble,age.toDouble,sibSp.toDouble,parch.toDouble,fare.toDouble,embarked.toDouble) Vectors.dense(features) }) } def loadModel(): Unit ={ val sameModel = RandomForestModel.load(sc, "target/tmp/myRandomForestClassificationModel") println("Learned classification forest model:\n" + sameModel.toDebugString) } def trainAndPredict(): Unit ={ //注意实现要将train.csv和test.csv中的name字段中的逗号替换 //第一行的标题也要删除 val org_data = sc.textFile("src/main/resources/train.csv").map(line=>line.split(",")) val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0)) val sexCount = org_data.map(x=>(x(4),1)).reduceByKey(_+_).map(x=>(x._1,x._2)).sortBy(_._2,false).first()._1 val sexFlag = if(sexCount.contentEquals("male"))0.0 else if(sexCount.contentEquals("female"))1.0 else Math.random()*1 val fareFlag = org_data.map(x=>{ if(!x(9).contentEquals(""))x(9).toDouble else 0}).mean() val trainingData = getTrainData(org_data,sexFlag,fareFlag) import org.apache.spark.mllib.tree.RandomForest import org.apache.spark.mllib.tree.model.RandomForestModel import org.apache.spark.mllib.util.MLUtils // Train a RandomForest model. // Empty categoricalFeaturesInfo indicates all features are continuous. val numClasses = 2 val categoricalFeaturesInfo = Map[Int, Int]() val numTrees = 10 // Use more in practice. 10棵树增加到100棵，成绩反而下降 val featureSubsetStrategy = "auto" // Let the algorithm choose. val impurity = "entropy" val maxDepth = 4 val maxBins = 32 val model = RandomForest.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo, numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins) // Save and load model model.save(sc, "target/tmp/myRandomForestClassificationModel") val test_data = sc.textFile("src/main/resources/test.csv").map(line=>line.split(",")) val testData = getTestData(test_data,sexFlag,fareFlag) val labelAndPreds = testData.map { point => val prediction = model.predict(point) (point(0), prediction) } labelAndPreds.coalesce(1).map(x=>x._1.toInt+","+x._2.toInt).saveAsTextFile("target/test.csv") } def main(args: Array[String]) { // trainAndPredict() loadModel() } } 前期需要自己去读train.csv和test.csv文件，两个里面都包含缺失值（代码中包含了处理缺失值），并且name字段中有逗号出现（实现将逗号替换为:，这种只适合数据量小，如果数据量大使用专门csv包）。第一行是标题也要删除。 第一次提交使用的是10棵树，得分 0.80383 第二次将10棵树增加到100棵，结果准确率降低了。 使用GBDT模型，结果没有得到改善（ 0.75120）。 使用SVM模型，结果是 0.37321 使用DNN： 基于tensorflow的skflow，准确率都是0.74左右，其中采取的策略，使用的tanh激活函数，并且尝试了把每个特征都取log作为一个新的特征加入的原来的训练集中（相当于特征增加一倍），结果并没有显著提高，尝试把passengerId加入到特征中，准确率大大降低。 之所以比不过RF的原因可能是 训练集的数据量太小，不足以训练出较好的模型，样本数要远大于参数个数，比如一个3*10*2的全连接网络，参数个数就为3*10+10*2＝50个，如果样本的个数50个，那么远远不足以训练模型。 下一次尝试将 log增加的特征加入到RandomForest中，加入新的特征后，成绩反而也降低了。 使用sklearn的Random Forest，entropy要优于gini。