Exception in thread “main” java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 在pom.xml配置文件中加上下面的拦截器就可以了 spark-streaming-twitter_2.10:spark-streaming-twitter_2.10 ** twitter4j-stream:twitter4j-stream ** : META-INF/*.SF META-INF/*.DSA META-INF/*.RSA Settings ALT+F8
scala中的sortBy()不能指定降序排列，需要用reverse。 spark中的rdd操作可以指定降序排列， 不需要用reverse。
java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size. 解决： 设置应用程序的 VM options idea的设置路径在：Run -Edit Configurations-Application选择对应的程序，设置VM options，如下： -Xms256m -Xmx1024m 1 scala ide下的设置为： eclispe 中window->preferences->Java->Installed JRE ，点击右侧的Edit 按钮，在编辑界面中的 “Default VM Arguments ”选项中，编辑。 could not locate executable **winutils.exe in the Hadoop binaries
windows环境下，解决：could not locate executable **winutils.exe in the Hadoop binaries.问题： ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable E:\hadoop-2.6.3\bin\winutils.exe in the Hadoop binaries. 解决：将winutils.exe文件导入到对应Hadoop的bin目录下面去，就搞定！（放到HADOOP_HOME对应的hadoop版本目录下面）
