参考此Blog，转载请申明出处。
文件解码 不能正确的重命名文件，抛出bug后，之后所有文件都不可以被flume收集，是一个比较严重的错，引起原因是flume使用NIO方式读取文件，将读取的文件以UTF-8的编码读取，在Linux状态下，默认是按照GBK编码方式存储文件，所以读取时就会遇到字符长度不够问题，解决办法：在flume配置文件中设置监控目录中读取文件的编码方式。
copy大文件抛出异常因为copy到spoolDir下的文件不可以被修改所致,解决方案：
使用scp或者cp备份文件，然后将文件mv进spoolDir下。还可以使用后缀名正则配合，先拷贝进去.tmp的文件，等待copy完成后，rename文件名。
修改源代码 增加文件拷贝校验
/** * * @Title: checkFileCpIsOver * @Description: 用来检查文件拷贝是否完成 * @param @param currentFile 设定文件 * @return void 返回类型 * @throws */ private void checkFileCpIsOver(File file) { logger.info("CheckFileCpIsOVer start.........."); long modified = file.lastModified();//目前文件的修改时间 long length = file.length();//目前文件的大小 try { Thread.sleep(1000);//等待1秒钟 } catch (InterruptedException e) { e.printStackTrace(); } File currentFile = new File(file.getAbsolutePath()); int count = 0;//记录循环次数，超过20次，也就是10秒后抛出异常 while(currentFile.lastModified() != modified || currentFile.length() != length) { if(count > 20) { String message = "File Copy time too long. please check copy whether exception!" + "\n" + "File at :" + file.getAbsolutePath() + "\n" + "File current length is：" + currentFile.lastModified(); new IllegalStateException(message); } count++; modified = currentFile.lastModified(); length = currentFile.length(); try { Thread.sleep(500);//等待500毫秒 } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } currentFile = new File(file.getAbsolutePath()); } //一直到文件传输完成就可以退出 }