hadoop PipeMapRed faild

    xiaoxiao2021-12-14  21

    hadoop PipeMapRed faild

    今天遇到了一个PipeMapRed faild,程序肯定是没有问题的,在开发环境运行时正常的,但是在测试环境死活运行不了。看到这一地错误提示,又不知道到底啥意思。对hadoop底层的原理也不甚了了。 最后发现原来是map程序的格式问题。所以这个错误的意思是,读map程序的时候失败了。 这个mapReduce作业是python写的。 vim 下 输入 :set ff 可以查看文件格式。 :set ff=unix 是linux下的文件格式。不知道为什么,linux上的hadoop只认这种格式。 :set ff=dos 是windows下的

    git clone 下来的代码,在linux下就是unix的,在windows下就是dos的。 但是svn ,如果在windows里把dos格式的文件提到仓库里,然后在linux下用svn拉下了,文件还是dos格式的,然后就可能遇到开发环境明明ok的程序,到了测试机就死活报错,然后你只能看到下面这一堆不是道是啥的错误信息…….

    转载请注明原文地址: https://ju.6miu.com/read-965374.html

    最新回复(0)