今天写好hadoop 程序之后,进行线上测试,驶入数据为一个hive表的文件,location到了一个hdfs目录下,然后跑hadoop的过程中,map阶段没有出现问题,但是每次到了reduce阶段,进度都卡在33%不动了,刚开始以为是集群问题,后来重新启动了几次任务,都是这种情况。
后来在stackoverflow上找到了答案,这是hadoop上数据倾斜造成的问题(我的hive表使用了orde by,所以是按照字段排序,如果将字段作为marpeduce的key,那么某一台机器上的reduce大部分都是同一个key,这违背了mapreduce并发的思想,造成其他reduce一直等的情况),所以卡死。具体数据倾斜解释请看~(),解决办法:在生成hive表的时候取消order by命令。但是并没有用,照样在33%卡死。