Hadoop调错

xianmin posted @ 2011年4月01日 09:57 in bug移除 , 1136 阅读

用32 3 10为参数为xml文件划分时，当在Hadoop执行时出错，意外的错误，不知道为什么，文件切分出现问题。目前估计是xml小片不能太大，java会溢出内存。

用32 1 10划分就OK了，目前在1G上测试过了，要在50G上测试。