Hadoop 的基本操作、常见问题、替代软件
方法/步骤
1
执行 ./start-all.sh 可以启肤温动hadoop了,如图惹膨所示。
不要使用Eclipse运行全分布模式的Hadoop程序
1
尽管Eclipse中显示程序正在运行,但 jobtracker.jsp中并没有显示群集中有Hadoop程序,如图所示;
2
执行过程中显示的一直是mapred.LocalJobRunner,貌似是本地模式。
3
解决办法:弃用Eclipse,将程序打包成jar,然后在Hadoop群集上运行。
控制Killed Tasks的数量
1
关闭Hadoop群集,在Master节点的mapred-site.xml的文件中增添如图所示的设置,即设置mapred.map.tasks.speculative.execution = true。
2
然后将该设置同步至所有Slave节点,格式化DFS,重新启动Hadoop群集。
其它可行的软件
1
Spyder 也可以用于替代 Eclipse
2
但是需要注意的是 Visual Studio 不能用于替代