多语言展示
当前在线:342今日阅读:103今日分享:49

启动 Hadoop 和 关闭 Hadoop

Hadoop 的基本操作、常见问题、替代软件
方法/步骤
1

执行 ./start-all.sh 可以启肤温动hadoop了,如图惹膨所示。

不要使用Eclipse运行全分布模式的Hadoop程序
1

尽管Eclipse中显示程序正在运行,但 jobtracker.jsp中并没有显示群集中有Hadoop程序,如图所示;

2

执行过程中显示的一直是mapred.LocalJobRunner,貌似是本地模式。

3

解决办法:弃用Eclipse,将程序打包成jar,然后在Hadoop群集上运行。

控制Killed Tasks的数量
1

关闭Hadoop群集,在Master节点的mapred-site.xml的文件中增添如图所示的设置,即设置mapred.map.tasks.speculative.execution = true。

2

然后将该设置同步至所有Slave节点,格式化DFS,重新启动Hadoop群集。

其它可行的软件
1

Spyder 也可以用于替代 Eclipse

2

但是需要注意的是 Visual Studio 不能用于替代

推荐信息