Linux环境运行Maven 生成的hadoop jar包
创始人
2024-05-25 03:25:05

运行命令:

hadoop jar ./jar包名字   class对象路径   输入路径   输出路径

 

linux内部jar包测试

cd  到以下目录,创建以下文件夹

[root@reagan180 ~]# cd  /opt/soft/hadoop313/share/hadoop/mapreduce/

 创建文件夹(读取路径)

[root@reagan180 mapreduce]# hdfs dfs -mkdir /inpath

 创建文本文件,内容随意编写

 [root@reagan180 mapreduce]# vim aa.txt

移动文件到读取路径 

[root@reagan180 mapreduce]# hdfs dfs -put ./aa.txt /inpath

然后运行命令:写入路径会自己创建,但是如果存在,会报错,修改路径即可

[root@reagan180 mapreduce]# hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar wordcount /inpath /outpath

创建jar包

 方法1:打开ideal,找到需要导成Jar包的driver类 

先编译 点击complie:

 

然后打包 点击 package:

 

打包成功后,jar会生成在target目录下

将jar包放在linux里的opt目录下

 

 然后输入命令运行:因为读取和写入路径已经写在class对象,此处可省略:

class对象路径:右击对象名

 

[root@reagan180 opt]#hadoop jar ./hadoopstu-1.0-SNAPSHOT.jar nj.zb.kb21.demo4.StudentDriver

路径:方法2 采用psvm 里的arg[ ] 集合元素  更加灵活

设置元素为: /inpath  /outpath

 

 

 重复上面打成jar包操作

命令需要做个调整,加上读取和输入路径:

[root@reagan180 opt]#hadoop jar ./hadoopstu-1.0-SNAPSHOT.jar nj.zb.kb21.demo4.StudentDriver /bigdata/in/demo2/stuscore.csv  /bigdata/out4.2

补充:启动 JobHistoryServer命令  : 

mr-jobhistory-daemon.sh start historyserver :

相关内容

热门资讯

苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...