因为不是太复杂,所以只贴代码了,有注释,相信朋友没都能看懂。
public static void main(String[] args) {
//在本地windows平台eclipse运行mapreduce程序
//创建远程用户,以指定的用户来运行程序
//把要运行的程序代码放到run方法体里
UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop");
ugi.doAs(new PrivilegedAction<Void>() {
public Void run() {
try{
//设置引用jar的分割符,linux一般用,和:,但windows一般是用;,
//所以要设置一下本地的分割符
System.setProperty("path.separator", ":");
Configuration conf = new Configuration();
//可以设置用到的第三方jar
//conf.set("tmpjars", "/tmp/jars/hbase-0.94.5.jar,/tmp/jars/protobuf-java-2.4.0a.jar,/tmp/jars/zookeeper-3.4.3.jar");
conf.set("mapred.job.tracker", "172.168.8.54:9001");
conf.set("fs.default.name", "hdfs://172.168.8.54:9000");
conf.set("hadoop.job.ugi", "hadoop");
conf.set("hbase.zookeeper.quorum","172.168.8.55,172.168.8.56,172.168.8.57");
conf.set("hbase.zookeeper.property.clientPort", "2181");
Job job = new Job(conf);
job.setJobName("ReadHbaseToHdfsAction");
job.setJarByClass(ReadHbaseToHdfsAction.class);
job.setNumReduceTasks(1);
job.setReducerClass(ReadHbaseToHdfsReduce.class);
FileSystem fs=FileSystem.get(conf);
Path outPath=new Path("/tmp/2/1");
if(fs.exists(outPath)){
fs.delete(outPath, true);
}
FileOutputFormat.setOutputPath(job, outPath);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
Scan scan = new Scan();
TableMapReduceUtil.initTableMapperJob("misdn_catetory22", scan, ReadHbaseToHdfsMapper.class,
Text.class, Text.class, job);
job.waitForCompletion(true);
}catch(Exception e){
e.printStackTrace();
}
return null;
}});
}
分享到:
相关推荐
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
该文档的目录如下: 1.1实验目的 1.2实验环境 V 1.3实验步骤 1.3.1安装eclipse 1.3.2安装Hadoop- Eclipse Plugin ...1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
eclipse运行MapReduce架包~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
} } }}(2)将Hadoop配置文件添加到“WordCount” MapReduce项目将log4j.properties 复制到 WordCount 项目
hadoop学习本地win测试mapreduce程序,所要用到的环境软件.rar
4 分别在自编 MapReduce 程序 WordCount 运行过程中和运行结束后查看 MapReduce Web 界面。 5. 分别在自编 MapReduce 程序 WordCount 运行过程中和运行结束后练习 MapReduce Shell 常用命令。 。。
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
YARN中运行Mapreduce程序 Yarn作业运行流程 1 提交WordCount程序 2 目 录 一、Yarn作业运行流程 首先我们来讨论一下一个作业是如何在Yarn中运行的。 1、MapReduce2中的作业提交是使用与MapReduce1相同的用户API。 2...
本人亲手操作搭建Hadoop集群成功,并通过Eclipse进行MapReduce程序的开发,步骤详细完整,在相关过程中配有完整代码和解释,全程无误,只需复制粘贴即可,小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行...
Hadoop学习过程中的记录笔记:如何在Eclipse下写第一个MapReduce程序
windows(64位)本地(local)用eclipse调试mapreduce程序-附件资源
用于eclipse的MapReduce开发的插件,在eclipse的MapReduce开发中
windows下配置cygwin、hadoop等并运行mapreduce及mapreduce程序讲解
最近学习hadoop,发现Hadoop不提供编译后的hadoop-eclipse插件,于是就自己动手编译了hadoop-eclipse-plugin-1.1.0.rar插件 Hadoop1.1.0是beta版本,有兴趣的朋友可以下载装装,感受下MapReduce编程框架
win7安装hadoop及eclipse调试mapreduce的配置方法,把常见的问题都列举出来并提出解决方案
连接hadoop的文件系统,HDFS
使用eclipse不能直接運行mapreduce的代碼,安裝此插件可運行mr框架的代碼