public class WriteReadSequenceFileTest {
/**
* @param args
*/
public static void main(String[] args) {
Configuration conf=new Configuration();
conf.set("fs.default.name", "hdfs://172.168.8.54:9000");
conf.set("hadoop.job.ugi", "hadoop");
try {
FileSystem fs=FileSystem.get(conf);
//写文件
//===========================================================
Text key=new Text();
Text value=new Text();
//有三种类型压缩
//CompressionType.NONE 不压缩
//CompressionType.RECORD 默认 只压缩value
//CompressionType.BLOCK 全部压缩
// conf.set("io.seqfile.compression.type", "BLOCK");
Path path=new Path("/tmp/2/sequenceFile01.dat");
if(fs.exists(path)){
fs.delete(path, true);
}
SequenceFile.Writer writer=SequenceFile.createWriter(fs, conf, new Path("/tmp/2/sequenceFile01.dat"), Text.class, Text.class);
for(int i=0;i<100;i++){
key.set("key"+i);
value.set("value"+i);
writer.append(key, value);
}
writer.close();
FileStatus[] files=fs.listStatus(new Path("/tmp/2/"));
for(FileStatus file:files){
System.out.println(file.getPath().toUri().getPath());
}
//读文件
//============================================================
SequenceFile.Reader reader=new SequenceFile.Reader(fs,new Path("/tmp/2/sequenceFile01.dat"),conf);
while(reader.next(key, value)){
System.out.println(key+":"+value);
}
reader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
分享到:
相关推荐
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件 网址:https://blog.csdn.net/chenwewi520feng/article/details/130455817 本文介绍使用MapReduce读写文件,包括:读写SequenceFile、MapFile、...
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件 ...本文的前提是hadoop环境正常。 本文最好和MapReduce操作常见的文件文章一起阅读,因为写文件与压缩往往是结合在一起的。...
业务需要hive读取SequenceFile文件,所以把TextFile类型转SequenceFile,再导入hive
Hadoop中将SequenceFile转换成MapFile的主要方法:给Sequencefile重建索引的程序
小文件合并Sequencefile word.jar
sequencefile&mapfile相关测试代码
利用Hadoop的sequencefile处理小文件的小程序
中文文档转成sequencefile文件格式,便于在hadoop下使用操作,java代码
本实验要求学生通过SequenceFile实现对多个小文件的封装。 要求如下: 1)使用随机数生成以(整数,字符串)为(key,Value)的文本文件,文件的大小内容任意,文件数量不少于100个; 2)使用SequenceFile对以上文件...
项目使用vs2015,使用的git上的三方开源框架,进行了裁剪,基于C++创建,读写parquet文件。
SequenceFile文件格式
1.1 SequenceFile概述 1.2 SequenceFile压缩 1.4 SequenceFile读取文件 1.5 SequenceFile总结
spark-SequenceFile及MapFile讲解
序列文件示例 使用序列文件的示例集合 设置: 克隆项目 cd /tmp && git clone https://github.com/sakserv/sequencefile-examples.git ... hadoop jar target/sequencefile-examples-0.0.1-SNAPSHOT.jar
图像文件转换为MapReduce可以读写的二进制文件代码Hadoop的计算框架只能处理文本文件,对于图像数据不能直接处理,本代码可以实现将图像文件转换成Mapreduce可以读取的SequenceFile,其中包括单机写入和读取,以及...
图像文件转换为MapReduce可以读写的二进制文件代码Hadoop的计算框架只能处理文本文件,对于图像数据不能直接处理,本代码可以实现将图像文件转换成Mapreduce可以读取的SequenceFile,其中包括单机写入和读取,以及...
11、hadoop环境下的Sequence File的读写与合并 网址:https://blog.csdn.net/chenwewi520feng/article/details/130359237 本文介绍hadoop环境下的Sequence File的读写与合并。 本文依赖:hadoop环境可用,本示例是以...
SequenceFile学习的Java Demo代码 里面包括合并小文件,读取SequenceFile文件,写SequenceFile文件
升级glib解决Hadoop WARN util.NativeCodeLoader: ... 和 SequenceFile doesn't work with GzipCodec without native-hadoop code 问题, 具体请参见博文:https://blog.csdn.net/l1028386804/article/details/88420473
Apache Hive 的 InputFormat,在查询 SequenceFiles 时将返回 (Text) 键和 (Text) 值。 我需要在不拆分内容的情况下完整解析大量文本文件。 HDFS 在处理大型连续... 如果您的 SequenceFile 在其键或值中包含 Ctrl+A