hadoop上命令行查看lzo、gz、bz文件

hadoop上命令行查看lzo、gz、bz文件

HDFS上的文件可能是压缩的,所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。

我们用命令行查看HDFS上压缩文件,也是可以的。

lzo文件

  • 查看 HDFS 上 lzo 文件的命令
1
2
3
4
5
hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1



hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1 lzop 会接受输入流然后解压输出流给head显示第一行

gzip 文件

  • 查看 HDFS 上 gzip 文件的命令
1
2
3
4
5
hadoop fs -cat /shining/temp.txt.gz | gzip -d 



hadoop fs -cat /shining/temp.txt.gz | zcat

bz2 文件

  • 查看 HDFS 上 bz2 文件的命令
1
hadoop fs -cat /temp/b.bz2 | bzip2 -d

text 命令

Hadoop text 命令可以查看HDFS上的文本、压缩文件

1
2
3
4
5
6
7
hadoop fs -text /temp/b.bz2

hadoop fs -text /temp/test_hive.txt.gz

hadoop fs -text /temp/l.lzo

hadoop fs -text /tmp/out1/part-r-00000
感谢您的支持!