hadoop上命令行查看lzo、gz、bz文件

hadoop上命令行查看lzo、gz、bz文件

HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。

我们用命令行查看HDFS上压缩文件，也是可以的。

lzo文件

• 查看 HDFS 上 lzo 文件的命令

hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1

或

hadoop fs -cat /Data/Logs/2018-08-22/2018-08-22_log.lzo | lzop -dc | head -1     lzop 会接受输入流然后解压输出流给head显示第一行

gzip 文件

• 查看 HDFS 上 gzip 文件的命令

hadoop fs -cat /shining/temp.txt.gz | gzip -d 

或

hadoop fs -cat /shining/temp.txt.gz | zcat

bz2 文件

• 查看 HDFS 上 bz2 文件的命令

hadoop fs -cat /temp/b.bz2 | bzip2 -d

text 命令

Hadoop text 命令可以查看HDFS上的文本、压缩文件

hadoop fs -text /temp/b.bz2

hadoop fs -text /temp/test_hive.txt.gz

hadoop fs -text /temp/l.lzo

hadoop fs -text /tmp/out1/part-r-00000