Hadoopでフォルダ内のファイル数を取得

Hadoopのディレクトリ内のファイル数を取得するには、Hadoopのコマンドラインツール hdfs dfs -count を使用できます。

hdfs dfs -count

表示したいフォルダのパス

このコマンドは、ディレクトリ内のファイル数、ディレクトリ数、ファイルの合計サイズの結果を返します。必要に応じてファイル数を抽出できます。

なお、ファイルの数のみが知りたい場合は `hdfs dfs -ls` コマンドでディレクトリ以下のファイル一覧を取得し、`wc -l` コマンドでその行数を数える(=ファイル数を数える)方法があります:

hdfs dfs -ls | wc -l

このコマンドはフォルダ内のファイルの数を返します。

bannerAds