Hadoopでフォルダ内のファイル数を取得
Hadoopのディレクトリ内のファイル数を取得するには、Hadoopのコマンドラインツール hdfs dfs -count を使用できます。
hdfs dfs -count
表示したいフォルダのパス
このコマンドは、ディレクトリ内のファイル数、ディレクトリ数、ファイルの合計サイズの結果を返します。必要に応じてファイル数を抽出できます。
なお、ファイルの数のみが知りたい場合は `hdfs dfs -ls` コマンドでディレクトリ以下のファイル一覧を取得し、`wc -l` コマンドでその行数を数える(=ファイル数を数える)方法があります:
hdfs dfs -ls | wc -l
このコマンドはフォルダ内のファイルの数を返します。