打印（获取）HDFS路径下所有的文件名（包括子目录下的）-阿里云开发者社区

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

谦虚好学的火柴 · Spark ...· 2 周前 ·

害羞的饭卡 · mysql统计Json字符串中的数组有几个_ ...· 4 月前 ·

坏坏的灌汤包 · 杭州到北京复兴号4月开跑票价不变不到4个半小时· 5 月前 ·

稳重的红豆 · 湖南大学新闻网· 5 月前 ·

任性的机器猫 · Remove-PSDrive ...· 6 月前 ·

才高八斗的地瓜 · R22制冷剂所属分类-上海禹美化工有限公司· 7 月前 ·

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/84312307 我的原创地址：https://dongkelun.com/2018/11/20/getAllHDFSFileNames/ 自己有个需求，如题，需要获取HDFS路径下所有的文件名，然后根据文件名用Spark进行后续操作。版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/84312307

我的原创地址： https://dongkelun.com/2018/11/20/getAllHDFSFileNames/

自己有个需求，如题，需要获取HDFS路径下所有的文件名，然后根据文件名用Spark进行后续操作。想了一下用Spark好像不太容易获取到，还要递归的去获取子目录下的文件名，于是查了一下，最后用Hadoop的API搞定，这里记录下，方便以后会用到。

测试路径：/tmp/dkl，全路径名hdfs://ambari.master.com:8020/tmp/dkl

用hadoop的命令查看一下，该路径下都有哪些文件和文件夹

hadoop fs -ls /tmp/dkl
2、完整代码
不多做解释了，直接看代码和结果吧(稍微封装了一下,有其它需求可以参考改写)
package com.dkl.leanring.spark.hdfs
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileUtil;
import scala.collection.mutable.ArrayBuffer
 * 主要目的是打印某个hdfs目录下所有的文件名，包括子目录下的
 * 其他的方法只是顺带示例，以便有其它需求可以参照改写
object FilesList {
  def main(args: Array[String]): Unit = {
    val path = "hdfs://ambari.master.com:8020/tmp/dkl"
    println("打印所有的文件名，包括子目录")
    listAllFiles(path)
    println("打印一级文件名")
    listFiles(path)
    println("打印一级目录名")
    listDirs(path)
    println("打印一级文件名和目录名")
    listFilesAndDirs(path)
    //    getAllFiles(path).foreach(println)
    //    getFiles(path).foreach(println)
    //    getDirs(path).foreach(println)
  def getHdfs(path: String) = {
    val conf = new Configuration()
    FileSystem.get(URI.create(path), conf)
  def getFilesAndDirs(path: String): Array[Path] = {
    val fs = getHdfs(path).listStatus(new Path(path))
    FileUtil.stat2Paths(fs)
  /**************直接打印************/
   * 打印所有的文件名，包括子目录
  def listAllFiles(path: String) {
    val hdfs = getHdfs(path)
    val listPath = getFilesAndDirs(path)
    listPath.foreach(path => {
      if (hdfs.getFileStatus(path).isFile())
        println(path)
      else {
        listAllFiles(path.toString())
   * 打印一级文件名
  def listFiles(path: String) {
    getFilesAndDirs(path).filter(getHdfs(path).getFileStatus(_).isFile()).foreach(println)
   * 打印一级目录名
  def listDirs(path: String) {
    getFilesAndDirs(path).filter(getHdfs(path).getFileStatus(_).isDirectory()).foreach(println)
   * 打印一级文件名和目录名
  def listFilesAndDirs(path: String) {
    getFilesAndDirs(path).foreach(println)
  /**************直接打印************/
  /**************返回数组************/
  def getAllFiles(path: String): ArrayBuffer[Path] = {
    val arr = ArrayBuffer[Path]()
    val hdfs = getHdfs(path)
    val listPath = getFilesAndDirs(path)
    listPath.foreach(path => {
      if (hdfs.getFileStatus(path).isFile()) {
        arr += path
      } else {
        arr ++= getAllFiles(path.toString())
  def getFiles(path: String): Array[Path] = {
    getFilesAndDirs(path).filter(getHdfs(path).getFileStatus(_).isFile())
  def getDirs(path: String): Array[Path] = {
    getFilesAndDirs(path).filter(getHdfs(path).getFileStatus(_).isDirectory())
  /**************返回数组************/