这个方法能删除HDFS或本地的文件夹或文件，

val spark = SparkSession.builder().appName("USQL").master("local[*]").getOrCreate(); 
deleteOutPutPath(spark.sparkContext,"E:\\newcode\\MyFirstProject\\data\\output\\")

/**
  * 删除文件夹或文件
  * @param sc
  * @param outputPath
  */
def deleteOutPutPath(sc: SparkContext,outputPath: String):Unit={
  val path = new Path(outputPath)
  val hadoopConf = sc.hadoopConfiguration
  val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
  if(hdfs.exists(path)){
    hdfs.delete(path,true)
  }
}

如果是删除文件夹的，前面要加下面的话

spark.sparkContext.hadoopConfiguration.setBoolean("mapreduce.input.fileinputformat.input.dir.recursive", true)