spark一些配置

System.setProperty("HADOOP_USER_NAME", "XXXX")   //程序执行用户
 enableHiveSupport() //如果要使用hive,需调用此方法

spark结果输出ZIP压缩配置

spark.sparkContext.hadoopConfiguration.set("hive.exec.compress.output","true")
spark.sparkContext.hadoopConfiguration.set("mapred.output.compression.codec", "org.apache.hadoop.io.compress.GzipCodec")

发表评论