欢迎您光临本小站。希望您在这里可以找到自己想要的信息。。。

spark-sql产生小文件合并

数据结构算法 water 349℃ 0评论

hdfs dfs -getmerge /data/search/gome/suggestdata/part-*  /tmp/part-00000

hdfs dfs -moveFromLocal /tmp/part-00000  /data/search/gome/suggestdata/part-00000

spark.sql("SET hive.merge.sparkfiles = true")
 spark.sql("SET hive.merge.mapredfiles = true")
 spark.sql("SET hive.merge.mapfiles = true")
 spark.sql("set hive.merge.smallfiles.avgsize = 128000000")
 spark.sql("set hive.merge.size.per.task = 128000000")

转载请注明:学时网 » spark-sql产生小文件合并

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!