欢迎光临
一个废柴的博客

Spark配置参数

以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration

Spark提供三个位置用来配置系统:

  • Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置;
  • 环境变量:可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息;
  • 日志配置:可以通过log4j.properties配置;

Spark属性

Spark属性控制大部分的应用程序设置,并且为每个应用程序分别配置它。这些属性可以直接在SparkConf上配置,然后传递给SparkContextSparkConf允许你配置一些通用的属性(如master URL、应用程序名称等等)以及通过set()方法设置的任意键值对。例如,我们可以用如下方式创建一个拥有两个线程的应用程序。

val conf = new SparkConf()
             .setMaster("local[2]")
             .setAppName("CountingSheep")
             .set("spark.executor.memory", "1g")
             .set("spark.cores.max","6")
val sc = new SparkContext(conf)

文章参考:http://blog.javachen.com/2015/06/07/spark-configuration.html ;

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址