最权威的官网:http://spark.apache.org/
--master // master 的地址,提交任务到哪里执行,例如 spark://host:port, yarn, local --deploy-mode // 在本地 (client) 启动 driver 或在 cluster 上启动,默认是 client --class // 应用程序的主类,仅针对 java 或 scala 应用 --name // 应用程序的名称 --jars // 用逗号分隔的本地 jar 包,设置后,这些 jar 将包含在 driver 和 executor 的 classpath 下 --packages // 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标 --exclude-packages // 为了避免冲突 而指定不包含的 package --repositories // 远程 repository --conf PROP=VALUE // 指定 spark 配置属性的值, // 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" --properties-file // 加载的配置文件,默认为 conf/spark-defaults.conf --driver-memory // Driver内存,默认 1G --driver-java-options // 传给 driver 的额外的 Java 选项 --driver-library-path // 传给 driver 的额外的库路径 --driver-class-path // 传给 driver 的额外的类路径 --driver-cores // Driver 的核数,默认是1。在 yarn 或者 standalone 下使用 --executor-memory // 每个 executor 的内存,默认是1G --total-executor-cores // 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用 --num-executors // 启动的 executor 数量。默认为2。在 yarn 下使用 --executor-core // 每个 executor 的核数。在yarn或者standalone下使用----------------------------------------------------- 持续更新 -----------------------------------------------------------------
Windows-Java-JDK的安装与配置:https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
IDEA – Scala语言开发Spark—demo:https://www.jianshu.com/p/ae6f227e68a4
window7上的IDEA调试spark:https://www.csdn.net/gather_22/MtTaYg4sMzU1OC1ibG9n.html
spark小demo配置与运行(star):https://blog.csdn.net/mojir/article/details/90764249