Apache Spark/user

2016年4月26日 (二) 08:23的最后版本

Apache Spark 用户

[编辑] 用户指南

cd spark-1.2.0
mvn -DskipTests clean package
./bin/spark-shell
scala> sc.parallelize(1 to 1000).count()
./bin/run-example SparkPi 10
MASTER=spark://host:7077 ./bin/run-example SparkPi
./dev/run-tests

可能出现的问题：PermGen space，OutOfMemoryError

set MAVEN_OPTS=-Xmx512m -XX:MaxPermSize=128m // windows
export MAVEN_OPTS='-Xmx512m -XX:MaxPermSize=128m' // linux, os x

[编辑] 图集

[编辑] 链接