Apache Spark/user

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(以“Apache Spark 用户 ==用户指南== cd spark-1.2.0 mvn -DskipTests clean package ./bin/spark-shell scala> sc.parallelize(1 to 1000).count() ./bin/run-exa...”为内容创建页面)
 
(用户指南)
第9行: 第9行:
 
  MASTER=spark://host:7077 ./bin/run-example SparkPi
 
  MASTER=spark://host:7077 ./bin/run-example SparkPi
 
  ./dev/run-tests
 
  ./dev/run-tests
 
+
可能出现的问题:PermGen space,OutOfMemoryError
 +
set MAVEN_OPTS=-Xmx512m -XX:MaxPermSize=128m // windows
 +
export MAVEN_OPTS='-Xmx512m -XX:MaxPermSize=128m' // linux, os x
 
[[category:user]]
 
[[category:user]]
 
[[category:hadoop]]
 
[[category:hadoop]]

2015年1月9日 (五) 15:41的版本

Apache Spark 用户

用户指南

cd spark-1.2.0
mvn -DskipTests clean package
./bin/spark-shell
scala> sc.parallelize(1 to 1000).count()
./bin/run-example SparkPi 10
MASTER=spark://host:7077 ./bin/run-example SparkPi
./dev/run-tests

可能出现的问题:PermGen space,OutOfMemoryError

set MAVEN_OPTS=-Xmx512m -XX:MaxPermSize=128m // windows
export MAVEN_OPTS='-Xmx512m -XX:MaxPermSize=128m' // linux, os x
分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱