本文目录:
- 1、spark在ubuntu12.10上能直接安装吗
- 2、怎么在ubuntu中安装spark
- 3、如何安装spark&tensorflowonspark
- 4、如何在Ubuntu下搭建Spark集群
- 5、ubuntu 安装spark时,运行命令pyspark报错
- 6、ubuntu卸载spark命令
spark在ubuntu12.10上能直接安装吗
完全可以安装,所谓大家都先装hadoop是想要使用hadoop的HDFS分布式存储文件系统,如果你先不装hadoop,那你就直接用本地文件系统就成了,然后在spark-shell下进行使用spark命令,亲测可用。
怎么在ubuntu中安装spark
我自己已经解决了,通过看了几篇BLOG,这里贴上地址,参考BLOG : 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式);Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创);ubuntu 中ssh无密码配置 ,hadoop节点之间无密码登录;我是在Ubuntu14.04LTS下搭建的1.1.0Spark集群,已经搭建成功,目前只用了3台电脑。方法差不多。
如何安装spark&tensorflowonspark
1. 安装Scala最好选择一个2.10.X,这样对spark支持比较好,不会出现一些幺蛾子。这有个教程,应该是可以的
2. 安装spark大概是这里面最简单的事了吧点这里下载spark。鉴于我们已经安装好了hadoop,所以我们就下载一个不需要hadoop的spark包,就是这个with user-provided Hadoop这个
我用的是1.6.0好像大家用这个的比较多,最新的已经到2.1.x了。
解压到你想安装的目录
sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名
之后很重点的一步是修改spark-env.sh的内容,好像要改好多好多。。。
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim conf/spark-enf.sh
这里是我的spark-env.sh的一些配置
export HADOOP_HOME=/home/ubuntu/workspace/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_HDFS_HOME=/home/ubuntu/workspace/hadoop
export SPARK_DIST_CLASSPATH=$(/home/ubuntu/workspace/hadoop/bin/hadoop classpath)
export JAVA_HOME=/home/ubuntu/workspace/jdk/
export SCALA_HOME=/home/ubuntu/workspace/scala
export SPARK_MASTER_IP=192.168.1.129
export SPARK_WORKER_MEMORY=1G
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=2
export SPARK_EXECUTOR_INSTANCES=2118
属性不明白的可以打开spark-env.sh,里面前面又好多注释,讲各种属性的意思。(ps:这里有个SPARK_DIST_CLASSPATH一定要照着改对,否则会运行不起来)
这是给力星大大的教程写得很好。
3. 分布式spark部署
重点来了,当然,教程在这里
这里好像没什么坑,但是好像我记得刚开始的时候别的机器上的worker老是启动不起来,但是忘记是什么原因了,可能是免密登录没设置还是怎么的。
照着教程完成了之后,你就获得了spark的集群辣,撒花~(≧▽≦)/~
ps:这里还有个搭建standalone集群的简单介绍,Spark的Standalone模式安装部署
如何在Ubuntu下搭建Spark集群
这里是结合Hadoop2.0使用的 1,download :选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。 2,download scala,...
ubuntu 安装spark时,运行命令pyspark报错
方法: 1。 改表法。可能是你的帐号不允许从远程登陆,只能在localhost。这个时候只要在localhost的那台电脑,登入mysql后,更改 "mysql" 数据库里的 "user" 表里的 "host" 项,从"localhost"改称"%" mysql -u root -pvmwaremysqluse mysql;mysqlupdate user set host = '%' where user = 'root';mysqlselect host, user from user; 2. 授权法。例如,你想myuser使用mypassword从任何主机连接到mysql服务器的话。
ubuntu卸载spark命令
ubuntu卸载spark命令
最佳卸载命令(最好是切换到root)
apt-get remove packagename --purge apt-get autoremove --purge apt-get clean
卸载程序(包括配置文件)、卸载依赖、删除/var/cache/apt/archives下所有安装包
最佳升级软件命令
apt-get update apt-get upgrade
apt常用命令
apt-cache show packagename 获取包的相关信息,如说明、大小、版本等
apt-cache depends packagename 了解使用依赖
apt-cache rdepends packagename 是查看该包被哪些包依赖
apt-get install packagename 安装包
apt-get install package=version 指定安装版本
apt-get install packagename --reinstall 重新安装包
apt-get remove packagename --purge 卸载程序,包括删除配置文件等
apt-get update 更新源,更新 /etc/apt/sources.list里的链接地址
apt-get upgrade -u 升级程序(不包括依赖关系改变的) -u 完整显示列表
apt-get dist-upgrade 升级程序(包括依赖关系改变的并且重新组织依赖关系)
apt-get clean 删除安装包(节约硬盘空间,下次安装需要重新下载包,软件包位置:/var/cache/apt/archives/)
apt-get autoclean 删除已卸载的安装包(Ubuntu14.04测试发现没起作用)
apt-get autoremove 卸载依赖的程序
【ubuntu安装spark】的内容来源于互联网,如引用不当,请联系我们修改。
网友留言: