云服务器免费试用

ubuntu安装spark(Ubuntu安装ssh)

服务器知识 0 907

本文目录:

  • 1、spark在ubuntu12.10上能直接安装吗
  • 2、怎么在ubuntu中安装spark
  • 3、如何安装spark&tensorflowonspark
  • 4、如何在Ubuntu下搭建Spark集群
  • 5、ubuntu 安装spark时,运行命令pyspark报错
  • 6、ubuntu卸载spark命令

spark在ubuntu12.10上能直接安装吗

完全可以安装,所谓大家都先装hadoop是想要使用hadoop的HDFS分布式存储文件系统,如果你先不装hadoop,那你就直接用本地文件系统就成了,然后在spark-shell下进行使用spark命令,亲测可用。

怎么在ubuntu中安装spark

我自己已经解决了,通过看了几篇BLOG,这里贴上地址,参考BLOG : 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式);Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创);ubuntu 中ssh无密码配置 ,hadoop节点之间无密码登录;我是在Ubuntu14.04LTS下搭建的1.1.0Spark集群,已经搭建成功,目前只用了3台电脑。方法差不多。

如何安装spark&tensorflowonspark

1. 安装Scala最好选择一个2.10.X,这样对spark支持比较好,不会出现一些幺蛾子。这有个教程,应该是可以的

2. 安装spark大概是这里面最简单的事了吧点这里下载spark。鉴于我们已经安装好了hadoop,所以我们就下载一个不需要hadoop的spark包,就是这个with user-provided Hadoop这个

我用的是1.6.0好像大家用这个的比较多,最新的已经到2.1.x了。

解压到你想安装的目录

sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/

cd /usr/local

sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark

sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名

之后很重点的一步是修改spark-env.sh的内容,好像要改好多好多。。。

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

vim conf/spark-enf.sh

这里是我的spark-env.sh的一些配置

export HADOOP_HOME=/home/ubuntu/workspace/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_HDFS_HOME=/home/ubuntu/workspace/hadoop

export SPARK_DIST_CLASSPATH=$(/home/ubuntu/workspace/hadoop/bin/hadoop classpath)

export JAVA_HOME=/home/ubuntu/workspace/jdk/

export SCALA_HOME=/home/ubuntu/workspace/scala

export SPARK_MASTER_IP=192.168.1.129

export SPARK_WORKER_MEMORY=1G

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORDER_INSTANCES=2

export SPARK_EXECUTOR_INSTANCES=2118

属性不明白的可以打开spark-env.sh,里面前面又好多注释,讲各种属性的意思。(ps:这里有个SPARK_DIST_CLASSPATH一定要照着改对,否则会运行不起来)

这是给力星大大的教程写得很好。

3. 分布式spark部署

重点来了,当然,教程在这里

这里好像没什么坑,但是好像我记得刚开始的时候别的机器上的worker老是启动不起来,但是忘记是什么原因了,可能是免密登录没设置还是怎么的。

照着教程完成了之后,你就获得了spark的集群辣,撒花~(≧▽≦)/~

ps:这里还有个搭建standalone集群的简单介绍,Spark的Standalone模式安装部署

如何在Ubuntu下搭建Spark集群

这里是结合Hadoop2.0使用的 1,download :选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。 2,download scala,...

ubuntu 安装spark时,运行命令pyspark报错

方法: 1。 改表法。可能是你的帐号不允许从远程登陆,只能在localhost。这个时候只要在localhost的那台电脑,登入mysql后,更改 "mysql" 数据库里的 "user" 表里的 "host" 项,从"localhost"改称"%" mysql -u root -pvmwaremysqluse mysql;mysqlupdate user set host = '%' where user = 'root';mysqlselect host, user from user; 2. 授权法。例如,你想myuser使用mypassword从任何主机连接到mysql服务器的话。

ubuntu卸载spark命令

ubuntu卸载spark命令

最佳卸载命令(最好是切换到root)

apt-get remove packagename --purge apt-get autoremove --purge apt-get clean 

卸载程序(包括配置文件)、卸载依赖、删除/var/cache/apt/archives下所有安装包

最佳升级软件命令

apt-get update apt-get upgrade

apt常用命令

apt-cache show packagename 获取包的相关信息,如说明、大小、版本等

apt-cache depends packagename 了解使用依赖

apt-cache rdepends packagename 是查看该包被哪些包依赖

apt-get install packagename 安装包

apt-get install package=version 指定安装版本

apt-get install packagename --reinstall 重新安装包

apt-get remove packagename --purge 卸载程序,包括删除配置文件等

apt-get update 更新源,更新 /etc/apt/sources.list里的链接地址

apt-get upgrade -u 升级程序(不包括依赖关系改变的) -u 完整显示列表

apt-get dist-upgrade 升级程序(包括依赖关系改变的并且重新组织依赖关系)

apt-get clean 删除安装包(节约硬盘空间,下次安装需要重新下载包,软件包位置:/var/cache/apt/archives/)

apt-get autoclean 删除已卸载的安装包(Ubuntu14.04测试发现没起作用)

apt-get autoremove 卸载依赖的程序

【ubuntu安装spark】的内容来源于互联网,如引用不当,请联系我们修改。

声明:本文内容由网友自发贡献,本站不承担相应法律责任。对本内容有异议或投诉,请联系2913721942@qq.com核实处理,我们将尽快回复您,谢谢合作!
若转载请注明出处: ubuntu安装spark(Ubuntu安装ssh)
本文地址: https://solustack.com/26944.html

相关推荐:

网友留言:

我要评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。