IPython Notebook 运行python Spark程序
2021-07-07 20:04
标签:nbsp lse https bootstra server exp ipy 技术分享 trap 因为centos7.0自带的python系统是2.7.5,并没有安装pip,需要先安装pip (一)配置远程访问jupyter 1)首先输入ipython生成秘钥 设定一个密码,会生成一个sha1的秘钥,如下图: 2)生成jupyter的config文件 这时候会生成配置文件,在 ~/.jupyter/jupyter_notebook_config.py 3)修改配置文件:~/.jupyter/jupyter_notebook_config.py 加入如下内容,其中sha1那一串秘钥是上面生成的那一串 保存退出。 4)启动jupyter 在远程电脑上,打开浏览器,输入: 需要输入密码,就是上面设置的那个密码,输入即可 IPython Notebook 运行python Spark程序 标签:nbsp lse https bootstra server exp ipy 技术分享 trap 原文地址:https://www.cnblogs.com/zenan/p/9585402.html1.安装pip
$ wget https://bootstrap.pypa.io/get-pip.py
$ python get-pip.py
$ pip install numpy pandas scipy jupyter
2.配置启动项
$ vim ./.bashrc
export PYSPARK_DRIVER_PYTHON=/usr/bin/ipython
export PYSPARK_PYTHON=/usr/bin/python
$ source ./.bashrc
3.jupyter 无法远程访问
$ jupyter notebook --allow-root
其实这时候,local如果有browser的话,就可以输入访问了,但是没有,所以需要远程访问: http://ip:8888,发现访问不了$ ipython
from notebook.auth import passwd
passwd()
$ jupyter notebook --generate-config
$vim ~/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip=‘*‘
c.NotebookApp.password = u‘sha1:f9030dd55bce:75fd7bbaba41be6ff5ac2e811b62354ab55b1f63‘
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888
$jupyter notebook --allow-root
http://your-server-ip:8888
4.启动
$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook --allow-root" pyspark # 其中--allow-root是因为root登录master
下一篇:c++中的var_dump
文章标题:IPython Notebook 运行python Spark程序
文章链接:http://soscw.com/essay/102195.html