位置: 编程技术 - 正文
在centos7中分布式部署pyspider(centos7如何分区)
编辑：rootadmin推荐整理分享在centos7中分布式部署pyspider(centos7如何分区)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:centos7分区命令,centos7分区教程,centos7.6分区教程,centos7 parted分区,centos7分区图文教程,centos7.8分区图文教程,centos7.5怎么分区,centos7怎么分配空间,内容如对您有帮助，希望把文章链接给更多的朋友！
1.搭建环境：
系统版本：Linux centos-linux.shared 3..0-.el7.x_ #1 SMP Mon Jun :: UTC x_ x_ x_ GNU/Linux
python版本：Python 3.5.1
1.1.搭建python3环境：
本人在尝试过后选择集成环境Anaconda
1.1.1.编译
1.1.2.集成环境anaconda
1.2.安装mariaDB
1.3.安装pyspider
本人使用Anaconda
其他方法
本人推荐用anaconda方式安装
若pyspider运行过程中出现错误，参考anaconda安装部分，至此，访问localhost:可看到页面。
1.4.安装Supervisor
1.4.1.Supervisor用法
1.5.安装redis
1.6.关于自启动
至此，pyspider单个服务器运行环境搭建且部署完毕，启动localhost:进入web界面。
也可编写脚本运行，在/pyspider/supervisor/pyspider.log查看运行状态。
2.分布式部署
刚才配置的服务器，将其命名为centos，按照这样的配置，再分别部署两台centos、centos。
如下：
服务器名称 ip 说明
2.1.centos
进入服务器centos，经过第一步，基本环境已经搭好，首先编辑配置文件/pyspider/config.json
尝试运行下：
运行成功后，可直接更改/etc/supervisord.d/pyspider.ini如下：
centos部署完毕。
2.2.centos
在centos中，需要运行result_worker、processor、phantomjs、fetcher
分别建立文件：
在pyspider目录中建立pjsconfig.json
下载phantomjs至/pyspider/文件夹，将git/pyspider/pyspider/fetcher/phantomjs_fetcher.js复制到phantomjs_fetcher.js
centos部署完毕。
2.3.centos
部署这三个进程fetcher, processor, result_worker和centos 一样，本服务器主要是在前面的基础上加上webui
建立文件：
3.总结
访问 即可，尽情爬取吧。
Pycharm学习教程（3） 代码运行调试 Pycharm代码运行调试，具体内容如下1、准备工作（1）Python版本为2.7或者更高版本（2）已经创建了一个Python工程并且添加了内容，具体参考：GettingStartedtu
Pycharm学习教程（4） Python解释器的相关配置 Python解释器的相关配置，供大家参考，具体内容如下1、准备工作（1）Pycharm版本为3.4或者更高。（2）电脑上至少已经安装了一个Python解释器。（3）如果
python中解析json格式文件的方法示例 前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。它基于JavaScript（StandardECMA-rdEdition-December）的一个子集。JSON采用完全独立于语言的文本
标签: centos7如何分区
本文链接地址:https://www.jiuchutong.com/biancheng/375607.html 转载请保留说明！
