位置: 编程技术 - 正文
推荐整理分享在centos7中分布式部署pyspider(centos7如何分区),希望有所帮助,仅作参考,欢迎阅读内容。
文章相关热门搜索词:centos7分区命令,centos7分区教程,centos7.6分区教程,centos7 parted分区,centos7分区图文教程,centos7.8分区图文教程,centos7.5怎么分区,centos7怎么分配空间,内容如对您有帮助,希望把文章链接给更多的朋友!
1.搭建环境:
系统版本:Linux centos-linux.shared 3..0-.el7.x_ #1 SMP Mon Jun :: UTC x_ x_ x_ GNU/Linux
python版本:Python 3.5.1
1.1.搭建python3环境:
本人在尝试过后选择集成环境Anaconda
1.1.1.编译
1.1.2.集成环境anaconda
1.2.安装mariaDB
1.3.安装pyspider
本人使用Anaconda
其他方法
本人推荐用anaconda方式安装
若pyspider运行过程中出现错误,参考anaconda安装部分,至此,访问localhost:可看到页面。
1.4.安装Supervisor
1.4.1.Supervisor用法
1.5.安装redis
1.6.关于自启动
至此,pyspider单个服务器运行环境搭建且部署完毕,启动localhost:进入web界面。
也可编写脚本运行,在/pyspider/supervisor/pyspider.log查看运行状态。
2.分布式部署
刚才配置的服务器,将其命名为centos,按照这样的配置,再分别部署两台centos、centos。
如下:
服务器名称 ip 说明
2.1.centos
进入服务器centos,经过第一步,基本环境已经搭好,首先编辑配置文件/pyspider/config.json
尝试运行下:
运行成功后,可直接更改/etc/supervisord.d/pyspider.ini如下:
centos部署完毕。
2.2.centos
在centos中,需要运行result_worker、processor、phantomjs、fetcher
分别建立文件:
在pyspider目录中建立pjsconfig.json
下载phantomjs至/pyspider/文件夹,将git/pyspider/pyspider/fetcher/phantomjs_fetcher.js复制到phantomjs_fetcher.js
centos部署完毕。
2.3.centos
部署这三个进程fetcher, processor, result_worker和centos 一样,本服务器主要是在前面的基础上加上webui
建立文件:
3.总结
访问 即可,尽情爬取吧。
Pycharm学习教程(3) 代码运行调试 Pycharm代码运行调试,具体内容如下1、准备工作(1)Python版本为2.7或者更高版本(2)已经创建了一个Python工程并且添加了内容,具体参考:GettingStartedtu
Pycharm学习教程(4) Python解释器的相关配置 Python解释器的相关配置,供大家参考,具体内容如下1、准备工作(1)Pycharm版本为3.4或者更高。(2)电脑上至少已经安装了一个Python解释器。(3)如果
python中解析json格式文件的方法示例 前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。它基于JavaScript(StandardECMA-rdEdition-December)的一个子集。JSON采用完全独立于语言的文本
标签: centos7如何分区
本文链接地址:https://www.jiuchutong.com/biancheng/375607.html 转载请保留说明!上一篇:python3读取MySQL-Front的MYSQL密码(python 读取数据库)
下一篇:Pycharm学习教程(3) 代码运行调试(pycharm中文教程)
友情链接: 武汉网站建设