位置: 编程技术 - 正文

在centos7中分布式部署pyspider(centos7如何分区)

编辑:rootadmin

推荐整理分享在centos7中分布式部署pyspider(centos7如何分区),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:centos7分区命令,centos7分区教程,centos7.6分区教程,centos7 parted分区,centos7分区图文教程,centos7.8分区图文教程,centos7.5怎么分区,centos7怎么分配空间,内容如对您有帮助,希望把文章链接给更多的朋友!

1.搭建环境:

系统版本:Linux centos-linux.shared 3..0-.el7.x_ #1 SMP Mon Jun :: UTC x_ x_ x_ GNU/Linux

python版本:Python 3.5.1

1.1.搭建python3环境:

本人在尝试过后选择集成环境Anaconda

1.1.1.编译

1.1.2.集成环境anaconda

1.2.安装mariaDB

1.3.安装pyspider

本人使用Anaconda

其他方法

本人推荐用anaconda方式安装

若pyspider运行过程中出现错误,参考anaconda安装部分,至此,访问localhost:可看到页面。

1.4.安装Supervisor

1.4.1.Supervisor用法

1.5.安装redis

1.6.关于自启动

至此,pyspider单个服务器运行环境搭建且部署完毕,启动localhost:进入web界面。

也可编写脚本运行,在/pyspider/supervisor/pyspider.log查看运行状态。

在centos7中分布式部署pyspider(centos7如何分区)

2.分布式部署

刚才配置的服务器,将其命名为centos,按照这样的配置,再分别部署两台centos、centos。

如下:

服务器名称 ip 说明

2.1.centos

进入服务器centos,经过第一步,基本环境已经搭好,首先编辑配置文件/pyspider/config.json

尝试运行下:

运行成功后,可直接更改/etc/supervisord.d/pyspider.ini如下:

centos部署完毕。

2.2.centos

在centos中,需要运行result_worker、processor、phantomjs、fetcher

分别建立文件:

在pyspider目录中建立pjsconfig.json

下载phantomjs至/pyspider/文件夹,将git/pyspider/pyspider/fetcher/phantomjs_fetcher.js复制到phantomjs_fetcher.js

centos部署完毕。

2.3.centos

部署这三个进程fetcher, processor, result_worker和centos 一样,本服务器主要是在前面的基础上加上webui

建立文件:

3.总结

访问 即可,尽情爬取吧。

Pycharm学习教程(3) 代码运行调试 Pycharm代码运行调试,具体内容如下1、准备工作(1)Python版本为2.7或者更高版本(2)已经创建了一个Python工程并且添加了内容,具体参考:GettingStartedtu

Pycharm学习教程(4) Python解释器的相关配置 Python解释器的相关配置,供大家参考,具体内容如下1、准备工作(1)Pycharm版本为3.4或者更高。(2)电脑上至少已经安装了一个Python解释器。(3)如果

python中解析json格式文件的方法示例 前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。它基于JavaScript(StandardECMA-rdEdition-December)的一个子集。JSON采用完全独立于语言的文本

标签: centos7如何分区

本文链接地址:https://www.jiuchutong.com/biancheng/375607.html 转载请保留说明!

上一篇:python3读取MySQL-Front的MYSQL密码(python 读取数据库)

下一篇:Pycharm学习教程(3) 代码运行调试(pycharm中文教程)

  • 没有购销合同可以开票吗
  • 继续教育容易过吗
  • 公允价值变动损益影响营业利润吗
  • 增值税的视同销售行为有哪些
  • 企业所得税本年实际缴纳不包括上年汇算清缴补缴税款吗
  • 水利基金和印花税会计分录
  • 小规模按季申报 月销售收入不超过
  • 事业单位缴纳增值税标准
  • 一般纳税人销售自己使用过的汽车
  • 资产减值损失为正
  • 利润表本期金额怎么算
  • 微信转账手续费怎么算
  • 消费税增值税如何调整?
  • 企业出租房屋交什么税?
  • 增值税专用发票几个点
  • 已认证的发票对账怎么办
  • 税控盘清盘怎么做
  • 个人出租房屋合同协议书
  • 企业所得税上个季度赔钱下个季度挣钱
  • 异地工程需要预交税吗
  • 销售折扣计入增值税销售额的
  • 房屋交易税费的计算
  • 增值税季度不超过30万
  • 用盈余公积弥补亏损会影响所有者权益总额吗
  • 自然人独资企业交什么税
  • 怎么在电脑上设置输入法
  • Win10怎么清除系统
  • 事业单位投资收回账务处理
  • linux 文件夹压缩
  • 施工单位工程款支付程序
  • 应付票据和应收票据的关系
  • 最贵的安卓应用软件
  • 辅导期纳税人注意事项
  • thinkphp框架怎么用
  • 税款差0.05是怎么处理
  • php判断useragent
  • 云服务器 chia
  • 劳务费支出计入什么会计科目
  • 融资租出固定资产计入什么科目
  • 投标保证金的缴纳方式有哪些
  • mongodb备份策略
  • 工会经费为0是不用申报的?
  • 本年利润借方余额是什么意思呢
  • mysql添加远程访问
  • 购入固定资产印花税税目是什么
  • 填写企业所得税年度纳税申报表都需要哪些数据
  • 顺流交易和逆流交易会计分录
  • 短期理财会计处理
  • 完税证明和纳税证明一样吗
  • 劳务派遣公司收入确认税收政策
  • 购买商品加包装怎么入账
  • 公司内部核算调研报告
  • 企业出现有利润的现象
  • 组织机构代码证图片
  • mysql双主复制
  • sql实现行列转换
  • linux安装flash插件
  • linux扩容inode
  • win8.1介绍
  • 轻量级java开发工具
  • 索尼笔记本安装软件顺序
  • cocos jsc
  • node运行js文件
  • node.js的流的作用
  • 视锥是什么意思
  • node:js
  • hover在jquery中的用法
  • javascript中array数组对象的含义及常用方法
  • android 多个权限合并 弹窗
  • 个体 税务登记
  • 吉林省地方税务局单位职工集资建房免征营业税
  • 陕西电子税务局官网
  • 纳服的拼音
  • 房屋出租到哪里挂出去
  • 你需要了解什么 英语
  • 快手怎样代卖
  • 江苏税务如何绑定多家企业账户
  • 残疾人就业税收优惠政策2021
  • 农副产品批发价
  • 福州水费出账时间
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设