位置: 编程技术 - 正文

在centos7中分布式部署pyspider(centos7如何分区)

编辑:rootadmin

推荐整理分享在centos7中分布式部署pyspider(centos7如何分区),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:centos7分区命令,centos7分区教程,centos7.6分区教程,centos7 parted分区,centos7分区图文教程,centos7.8分区图文教程,centos7.5怎么分区,centos7怎么分配空间,内容如对您有帮助,希望把文章链接给更多的朋友!

1.搭建环境:

系统版本:Linux centos-linux.shared 3..0-.el7.x_ #1 SMP Mon Jun :: UTC x_ x_ x_ GNU/Linux

python版本:Python 3.5.1

1.1.搭建python3环境:

本人在尝试过后选择集成环境Anaconda

1.1.1.编译

1.1.2.集成环境anaconda

1.2.安装mariaDB

1.3.安装pyspider

本人使用Anaconda

其他方法

本人推荐用anaconda方式安装

若pyspider运行过程中出现错误,参考anaconda安装部分,至此,访问localhost:可看到页面。

1.4.安装Supervisor

1.4.1.Supervisor用法

1.5.安装redis

1.6.关于自启动

至此,pyspider单个服务器运行环境搭建且部署完毕,启动localhost:进入web界面。

也可编写脚本运行,在/pyspider/supervisor/pyspider.log查看运行状态。

在centos7中分布式部署pyspider(centos7如何分区)

2.分布式部署

刚才配置的服务器,将其命名为centos,按照这样的配置,再分别部署两台centos、centos。

如下:

服务器名称 ip 说明

2.1.centos

进入服务器centos,经过第一步,基本环境已经搭好,首先编辑配置文件/pyspider/config.json

尝试运行下:

运行成功后,可直接更改/etc/supervisord.d/pyspider.ini如下:

centos部署完毕。

2.2.centos

在centos中,需要运行result_worker、processor、phantomjs、fetcher

分别建立文件:

在pyspider目录中建立pjsconfig.json

下载phantomjs至/pyspider/文件夹,将git/pyspider/pyspider/fetcher/phantomjs_fetcher.js复制到phantomjs_fetcher.js

centos部署完毕。

2.3.centos

部署这三个进程fetcher, processor, result_worker和centos 一样,本服务器主要是在前面的基础上加上webui

建立文件:

3.总结

访问 即可,尽情爬取吧。

Pycharm学习教程(3) 代码运行调试 Pycharm代码运行调试,具体内容如下1、准备工作(1)Python版本为2.7或者更高版本(2)已经创建了一个Python工程并且添加了内容,具体参考:GettingStartedtu

Pycharm学习教程(4) Python解释器的相关配置 Python解释器的相关配置,供大家参考,具体内容如下1、准备工作(1)Pycharm版本为3.4或者更高。(2)电脑上至少已经安装了一个Python解释器。(3)如果

python中解析json格式文件的方法示例 前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。它基于JavaScript(StandardECMA-rdEdition-December)的一个子集。JSON采用完全独立于语言的文本

标签: centos7如何分区

本文链接地址:https://www.jiuchutong.com/biancheng/375607.html 转载请保留说明!

上一篇:python3读取MySQL-Front的MYSQL密码(python 读取数据库)

下一篇:Pycharm学习教程(3) 代码运行调试(pycharm中文教程)

  • 制造费用结转到辅助生产成本
  • 怎么识别发票是否含税
  • 个税申报了还要扣钱吗
  • 税务1236600短信
  • 设备售后回租需交税吗
  • 工业企业电费出售会计分录怎么写?
  • 企业要怎样才能发挥其在实现生态产品价值过程中的作用
  • 厂部管理人员工资属于什么会计科目
  • 限制性股票股利会计处理
  • 企业重组 资产重组
  • 增值税普通发票需要交税吗
  • 存货变卖残值取得的收益计入哪个科目
  • won11安全启动
  • 劳务人员劳务费
  • phpexplode函数
  • 如何禁用win10自动修复
  • PHP:Memcached::deleteByKey()的用法_Memcached类
  • 资产减值的会计政策
  • 销售固定资产利润率
  • 预测编码方式
  • php zend
  • html转化成图片
  • php反射获取方法参数
  • 残保金所属期怎么写
  • php封装数据库连接
  • javascript导入包
  • br命令怎么用
  • apache php mysql开发环境安装教程
  • 本地住宿费能报销吗
  • 公司的日常费用包括哪些
  • phpcms文档
  • 准则对()、()和()等作出基本规定
  • 如何保护数据库
  • 详解sql基础语法实验报告
  • 出口货物离岸价差异原因说明表在电子税务局的位置
  • linux mysql 找回密码
  • 生育津贴到公司了公司什么时候发给个人
  • 多处取得工资薪金
  • 百旺金赋抄报税指南
  • 分公司可以在银行贴现吗
  • 营业外收入如何纳税
  • 收据可以做收入吗?
  • 因管理不善材料被盗应记啥科目
  • 长期股权投资权益法初始成本的确定
  • 党组织专项经费包括什么
  • 委托加工合同如何签订
  • 什么是成本费用,什么是经营成本
  • 系统多交税款放在哪里
  • 营改增后计税依据
  • 根据企业会计准则第4号固定资产,企业可选用的折旧方法
  • 行政单位经费支出审批权限
  • mysql 从库
  • sql server数据库怎么导出
  • mysql声明全局变量
  • win10显示请勿关闭电脑
  • 电脑的技巧
  • 苹果电脑注释
  • 如何创建mac系统安装盘
  • 服务器centos6.8安装教程
  • win10 rs3
  • 4G内存时linux的mtrr表不正确的解决
  • centos重启动停在4m
  • Win10 TH2首个重要更新后应用商店依然存在问题
  • 有没有win8系统
  • win10系统无法运行exe文件
  • mac vscode opengl
  • python3m
  • node.js中的http.request.end方法使用说明
  • python中 info
  • js点击表格行获取当前行信息
  • jquery节点操作
  • 深入浅出css
  • js parsefloat parseint 转换函数
  • js验证正整数
  • bpc什么时候进入中国
  • 税务巡视组一般检查什么
  • 税务总局着装管理办法
  • 税务局落实双拥工作情况报告
  • 小规模企业所得税申报流程
  • 城市维护建设税属于什么科目
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设