位置: 编程技术 - 正文

在centos7中分布式部署pyspider(centos7如何分区)

编辑:rootadmin

推荐整理分享在centos7中分布式部署pyspider(centos7如何分区),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:centos7分区命令,centos7分区教程,centos7.6分区教程,centos7 parted分区,centos7分区图文教程,centos7.8分区图文教程,centos7.5怎么分区,centos7怎么分配空间,内容如对您有帮助,希望把文章链接给更多的朋友!

1.搭建环境:

系统版本:Linux centos-linux.shared 3..0-.el7.x_ #1 SMP Mon Jun :: UTC x_ x_ x_ GNU/Linux

python版本:Python 3.5.1

1.1.搭建python3环境:

本人在尝试过后选择集成环境Anaconda

1.1.1.编译

1.1.2.集成环境anaconda

1.2.安装mariaDB

1.3.安装pyspider

本人使用Anaconda

其他方法

本人推荐用anaconda方式安装

若pyspider运行过程中出现错误,参考anaconda安装部分,至此,访问localhost:可看到页面。

1.4.安装Supervisor

1.4.1.Supervisor用法

1.5.安装redis

1.6.关于自启动

至此,pyspider单个服务器运行环境搭建且部署完毕,启动localhost:进入web界面。

也可编写脚本运行,在/pyspider/supervisor/pyspider.log查看运行状态。

在centos7中分布式部署pyspider(centos7如何分区)

2.分布式部署

刚才配置的服务器,将其命名为centos,按照这样的配置,再分别部署两台centos、centos。

如下:

服务器名称 ip 说明

2.1.centos

进入服务器centos,经过第一步,基本环境已经搭好,首先编辑配置文件/pyspider/config.json

尝试运行下:

运行成功后,可直接更改/etc/supervisord.d/pyspider.ini如下:

centos部署完毕。

2.2.centos

在centos中,需要运行result_worker、processor、phantomjs、fetcher

分别建立文件:

在pyspider目录中建立pjsconfig.json

下载phantomjs至/pyspider/文件夹,将git/pyspider/pyspider/fetcher/phantomjs_fetcher.js复制到phantomjs_fetcher.js

centos部署完毕。

2.3.centos

部署这三个进程fetcher, processor, result_worker和centos 一样,本服务器主要是在前面的基础上加上webui

建立文件:

3.总结

访问 即可,尽情爬取吧。

Pycharm学习教程(3) 代码运行调试 Pycharm代码运行调试,具体内容如下1、准备工作(1)Python版本为2.7或者更高版本(2)已经创建了一个Python工程并且添加了内容,具体参考:GettingStartedtu

Pycharm学习教程(4) Python解释器的相关配置 Python解释器的相关配置,供大家参考,具体内容如下1、准备工作(1)Pycharm版本为3.4或者更高。(2)电脑上至少已经安装了一个Python解释器。(3)如果

python中解析json格式文件的方法示例 前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。它基于JavaScript(StandardECMA-rdEdition-December)的一个子集。JSON采用完全独立于语言的文本

标签: centos7如何分区

本文链接地址:https://www.jiuchutong.com/biancheng/375607.html 转载请保留说明!

上一篇:python3读取MySQL-Front的MYSQL密码(python 读取数据库)

下一篇:Pycharm学习教程(3) 代码运行调试(pycharm中文教程)

  • 单独计税的年终奖怎么算
  • 消费税在哪个环节可以抵扣
  • 个体的个人所得税怎么算
  • 专票要写开户行和账号
  • 个体户没做过账怎么办
  • 固定模板的东西叫什么
  • 一张报关单可以分两次退税吗
  • 赔偿支出需要纳税调整吗
  • 加计抵减税额账务处理
  • 应交税费应交印花税借方有余额
  • 城镇土地使用税纳税义务发生时间
  • 商贸企业增加值
  • 百旺税盘网络连接不上
  • 弃置费用调整
  • 营改增后常用发票报销的种类有哪些呢?
  • 支付平台使用费怎么算
  • 筹建期土地使用税分录
  • 收到投资分红要缴纳企业所得税吗?
  • 迁移税务需要带什么资料
  • 社保滞纳金税前怎么算
  • 分配利润账务处理
  • 1697506445
  • 购入的会计分录怎么写
  • 买购物卡发福利怎么发
  • 劳务费和服务费一样吗
  • 坏坏狼故事绘本
  • 公司收入算认缴出资吗
  • 购货方收到红字发票怎么报税
  • 收到员工罚款分录怎么记账
  • 财务处理程序的方法
  • 向境外支付技术服务费怎里面的增值税怎么入账
  • 最小的手机有多大
  • php导出表格
  • php socket_select
  • php数组求最大值
  • 税控盘的发票怎么做账
  • html与js之间如何配合
  • opencv dng
  • 商贸公司如何结转销售成本
  • wordpress自定义文章模板
  • 会计人员报销差旅费应该给谁审核呢
  • 差旅费取得发票怎么处理
  • db2之间的数据库迁移
  • 绿化租赁合同要交印花税吗
  • 分公司可以单独上市吗
  • 一般纳税人支付的增值税计入成本吗
  • 现金发放工资会计科目怎么写
  • 应收款超过多久未收回可界定为损失
  • 技术内部化
  • 什么是商业汇票,其种类有哪些
  • 私车公用产生的费用算不算在公务用车运行维护费中
  • 税收完税证明怎么做账
  • 补报印花税税需要提供什么材料
  • 广告公司非税收入标准
  • 固定资产核算的内容主要包括
  • 到银行货款现金怎么货
  • 增值税为负值时当年可抵扣的进项税
  • 什么是对公账户?
  • 明细分类账怎么做表格
  • 现代服务业包括哪些
  • 年数总和法净残值怎么算
  • mysqldump导出csv文件
  • windows vista升级
  • wsinspector.exe是什么进程
  • 第一次安装ps后需要哪些设置
  • win8系统怎么关掉开机密码
  • linux系统chmod用法
  • Win10 Mobile Redstone新功能介绍
  • ubuntu安装指南
  • Tutorial2 Hello dot!
  • js插件大全
  • 安卓笔记软件squid使用方法
  • 疯狂Android讲义(kotlin版)
  • unity做安卓app
  • nodejs test
  • jquery设置文本字体样式
  • 下午税务局几点上班
  • 运输专票怎么开发票
  • 江苏社保缴费基数是什么意思
  • 山西省地方税务局通用定额发票
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设