位置: 编程技术 - 正文

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

编辑:rootadmin

推荐整理分享pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pycharm安装完后怎么打开,pycharm怎么打开文件夹,pycharm运行窗口调出,pycharmrun运行窗口怎么打开,pycharm安装完后怎么打开,pycharm打开没反应,pycharm打开没反应,pycharm 打开,内容如对您有帮助,希望把文章链接给更多的朋友!

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

目录结构如下:

打开Pycharm,选择open

选择项目,ok

打开如下界面之后,按alt + 1, 打开project 面板

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

8. 新建一个运行的python模块

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

调试

可以在其他代码中设置断点,就可以debug运行

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

标签: pycharm打开文件怎么运行

本文链接地址:https://www.jiuchutong.com/biancheng/375468.html 转载请保留说明!

上一篇:Python快速排序算法实例分析(python快速排序算法代码)

下一篇:Scrapy框架CrawlSpiders的介绍以及使用详解(Scrapy框架可以用于数据挖掘、监测和自动化测试)

  • 平价转让股权如何做
  • 加工承揽属于劳务关系吗
  • 监控系统维护费计入什么科目
  • 同一家单位发票不一样
  • 其他应收款账龄怎么算
  • 季末资产总额的计算
  • 小规模人力资源外包税率
  • 企业所得税跨年度事项
  • 电子承兑汇票如何贴现网银操作
  • 进项较大航天信息怎么填
  • 公司承租厂房装修协议
  • 印花税按次申报和按期申报区别
  • 学校管理费是什么意思
  • 发票抬头是繁体字怎么办
  • 自建公司什么意思
  • 存根联和记账联丢失有影响吗
  • 自然人出租房屋增值税税率
  • 药材种植政策
  • 网税系统用户名和密码
  • 代缴个税税务局奖励款怎么做账?
  • 新会计准则规定资产如何入账
  • 有哪些凭证
  • 电脑温度过高会怎么样
  • 发工资和扣社保的区别
  • 开启资源管理器自动刷新功能
  • 自费出版的书籍可以售卖吗
  • 哪些收入不纳税
  • nlp工具箱
  • 无偿转让房屋
  • 增值税加计抵减企业所得税如何处理
  • php zmq
  • vue定时调用方法
  • 工资必须走银行卡吗
  • php中array用法
  • php文件上传下载代码
  • 短期借款转为长期借款引起的会计要素变化
  • mongodb使用教程
  • 当月没有发放工资是不是就不用申报个税
  • 建筑业综合税率13.8%
  • 以前年度损益调整结转到本年利润吗
  • 教育行业有主营业务吗
  • 机器设备计提折旧纳税调整
  • 经营性收入包括成本吗
  • 补提去年企业所得税会计分录
  • 业务活动成本和管理费用能不能写在一起
  • 合伙企业法人股东税收
  • 银行本票与银行汇票的区别之一是
  • 对公账户收钱要手续费吗
  • 基建期罚款支出账务处理
  • 电费已支付未充值
  • 外币交易的账户设置
  • 购入固定资产的现金流量项目
  • 建筑 营改增
  • 收到票据款
  • 公账发工资如何记账
  • 存货账面价值的确定
  • 财务软件服务费合同印花税
  • 成本法与权益法的区别会计分录
  • 小企业应该如何发展
  • mysql删除和更新效率
  • gitlab linux
  • xp系统被锁定怎么解除锁定
  • 拒绝远程操作
  • hpg是什么文件
  • linux 文件夹权限 777
  • linux常用配置
  • gnu grub卸载
  • 你可能不知道的中融新大
  • webpack 构建流程
  • wind安装
  • android.permission.interact_across_users_full
  • linux编译链接命令
  • Javascript new Date().valueOf()的作用与时间戳由来详解
  • js定义数字
  • Linux 中的Edquota命令
  • unity网络请求
  • 有关的拼音
  • 支付给境外的咨询费需要什么资料
  • 广西国家税务局于红林
  • 地税局基层职位怎么样
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设