位置: 编程技术 - 正文

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

编辑:rootadmin

推荐整理分享pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pycharm安装完后怎么打开,pycharm怎么打开文件夹,pycharm运行窗口调出,pycharmrun运行窗口怎么打开,pycharm安装完后怎么打开,pycharm打开没反应,pycharm打开没反应,pycharm 打开,内容如对您有帮助,希望把文章链接给更多的朋友!

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

目录结构如下:

打开Pycharm,选择open

选择项目,ok

打开如下界面之后,按alt + 1, 打开project 面板

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

8. 新建一个运行的python模块

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

调试

可以在其他代码中设置断点,就可以debug运行

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

标签: pycharm打开文件怎么运行

本文链接地址:https://www.jiuchutong.com/biancheng/375468.html 转载请保留说明!

上一篇:Python快速排序算法实例分析(python快速排序算法代码)

下一篇:Scrapy框架CrawlSpiders的介绍以及使用详解(Scrapy框架可以用于数据挖掘、监测和自动化测试)

  • 小规模纳税人宾馆房屋租赁税率
  • 附加税费用怎么算
  • 生产能量计入固定成本
  • 农产品收购发票可以跨区域开吗
  • 社保次月缴纳上月算不算中断
  • 其他权益工具投资是什么类科目
  • 核定征收企业股权转让的税收
  • 哪些小规模纳税人可以自行开具增值税
  • 房产税的计税依据有哪些
  • 管理费用月末结转总账登记图
  • 股东出资方式和比例是否合法?并说明理由
  • 劳务发票普票怎么开
  • 外地建安个人所得税标准
  • 超市开发票要交百分之几的税?
  • 油票发票可以抵进项税吗
  • 固定资产抵扣的税率
  • 免税农产品发票可以抵扣么
  • 损失与费用的区别
  • 浙江印花税税率
  • 固定资产出租收入属于其他业务收入吗
  • 本年利润总账需要本年合计吗?
  • 在win7中怎么安转只兼容win10的软件
  • windows 11怎么用
  • 收据入账会计分录
  • 天猫的软件服务费指的是什么
  • 禁止扣除项目有什么
  • php通信协议
  • 常用的前端大屏软件
  • php中imagestring
  • 机动车发票金额含税吗
  • 销售滞后税务处理
  • 长期借款和短期借款的区别是什么
  • 坏账准备的借贷方向表示什么意思
  • php实现的浏览器有哪些
  • 圣米歇尔山法语介
  • 企业会计准则季报利润表本期金额怎么填
  • 收取的标书收入如何入账
  • 发票打印错误如何修改
  • 其他发票包括哪些
  • 通用定额发票能当餐饮发票报销吗
  • php 文件处理
  • 计提工资大于实发工资企业所得税怎么算
  • 房产税计入管理费用还是税金附加
  • 科技公司技术服务费税率
  • datatable怎么用
  • 预收账款和应收账款可以合并吗
  • 小规模纳税人的增值税怎么算
  • 发行股票支付给证券商的费用计入哪
  • 单位租的个人房子需要采集房产税源吗
  • 未认证的进项税发票入账
  • 售后维修费会计分录
  • 付别人押金的会计分录
  • 无形资产摊销的会计科目怎么录
  • 私人银行卡给公司走账有影响吗
  • 房地产企业资产评估报告
  • sql server233错误
  • sql嵌套执行顺序
  • 记一次成功的喜悦作文
  • mysql怎么创建储存过程
  • linux远程操作常用命令
  • windows更新88
  • centos配ip的方法
  • win8开机启动项
  • Aero glass for Win8.1黑屏/不兼容弹窗的解决方法介绍
  • win7系统开机后很卡什么原因
  • win10如何设置时间和日期
  • android游戏开发框架
  • 根据安全生产法的规定,生产经营单位
  • js如何创建类
  • shell while 小于
  • 深入浅出jquery
  • 简述python的垃圾回收机制
  • 浏览器工作机制
  • 基于jquery实现小说
  • 西安经开税务局电话号码
  • 运满满订单取消技术服务费退还吗
  • 怎么申请冬季取暖补贴
  • 电子税务局无法导出申报表
  • 加强党的作风建设是目前全党的中心
  • 成品油进货
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设