位置: 编程技术 - 正文

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

编辑:rootadmin

推荐整理分享pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:pycharm安装完后怎么打开,pycharm怎么打开文件夹,pycharm运行窗口调出,pycharmrun运行窗口怎么打开,pycharm安装完后怎么打开,pycharm打开没反应,pycharm打开没反应,pycharm 打开,内容如对您有帮助,希望把文章链接给更多的朋友!

首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

目录结构如下:

打开Pycharm,选择open

选择项目,ok

打开如下界面之后,按alt + 1, 打开project 面板

在test1/spiders/,文件夹下,新建一个爬虫spider.py, 注意代码中的name="dmoz"。这个名字后面会用到。

pycharm下打开、执行并调试scrapy爬虫程序的方法(pycharm打开文件怎么运行)

在test1目录和scrapy.cfg同级目录下面,新建一个begin.py文件(便于理解可以写成main.py),注意箭头2所指的名字和第5步中的name='dmoz'名字是一样的。

7. 上面把文件搞定了,下面要配置一下pycharm了。点击Run->Edit Configurations

8. 新建一个运行的python模块

9. Name:改成spider; script:选择刚才新建的那个begin.py文件;Working Direciton:改成自己的工作目录

. 至此,大功告成了,点击下图,右上角的按钮就能运行了。

调试

可以在其他代码中设置断点,就可以debug运行

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

标签: pycharm打开文件怎么运行

本文链接地址:https://www.jiuchutong.com/biancheng/375468.html 转载请保留说明!

上一篇:Python快速排序算法实例分析(python快速排序算法代码)

下一篇:Scrapy框架CrawlSpiders的介绍以及使用详解(Scrapy框架可以用于数据挖掘、监测和自动化测试)

  • 快递收派服务增值税政策
  • 一般纳税人租赁费税率5%是简易征收吗?
  • 单位买了一批空调怎么办
  • 利息费用如何在记账软件输入
  • 小规模差额申报怎么申报
  • 跨年度冲红的账务处理
  • 以前年度损益调整影响本年利润
  • 外币借款汇兑差额计入什么科目
  • 固定资产成本包括包装费吗
  • 发出材料计划成本例题
  • 在建工程过程中取得收入怎么入账
  • 捐赠个人支出需要交纳个税吗?
  • 商业营业用房经营租赁税率是多少
  • 7月1日起税务新规
  • 什么是所有者权益?其包括哪些内容
  • 变动成本主要包括
  • 领专票需要带什么东西
  • 小规模企业税务简易注销
  • 企业开业装修费用分录
  • window10主题的颜色浅了
  • 个人开发是什么意思
  • 农业合作社农民合作社
  • php如何通过链接获取源码
  • php初始化会话
  • mac菜单键怎么设置出来的
  • win10投影无反应
  • ahqinit.exe是什么进程 ahqinit是安全的进程吗
  • PHP:ftp_ssl_connect()的用法_FTP函数
  • 增值税应税行为是什么意思
  • php实现文件下载功能
  • iis防盗链
  • 新空调的安装费是多少
  • 营改增后企业一般纳税人认定标准为
  • 巨浪向我冲来改为拟人句
  • 以其他方式取得土地使用权
  • 葡萄牙海岸风光
  • php页面跳转实现什么功能
  • 漫天花雨异闻
  • 一文详解卡尔曼人物形象
  • java上界通配符Animal Dog
  • 运费已付发票未到会计分录
  • 外管证异地预缴税款是什么意思
  • 一个简单的web项目名称
  • 医院执行政府会计制度操作指南 .pdf
  • 以前年度损益调整
  • 公司借个人款利息产生个人所得税公司可以承担吗
  • 工资能否当月计提当月发放
  • 去年购进的货物怎么做账
  • 超市返利账务处理
  • 免税的会计分录有哪些
  • 财政补助资金是什么意思
  • 筹建期间取得的利息收入 企业所得税
  • 什么情况下增值税发票不能抵扣
  • 费用报销银行转账用途怎么写
  • 增值税结转是月结转还是年度
  • SQL里类似SPLIT的分割字符串函数
  • mac安装mysql没看见初期密码
  • mysql的慢查询日志怎么查看
  • fedora怎么用
  • solaris 安装
  • 升级ubuntu
  • linux怎么自定义命令
  • win10升级100完成不动
  • linux配置ssh
  • win10系统预览版
  • js获取数组元素个数
  • javascriptweb
  • 请问在javascript程序中
  • Android 中的 TableLayout 继承自
  • jquery 动态绑定
  • firefox background-image垂直平铺问题的解决方法
  • bootstrap tree table
  • 刨根问底造句
  • ug合并命令在哪
  • fiori开发工具
  • python递归写法
  • python用什么编辑
  • c# addin
  • 金税盘电子发票怎么开
  • 上海增值税怎么报税流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设