位置: 编程技术 - 正文

教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用)

编辑:rootadmin

推荐整理分享教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python3怎么用,python3.7怎么用,python3怎么用,python 3.9怎么用,python:3,python 3.9怎么用,python 3.9怎么用,python3怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。

好了,开始说爬百度百科的事。

这里设定的需求是爬取北京地区n个景点的全部信息,n个景点的名称是在文件中给出的。没有用到api,只是单纯的爬网页信息。

1、根据关键字获取url

由于只需要爬取信息,而且不涉及交互,可以使用简单的方法而不需要模拟浏览器。

可以直接

这里要注意关键词是中午所以要注意编码问题,由于url中不能出现空格,所以需要用quote函数处理一下。

关于quote():

在 Python2.x 中的用法是:urllib.quote(text) 。Python3.x 中是urllib.parse.quote(text) 。按照标准,URL只允许一部分ASCII 字符(数字字母和部分符号),其他的字符(如汉字)是不符合URL标准的。所以URL中使用其他字符就需要进行URL编码。URL中传参数的部分(query String),格式是:name1=value1&name2=value2&name3=value3。假如你的name或者value值中的『&』或者『=』等符号,就当然会有问题。所以URL中的参数字符串也需要把『&=』等符号进行编码。URL编码的方式是把需要编码的字符转化为%xx的形式。通常URL编码是基于UTF-8的(当然这和浏览器平台有关)

例子:

教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用)

比如『我,unicode 为 0x,UTF-8编码为0xExx,URL编码就是 %E6%%。

Python的urllib库中提供了quote和quote_plus两种方法。这两种方法的编码范围不同。不过不用深究,这里用quote就够了。

2、下载url

用urllib库轻松实现,见下面的代码中def download(self,url)

3、利用Beautifulsoup获取html

4、数据分析

百科中的内容是并列的段,所以在爬的时候不能自然的按段逻辑存储(因为全都是并列的)。所以必须用正则的方法。

基本的想法就是把整个html文件看做是str,然后用正则的方法截取想要的内容,在重新把这段内容转换成beautifulsoup对象,然后在进一步处理。

可能要花些时间看一下正则。

代码中还有很多细节,忘了再查吧只能,下次绝对应该边做编写文档,或者做完马上写。。。

贴代码!

总结

用python3根据关键词爬取百度百科的内容到这就基本结束了,希望这篇文章能对大家学习python有所帮助。

Python用模块pytz来转换时区 前言最近遇到了一个问题:我的server和client不是在一个时区,server时区是EDT,即美国东部时区,client,就是我自己的电脑,时区是中国标准时区,东八

利用Python开发微信支付的注意事项 前言微信支付是由微信及财付通联合推出的移动支付创新产品。如今,随着微信支付的全面开放,相关需求也越来越多,很多开发人员进行微信支付开

详解Python实现按任意键继续/退出的功能 前言要实现该功能,需要的就是暂停程序、等待并捕捉用户的一个键盘输入,然后继续执行。Python有内建的库能帮我们实现该功能,不过要区别对待Windo

标签: python3.8.3怎么用

本文链接地址:https://www.jiuchutong.com/biancheng/386185.html 转载请保留说明!

上一篇:利用Python爬取可用的代理IP(python能爬取app吗)

下一篇:Python用模块pytz来转换时区(python编写一个模块)

  • 个体工商户工商年报资金数额填啥
  • 一般纳税人销售农产品增值税税率
  • 销售成本包括销售部门
  • 企业购进软件系统后如何做账
  • 收回个人社会保险费是否可以冲红管理费用
  • 电子发票密码区显示不全
  • 提供咨询服务的小规模企业是一般纳税人吗
  • 企业存货核算的内容包括
  • 工伤事故赔偿项目表
  • 汇总记账凭证会计核算形式
  • 分包工程违法吗
  • 股票价值的计算公式财务管理
  • 出售无形资产计入资产处置损益还是营业外收入
  • 捆绑销售行为怎么纳税
  • 定期定额户超过定额怎么报个税
  • 股票收益收税吗
  • 税字号是不是纳税人识别号
  • 个体户哪种税率最低
  • 在建工程完工,并当日签订出租协议的会计分录
  • 限制性股票股利会计处理
  • 个体工商年报填写
  • 发票有问题找谁
  • 税费是哪个会计科目?
  • 外汇局网上申报
  • 关联方之间借款利息怎么开票
  • 多交的增值税怎么处理
  • 在win7系统中如何让电脑恢复出厂设置方法
  • 准予从销项税额中扣除的有
  • 计提折旧是什么账户
  • php获取农历日期
  • antvl7
  • 资产负债表要点
  • 转让子公司产生的投资收益在合并层面是不是全部抵消
  • 关于减肥的好方法
  • 金融机构借款利率最新规定
  • 个人出租车辆交税吗
  • 合伙企业利润分配原则
  • gpt3 api
  • php array_merge_recursive 数组合并
  • 帝国cms仿站工具
  • 标书注意事项与如何制作标书
  • 软件企业会计账务处理
  • 出租固定资产的租金收入
  • 现金流量表上期金额
  • 期末增值税结转后未交增值税有余额,对吗
  • mysql触发器菜鸟教程
  • 营改增后,建筑行业与供应商签合同才怎样签没风险?
  • 报表其他应收款包括哪些内容
  • 合并报表非同控为什么调公允
  • 代建项目谁付款
  • 筹建期间发生的长期借款利息费用计入财务费用
  • 哪些计入研发费用
  • 研发费用中可以有委托研发核算吗
  • 医院的自助缴费机怎么开具发票
  • 工程预付款如何扣回
  • sql server 错误
  • virtualboxubuntu安装教程
  • mac链接其他屏幕
  • linux系统安装yum
  • 电脑系统停用
  • ubuntu20开机自启动
  • windows server 2016 域控
  • imessage如何群发
  • Linux系统怎么用梯子
  • win7系统无法更改账户名称
  • 如何开启金山毒霸
  • 安卓影音播放软件
  • [置顶]JM259194
  • android中常用的adapter不包括
  • 浏览器如何批量打开网址
  • node-js
  • unity 2danimation
  • python全角半角
  • javascript教程完整版
  • android手机屏幕采集触摸区域所有点
  • 企业所得税税率10%
  • 邮政银行开税票要什么材料
  • 什么是金融企业的固定推销人员
  • 税务总局在贯彻落实意见任务分工中
  • 汽车票用什么查
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设