位置: 编程技术 - 正文

教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用)

编辑:rootadmin

推荐整理分享教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python3怎么用,python3.7怎么用,python3怎么用,python 3.9怎么用,python:3,python 3.9怎么用,python 3.9怎么用,python3怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。

好了,开始说爬百度百科的事。

这里设定的需求是爬取北京地区n个景点的全部信息,n个景点的名称是在文件中给出的。没有用到api,只是单纯的爬网页信息。

1、根据关键字获取url

由于只需要爬取信息,而且不涉及交互,可以使用简单的方法而不需要模拟浏览器。

可以直接

这里要注意关键词是中午所以要注意编码问题,由于url中不能出现空格,所以需要用quote函数处理一下。

关于quote():

在 Python2.x 中的用法是:urllib.quote(text) 。Python3.x 中是urllib.parse.quote(text) 。按照标准,URL只允许一部分ASCII 字符(数字字母和部分符号),其他的字符(如汉字)是不符合URL标准的。所以URL中使用其他字符就需要进行URL编码。URL中传参数的部分(query String),格式是:name1=value1&name2=value2&name3=value3。假如你的name或者value值中的『&』或者『=』等符号,就当然会有问题。所以URL中的参数字符串也需要把『&=』等符号进行编码。URL编码的方式是把需要编码的字符转化为%xx的形式。通常URL编码是基于UTF-8的(当然这和浏览器平台有关)

例子:

教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用)

比如『我,unicode 为 0x,UTF-8编码为0xExx,URL编码就是 %E6%%。

Python的urllib库中提供了quote和quote_plus两种方法。这两种方法的编码范围不同。不过不用深究,这里用quote就够了。

2、下载url

用urllib库轻松实现,见下面的代码中def download(self,url)

3、利用Beautifulsoup获取html

4、数据分析

百科中的内容是并列的段,所以在爬的时候不能自然的按段逻辑存储(因为全都是并列的)。所以必须用正则的方法。

基本的想法就是把整个html文件看做是str,然后用正则的方法截取想要的内容,在重新把这段内容转换成beautifulsoup对象,然后在进一步处理。

可能要花些时间看一下正则。

代码中还有很多细节,忘了再查吧只能,下次绝对应该边做编写文档,或者做完马上写。。。

贴代码!

总结

用python3根据关键词爬取百度百科的内容到这就基本结束了,希望这篇文章能对大家学习python有所帮助。

Python用模块pytz来转换时区 前言最近遇到了一个问题:我的server和client不是在一个时区,server时区是EDT,即美国东部时区,client,就是我自己的电脑,时区是中国标准时区,东八

利用Python开发微信支付的注意事项 前言微信支付是由微信及财付通联合推出的移动支付创新产品。如今,随着微信支付的全面开放,相关需求也越来越多,很多开发人员进行微信支付开

详解Python实现按任意键继续/退出的功能 前言要实现该功能,需要的就是暂停程序、等待并捕捉用户的一个键盘输入,然后继续执行。Python有内建的库能帮我们实现该功能,不过要区别对待Windo

标签: python3.8.3怎么用

本文链接地址:https://www.jiuchutong.com/biancheng/386185.html 转载请保留说明!

上一篇:利用Python爬取可用的代理IP(python能爬取app吗)

下一篇:Python用模块pytz来转换时区(python编写一个模块)

  • 企业所得税季报资产总额怎么填
  • 商贸企业辅导期是什么
  • 个税系统里的免税收入在哪删除
  • 个人取得什么收入不交税
  • 减免税金需要计提吗
  • 短期借款利息都需要测算什么
  • 个人怎么捐赠物资
  • 材料亏损怎么做会计分录?
  • 公司回购房产契税谁交
  • 个税起征点调整至5000
  • 药品回扣2021
  • 员工销售家具取得的工资怎么写分录?
  • 其他公司代缴社保分录
  • 转让法人要注意什么
  • 财会〔2017〕22号:《企业会计准则第14号收入》的通知
  • 营改增后,代扣代缴所得税应当按照含税收入还是不含税收入?
  • 关于环保税税目正确的有
  • 技术服务税票
  • 个体工商户必须税务登记吗
  • 股东以个人名义签订租赁合同
  • 劳务人员奖金如何纳税
  • 中小企业划分标准
  • 企业有哪些项目名称
  • 监证方什么意思
  • 单位探望病人如何报销费用?
  • 简易计税分包款进项税可以抵扣吗
  • 如何把两个人的照片合在一起
  • linux虚拟机在哪里输入命令
  • 金税四期查到了怎么办
  • 建筑企业被靠挂靠怎么办
  • 000.exe病毒
  • mediabrowser.exe是什么
  • php实现简单的登录验证
  • 外商投资的企业再投资
  • segment anything model github
  • 员工预支款计入什么科目
  • 企业所得税申报更正怎么操作
  • 6月收到4月的单子怎么办
  • phpcms api
  • 应交增值税如何计算,如何进行会计处理
  • 当月纳税申报期是什么意思
  • 进项税额在贷方怎么办
  • 税务局不予受理的依据
  • 为什么运输合肥料检测核辐射人会拿一个玻璃棒
  • 化验委托书
  • 营改增后税率
  • 如何确定费用归属哪个部门
  • 固定资产机械设备有哪些
  • 外购的商品用于生产
  • 执行企业会计准则的非上市企业
  • 转让厂房如何缴纳土地增值税
  • 农行公户怎么给公户转账
  • 如何对会计感兴趣
  • 现金日记账的登记日期以什么日期为标准?
  • 固定资产盘点表excel
  • 施工企业周转材料会计科目的设置
  • 数据库表的查询操作实验
  • windows 10预览版
  • msi安装错误代码2503
  • windows server 2008 硬盘格式
  • 清除coms密码
  • windows7 ie
  • linux磁盘结构
  • 服务器不支持是什么意思
  • win7电脑flash安装教程
  • win8更新80072efe
  • [置顶] 此外,车牌号:458143(懂得都懂[吃瓜])
  • unity自动攻击
  • cocos2dx游戏开发教程
  • node.js入门教程
  • unity克隆物体
  • android系统虚拟机
  • python语言面向过程吗
  • jquery中keyup
  • js获取鼠标点击位置
  • 安卓手机加速方法
  • 企业没有经营怎么写原因
  • 浙江省国税局地址
  • 地税审计税务稽查局职责
  • 交强险是什么样的照片
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设