位置: 编程技术 - 正文

教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用)

编辑:rootadmin

推荐整理分享教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python3怎么用,python3.7怎么用,python3怎么用,python 3.9怎么用,python:3,python 3.9怎么用,python 3.9怎么用,python3怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。

好了,开始说爬百度百科的事。

这里设定的需求是爬取北京地区n个景点的全部信息,n个景点的名称是在文件中给出的。没有用到api,只是单纯的爬网页信息。

1、根据关键字获取url

由于只需要爬取信息,而且不涉及交互,可以使用简单的方法而不需要模拟浏览器。

可以直接

这里要注意关键词是中午所以要注意编码问题,由于url中不能出现空格,所以需要用quote函数处理一下。

关于quote():

在 Python2.x 中的用法是:urllib.quote(text) 。Python3.x 中是urllib.parse.quote(text) 。按照标准,URL只允许一部分ASCII 字符(数字字母和部分符号),其他的字符(如汉字)是不符合URL标准的。所以URL中使用其他字符就需要进行URL编码。URL中传参数的部分(query String),格式是:name1=value1&name2=value2&name3=value3。假如你的name或者value值中的『&』或者『=』等符号,就当然会有问题。所以URL中的参数字符串也需要把『&=』等符号进行编码。URL编码的方式是把需要编码的字符转化为%xx的形式。通常URL编码是基于UTF-8的(当然这和浏览器平台有关)

例子:

教你用python3根据关键词爬取百度百科的内容(python3.8.3怎么用)

比如『我,unicode 为 0x,UTF-8编码为0xExx,URL编码就是 %E6%%。

Python的urllib库中提供了quote和quote_plus两种方法。这两种方法的编码范围不同。不过不用深究,这里用quote就够了。

2、下载url

用urllib库轻松实现,见下面的代码中def download(self,url)

3、利用Beautifulsoup获取html

4、数据分析

百科中的内容是并列的段,所以在爬的时候不能自然的按段逻辑存储(因为全都是并列的)。所以必须用正则的方法。

基本的想法就是把整个html文件看做是str,然后用正则的方法截取想要的内容,在重新把这段内容转换成beautifulsoup对象,然后在进一步处理。

可能要花些时间看一下正则。

代码中还有很多细节,忘了再查吧只能,下次绝对应该边做编写文档,或者做完马上写。。。

贴代码!

总结

用python3根据关键词爬取百度百科的内容到这就基本结束了,希望这篇文章能对大家学习python有所帮助。

Python用模块pytz来转换时区 前言最近遇到了一个问题:我的server和client不是在一个时区,server时区是EDT,即美国东部时区,client,就是我自己的电脑,时区是中国标准时区,东八

利用Python开发微信支付的注意事项 前言微信支付是由微信及财付通联合推出的移动支付创新产品。如今,随着微信支付的全面开放,相关需求也越来越多,很多开发人员进行微信支付开

详解Python实现按任意键继续/退出的功能 前言要实现该功能,需要的就是暂停程序、等待并捕捉用户的一个键盘输入,然后继续执行。Python有内建的库能帮我们实现该功能,不过要区别对待Windo

标签: python3.8.3怎么用

本文链接地址:https://www.jiuchutong.com/biancheng/386185.html 转载请保留说明!

上一篇:利用Python爬取可用的代理IP(python能爬取app吗)

下一篇:Python用模块pytz来转换时区(python编写一个模块)

  • 税务ukey电子发票二维码用什么扫码
  • 什么是原始凭证?审核原始凭证主要审查哪些内容?
  • 运输企业内账
  • 个体户查账征收需要交什么税
  • 进口关税增值税税率
  • 增值税抵扣不够怎么解决
  • 行政人员出差预借差旅费需要预算会计吗
  • 工商年检股东变更流程
  • 建筑施工企业会计制度
  • 个人交的社保发票怎么开
  • 增值税专用发票几个点
  • 增值税采用零税率政策的内容
  • 增值税发票常见问题
  • 小规模没有进项可以开发票吗
  • 社保上面的每月的缴费基数是什么意思?
  • 营业外收入的核算内容主要有哪些
  • 商贸公司账目
  • 公司为员工异地调岗
  • 公司领导培训费怎么入账
  • 商业企业取得农产品税收
  • 监控维护需要什么经营范围
  • 销售折让的税收分类编码
  • 一般纳税人如何零申报
  • 专票小数点后两位没有显示出来可以认证吗
  • 公司租车交税
  • 积分兑换现金的平台
  • 如何删除系统自带的软件
  • 企业购进房产会退税吗
  • 增值税当月申报次月缴纳吗
  • 单位代缴住房公积金分录
  • 结转消费税的会计分录
  • 缅因州达马里斯科塔地区的佩马基德灯塔 (© Tom Whitney/Adobe Stock)
  • 安个小窝
  • promise async区别
  • 电脑找不到应用程序的图标怎么删除
  • 房地产代理公司资质证书
  • mysql事件使用方法
  • 定额发票在哪查真伪
  • 筹建期的财务费用计入
  • 多收了钱怎么记账
  • 年报中的利润表本月数需要填吗
  • mysql安装问题
  • 个人所得税如何扣税
  • 开普通发票税率一般是多少?
  • 期末留抵税额和账上哪一个数对应
  • 汇算清缴期间费用社保填哪里
  • 报关单未申报做账怎么办
  • 税审报告需要什么资料
  • 长期借款计提的利息可能借记
  • 待认证进项税额借贷方向
  • 所得税费用的核算方法叫
  • 工程年底结账
  • 公司支付账户
  • 注册资本实缴后钱怎么出来
  • 新发票和旧发票的区别
  • 其他收益和营业外收入有什么区别
  • 弥补亏损后怎么做账
  • sqlserver函数大全
  • win8怎么打开系统设置
  • win7检测有错误怎么办
  • 高手养成计划 小说
  • Qoeloader.exe - Qoeloader是什么进程 有什么用
  • centos6 docker
  • 在windows7中,下列叙述中错误的是
  • xpcpu占用100
  • Win10打开或关闭系统图标里开怎么灰色的
  • windows7word文档打不开怎么办
  • Win7系统关闭自动更新
  • 苹果win10更新48%不动了
  • 2012年腾讯股价多少
  • threejs 源码
  • 基于Python的图书推荐系统
  • vue中的event
  • JavaScript中的数据类型
  • 使用jquery实现的项目
  • 推荐javascript教程
  • 福建省地方税务局杨静
  • 国家税务局发票真伪查验平台
  • 江苏印花税申报操作流程
  • 税务总局纪律作风
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设