位置: 编程技术 - 正文

php实现简单爬虫的开发(php curl爬虫)

编辑:rootadmin

推荐整理分享php实现简单爬虫的开发(php curl爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php爬虫框架phpspider,php网络爬虫,php网络爬虫,php爬虫框架phpspider,php怎么写爬虫,php怎么写爬虫,php怎么写爬虫,php爬虫框架phpspider,内容如对您有帮助,希望把文章链接给更多的朋友!

有时候因为工作、自身的需求,我们都会去浏览不同网站去获取我们需要的数据,于是爬虫应运而生,下面是我在开发一个简单爬虫的经过与遇到的问题。

开发一个爬虫,首先你要知道你的这个爬虫是要用来做什么的。我是要用来去不同网站找特定关键字的文章,并获取它的链接,以便我快速阅读。

按照个人习惯,我首先要写一个界面,理清下思路。

1、去不同网站。那么我们需要一个url输入框。 2、找特定关键字的文章。那么我们需要一个文章标题输入框。 3、获取文章链接。那么我们需要一个搜索结果的显示容器。

直接上代码,然后加上自己的一些样式调整,界面就完成啦:

那么接下来就是功能的实现了,我用PHP来写,首先第一步就是获取网站的html代码,获取html代码的方式也有很多,我就不一一介绍了,这里用了curl来获取,传入网站url就能得到html代码啦:

php实现简单爬虫的开发(php curl爬虫)

虽然得到了html代码,但是很快你会遇到一个问题,那就是编码问题,这可能让你下一步的匹配无功而返,我们这里统一把得到的html内容转为utf8编码:

得到网站的html,要获取文章的url,那么下一步就是要匹配该网页下的所有a标签,需要用到正则表达式,经过多次测试,最终得到一个比较靠谱的正则表达式,不管a标签下结构多复杂,只要是a标签的都不放过:(最关键的一步)

匹配的结果在$matches中,它大概是这样的一个多维素组:

只要能得到这个数据,其他就完全可以操作啦,你可以遍历这个素组,找到你想要a标签,然后获取a标签相应的属性,想怎么操作就怎么操作啦,下面推荐一个类,让你更方便操作a标签:

当然,这只是一种方式,你也可以通过正则表达式匹配你想要的信息,把数据玩出新花样。

得到并匹配得出你想要的结果,下一步当然就是传回前端将他们显示出来啦,把接口写好,然后前端用js获取数据,用jquery动态添加内容显示出来:

上最终效果图:

CodeIgniter分页类pagination使用方法示例 本文实例讲述了CodeIgniter分页类pagination使用方法。分享给大家供大家参考,具体如下:controller控制器(application/controller/page.php文件):publicfunctionindex()

CI分页类首页、尾页不显示的解决方法 本文实例讲述了CI分页类首页、尾页不显示的解决方法。分享给大家供大家参考,具体如下:看了下手册说,每次都要重新去写一次呢些$config,可以新

CI配置多数据库访问的方法 本文实例讲述了CI配置多数据库访问的方法。分享给大家供大家参考,具体如下:1、修改datebase.php文件,将:$db['XXX']['pconnect']=TRUE;修改成:$db['XXX']['pcon

标签: php curl爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/293176.html 转载请保留说明!

上一篇:PHP 生成微信红包代码简单(php制作微信小程序)

下一篇:CodeIgniter分页类pagination使用方法示例(java分页page类)

  • 增值税价外费用开票内容
  • 股票印花税计算公式
  • 外贸出口企业如何申报增值税
  • 加了油的电子发票怎么导出来
  • 为什么应交增值税记在借方
  • 税控盘技术维护费申报时候怎么填报
  • 审计调整分录做在哪一年
  • 出纳个人账户转公户
  • 怎么把预付账款转到管理费用
  • 信息服务费可以计入办公费吗
  • 供货商对账单跨月返利怎么做账?
  • 固定资产盘盈盘亏的会计科目
  • 物业公司收到一年物业费开具发票后如何确认收入
  • 个人给公司开票税率
  • 扩大税收来源什么意思
  • 收到税局代增值税专用发票已作废的退款怎么做账
  • 代扣代缴增值税可以抵扣进项税?
  • 免租金期间交增值税吗
  • 加油可以吗
  • 进口关税和增值税在哪里交
  • 建筑安装服务费可以抵扣进项税吗
  • macos的复制粘贴快捷键
  • 公司收到项目的现金
  • 域名停靠是病毒吗
  • 如何制作win7系统u盘安装盘
  • key是什么文档
  • php中字符串函数
  • 系统自带功能
  • 个人专利奖励是什么意思
  • element动态变化表格列
  • 若依框架权限控制
  • 建筑业营改增后税务问题
  • 级联选择器 数据回显
  • 按钮实现开关功能
  • 增值税和所得税区别
  • vue-plugin-hiprint vue hiprint vue使用hiprint打印控件VUE HiPrint HiPrint简单使用
  • php中&&什么意思
  • 销售发票重复开库存商品如何处理?
  • 土地出让与土地划拨有什么区别
  • Python的aiohttp模块如何使用?
  • mongodb查看数据库大小
  • sql语句中的decode函数
  • 甲企业持有乙企业股票的市价为920000
  • 安全宣传标牌
  • asp.net mvc图片上传
  • 医院能开增值发票吗
  • 结转增值税有留抵税额吗
  • 进项税额转出和红字冲销区别
  • 股本减少是利好吗
  • 建筑业一般纳税人增值税税负
  • 银行保函会计处理
  • 营业外收入与其他业务收入的区别
  • 小微企业免征增值税优惠政策
  • 固定资产一次性扣除账务处理
  • 小规模纳税人租赁不动产税率
  • 支付宝账户收到美元怎么转换成人民币
  • 付出相对的词
  • 结存材料实际成本计算公式
  • 工程行业收到工程发票
  • 工会经费按实际发放交还是以计提的
  • 个体工商户的公章丢了怎么办
  • sql语句递归
  • win xp 添加网络打印机
  • 磁盘清理后文件还在吗?
  • haozipsvc.exe是什么
  • macpro防火墙需要打开吗
  • win10总是锁定
  • unity预处理命令
  • 使用NGUI发布报错的解决方案
  • perl语句
  • How to embed a jframe in an eclipse view
  • cacls命令怎么运用
  • js验证正整数
  • jquery实现ajax加载超时提示的方法
  • 1、BluetoothChat之BluetoothChat.java
  • 电子税务局无法显示抵扣发票
  • 如何查询车辆购置税完税证明
  • 增值税抵扣联怎么装订
  • ecco made in china
  • 个人所得税法全文完整版2023个人工薪规定
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设