位置: 编程技术 - 正文

php实现简单爬虫的开发(php curl爬虫)

编辑:rootadmin

推荐整理分享php实现简单爬虫的开发(php curl爬虫),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php爬虫框架phpspider,php网络爬虫,php网络爬虫,php爬虫框架phpspider,php怎么写爬虫,php怎么写爬虫,php怎么写爬虫,php爬虫框架phpspider,内容如对您有帮助,希望把文章链接给更多的朋友!

有时候因为工作、自身的需求,我们都会去浏览不同网站去获取我们需要的数据,于是爬虫应运而生,下面是我在开发一个简单爬虫的经过与遇到的问题。

开发一个爬虫,首先你要知道你的这个爬虫是要用来做什么的。我是要用来去不同网站找特定关键字的文章,并获取它的链接,以便我快速阅读。

按照个人习惯,我首先要写一个界面,理清下思路。

1、去不同网站。那么我们需要一个url输入框。 2、找特定关键字的文章。那么我们需要一个文章标题输入框。 3、获取文章链接。那么我们需要一个搜索结果的显示容器。

直接上代码,然后加上自己的一些样式调整,界面就完成啦:

那么接下来就是功能的实现了,我用PHP来写,首先第一步就是获取网站的html代码,获取html代码的方式也有很多,我就不一一介绍了,这里用了curl来获取,传入网站url就能得到html代码啦:

php实现简单爬虫的开发(php curl爬虫)

虽然得到了html代码,但是很快你会遇到一个问题,那就是编码问题,这可能让你下一步的匹配无功而返,我们这里统一把得到的html内容转为utf8编码:

得到网站的html,要获取文章的url,那么下一步就是要匹配该网页下的所有a标签,需要用到正则表达式,经过多次测试,最终得到一个比较靠谱的正则表达式,不管a标签下结构多复杂,只要是a标签的都不放过:(最关键的一步)

匹配的结果在$matches中,它大概是这样的一个多维素组:

只要能得到这个数据,其他就完全可以操作啦,你可以遍历这个素组,找到你想要a标签,然后获取a标签相应的属性,想怎么操作就怎么操作啦,下面推荐一个类,让你更方便操作a标签:

当然,这只是一种方式,你也可以通过正则表达式匹配你想要的信息,把数据玩出新花样。

得到并匹配得出你想要的结果,下一步当然就是传回前端将他们显示出来啦,把接口写好,然后前端用js获取数据,用jquery动态添加内容显示出来:

上最终效果图:

CodeIgniter分页类pagination使用方法示例 本文实例讲述了CodeIgniter分页类pagination使用方法。分享给大家供大家参考,具体如下:controller控制器(application/controller/page.php文件):publicfunctionindex()

CI分页类首页、尾页不显示的解决方法 本文实例讲述了CI分页类首页、尾页不显示的解决方法。分享给大家供大家参考,具体如下:看了下手册说,每次都要重新去写一次呢些$config,可以新

CI配置多数据库访问的方法 本文实例讲述了CI配置多数据库访问的方法。分享给大家供大家参考,具体如下:1、修改datebase.php文件,将:$db['XXX']['pconnect']=TRUE;修改成:$db['XXX']['pcon

标签: php curl爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/293176.html 转载请保留说明!

上一篇:PHP 生成微信红包代码简单(php制作微信小程序)

下一篇:CodeIgniter分页类pagination使用方法示例(java分页page类)

  • 有哪些凭证
  • 税收的自动稳定性主要表现在什么制度
  • 单位购买理财产品需要什么手续
  • 带薪年假是入职就有还是要等一年以后
  • 资产负债表季报本月数怎么填
  • 服务发票是增值税发票吗
  • 城市基础设施配套有哪些
  • 销售货物代垫的运费发生的增值税
  • 多交税款如何处罚
  • 净利润为负数还要交所得税吗
  • 公司用商标权作假违法吗
  • 计算客户的应收账款成本
  • 计算完工产品成本和月末在产品成本
  • 城建税和教育费附加计入什么科目
  • 稳岗补贴发放给职工需要交个税吗?
  • 代扣代缴企业所得税账务处理
  • 异地工程需要预交税吗
  • 固定资产对外投资增值税
  • 企业间拆借应收利息记哪个科目?
  • 坏账准备本期期末应有金额
  • 收到美金货款
  • 收到拆迁补偿款现金流量表在哪里体现
  • 小规模纳税人计税方法
  • 财管如何区分金额大小
  • 金银镶嵌首饰在哪个环节交消费税
  • 支付宝账户记录
  • ajax+json
  • 发出材料成本差异会计分录
  • 代理进口合同如何签署
  • php获取ftp文件目录
  • php实战开发教程
  • php declare
  • 斋普尔的景点
  • 人工智能时代如何培养孩子
  • 应缴纳的房产税计入什么科目
  • 保险补偿金额的计算
  • 6372056181电子退库收入
  • 请假扣款会计分录
  • 土增税清算时怎么做会计分录
  • yolo v5详解
  • php内存缓存
  • discuz如何关闭站点
  • 如何简单去除
  • 注解@entity
  • js array.fill
  • 以前年度损益调整会计分录
  • 关联企业无息借款如何征税?
  • 逐期增长量与累计增长量
  • 库存现金总分类账
  • 给个体工商户打工受伤怎么办
  • 建筑公司算不算企业
  • 税务局核定税种流程
  • 企业所得税期初余额什么意思
  • 房地产公司收到客户违约金会计科目
  • 给客户优惠货款怎么写
  • 购买农副产品抵扣进项税的规定
  • 借调人员费用列支
  • 外购货物分配给股东
  • 咨询服务费如何合理避税
  • 材料采购办法
  • 公司给公司的工会拨款
  • 哪些固定资产不计提折旧
  • 10种Java开发者编写SQL语句时常见错误
  • mysql使用的协议
  • windows2000修改ip
  • 映泰主板bios设置内存频率
  • sguard是什么文件夹
  • vcpkgsrv.exe是什么进程
  • win7无法访问局域网电脑
  • linux gunzip
  • ip地址xp系统
  • winxp资源管理器频繁无响应
  • win7系统c盘占用空间大
  • linux的安装教程
  • node创建服务
  • 在img标签中的alt属性里添加内容可以告诉
  • Jquery uploadify上传插件使用详解
  • 维修基金交了多少钱怎么查
  • 土地出让金契税计税依据
  • 全国税收总收入完成59260.61
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设