位置: 编程技术 - 正文

用Python编写简单的微博爬虫(用python编写简单程序)

编辑:rootadmin

推荐整理分享用Python编写简单的微博爬虫(用python编写简单程序),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:用python编写简单乘法表,用python编写简单计算器,用python编写简单计算器,用python编写简单的六一儿童节祝福,用python编写简单程序,用python编写简单程序要多久,用python编写简单计算机程序,用python编写简单计算机程序,内容如对您有帮助,希望把文章链接给更多的朋友!

先说点题外话,我一开始想使用Sina Weibo API来获取微博内容,但后来发现新浪微博的API限制实在太多,大家感受一下:

只能获取当前授权的用户(就是自己),而且只能返回最新的5条,WTF!所以果断放弃掉这条路,改为『生爬』,因为PC端的微博是Ajax的动态加载,爬取起来有些困难,我果断知难而退,改为对移动端的微博进行爬取,因为移动端的微博可以通过分页爬取的方式来一次性爬取所有微博内容,这样工作就简化了不少。

最后实现的功能:

1、输入要爬取的微博用户的user_id,获得该用户的所有微博2、文字内容保存到以%user_id命名文本文件中,所有高清原图保存在weibo_image文件夹中具体操作:首先我们要获得自己的cookie,这里只说chrome的获取方法。

1、用chrome打开新浪微博移动端2、option+command+i调出开发者工具3、点开Network,将Preserve log选项选中4、输入账号密码,登录新浪微博

5、找到m.weibo.cn->Headers->Cookie,把cookie复制到代码中的#your cookie处

用Python编写简单的微博爬虫(用python编写简单程序)

然后再获取你想爬取的用户的user_id,这个我不用多说啥了吧,点开用户主页,地址栏里面那个号码就是user_id

将python代码保存到weibo_spider.py文件中定位到当前目录下后,命令行执行python weibo_spider.py user_id当然如果你忘记在后面加user_id,执行的时候命令行也会提示你输入

最后执行结束

小问题:在我的测试中,有的时候会出现图片下载失败的问题,具体原因还不是很清楚,可能是网速问题,因为我宿舍的网速实在太不稳定了,当然也有可能是别的问题,所以在程序根目录下面,我还生成了一个userid_imageurls的文本文件,里面存储了爬取的所有图片的下载链接,如果出现大片的图片下载失败,可以将该链接群一股脑导进迅雷等下载工具进行下载。

另外,我的系统是OSX EI Capitan..2,Python的版本是2.7,依赖库用sudo pip install XXXX就可以安装,具体配置问题可以自行stackoverflow,这里就不展开讲了。

下面我就给出实现代码

一个简单的微博爬虫就完成了,希望对大家的学习有所帮助。

使用py2exe在Windows下将Python程序转为exe文件 前提条件:需要安装easy-install模块,这是一个python的模块打包工具。首先下载easy_setup.py的源代码,下载地址:

使用Python来开发Markdown脚本扩展的实例分享 关于Markdown在刚才的导语里提到,Markdown是一种用来写作的轻量级「标记语言」,它用简洁的语法代替排版,而不像一般我们用的字处理软件Word或Pages有

Python多线程爬虫简单示例 python是支持多线程的,主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方

标签: 用python编写简单程序

本文链接地址:https://www.jiuchutong.com/biancheng/383380.html 转载请保留说明!

上一篇:python相似模块用例

下一篇:使用py2exe在Windows下将Python程序转为exe文件(python在windows)

  • 房产税城镇土地使用税申报期限
  • 赞助支出和广告支出的区别
  • 退还押金怎么做账
  • 转让不动产取得的收入
  • 网上申报中月平均工资怎么计算
  • 金融利息是什么意思
  • 营改增的增值税
  • 稽查查补税款能缓缴
  • 个体办税务登记需要带什么
  • 旧公司库存如何管理
  • 网上缴税后会有发票吗
  • 发票开错了收入增多了当月分录如何红冲?
  • 半成品原材料报废会计处理怎么做?
  • 公司预付签证费怎么入账
  • 分配辅助生产车间成本记账凭证
  • 叉车在固定资产里叫什么
  • 不属于抵扣范围的是什么
  • 应收票据背书转让以取得所需物资
  • 或有事项确认资金怎么填
  • 新公司没收入之前费用都走开办费吗
  • 代订机票的电子专用发票可以抵扣吗
  • 其他应付款付款后分录
  • 公司股权变更后税务没有变更会有什么后果
  • 吸收合并会计处理举例
  • php公众号
  • 劳务派遣发票会扣税吗
  • css选择器 菜鸟教程
  • vue使用scss报错
  • 使用什么指令可以清空memcached数据库中的所有数据
  • Blog2N如何计算
  • 固定资产改造替换
  • 普通增值发票作废税务局能查到吗
  • 所得税汇算清缴前取得跨年发票
  • 残保金计提和缴纳分录
  • 权益工具是金融资产还是非金融资产
  • 软件产品增值税即征即退
  • sqlserver存储过程加密
  • mysql怎么使用表
  • 计入委托加工物资成本的消费税
  • 购买现金支票的申请说明
  • 税务机关如何对个人股东股权财务报表审核
  • 权益性投资收益按照什么确认收入的实现
  • 外贸公司收取客户的费用
  • 企业支付给其他单位的奖励款需要纳税调整么
  • 事业单位公务卡额度多少
  • 退货收到红字发票怎么办
  • 企业进项构成比例
  • 主营业务收入增长率计算公式
  • 销售不动产计税税率
  • 项目成本的估算与预算有什么区别和联系?考试资料网
  • 工会经费按实际发放交还是以计提的
  • 未分配利润可以转盈余公积吗
  • 小企业建账选哪种会计制度
  • centos7gcc编译器
  • linux使用pip
  • 进程死锁原因
  • 宽带连接显示重拨
  • linux怎么用root运行命令
  • WinXP下载东西总提示找不到文件的原因及解决方法
  • winxp慢怎么办
  • mac睡眠设置方法
  • pvlsvr.exe - pvlsvr是什么进程 有什么用
  • win8系统的应用程序在哪里
  • 如何删除win8系统
  • perl如何使用
  • cocos2dx4.0教程
  • opengl 模型
  • java iterate()用法
  • android游戏开发论文
  • 批处理程序教程
  • perl中的$_
  • 背景透明度设置
  • vue devtools功能
  • js时间范围
  • 通用申报表水利基金怎么填
  • 21年小规模企业所得税税率
  • 浙江省税务局发票短信
  • 内蒙古国家税务总局电子税务局官网
  • 2020年青海国税工资待遇
  • 支付宝交税查询
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设