用Python编写简单的微博爬虫(用python编写简单程序)

编辑：rootadmin

推荐整理分享用Python编写简单的微博爬虫(用python编写简单程序)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:用python编写简单乘法表,用python编写简单计算器,用python编写简单计算器,用python编写简单的六一儿童节祝福,用python编写简单程序,用python编写简单程序要多久,用python编写简单计算机程序,用python编写简单计算机程序,内容如对您有帮助，希望把文章链接给更多的朋友！

先说点题外话，我一开始想使用Sina Weibo API来获取微博内容，但后来发现新浪微博的API限制实在太多，大家感受一下：

只能获取当前授权的用户（就是自己），而且只能返回最新的5条，WTF！所以果断放弃掉这条路，改为『生爬』，因为PC端的微博是Ajax的动态加载，爬取起来有些困难，我果断知难而退，改为对移动端的微博进行爬取，因为移动端的微博可以通过分页爬取的方式来一次性爬取所有微博内容，这样工作就简化了不少。

最后实现的功能：

1、输入要爬取的微博用户的user_id，获得该用户的所有微博2、文字内容保存到以%user_id命名文本文件中，所有高清原图保存在weibo_image文件夹中具体操作：首先我们要获得自己的cookie，这里只说chrome的获取方法。

1、用chrome打开新浪微博移动端2、option+command+i调出开发者工具3、点开Network，将Preserve log选项选中4、输入账号密码，登录新浪微博

5、找到m.weibo.cn->Headers->Cookie，把cookie复制到代码中的#your cookie处

然后再获取你想爬取的用户的user_id，这个我不用多说啥了吧，点开用户主页，地址栏里面那个号码就是user_id

将python代码保存到weibo_spider.py文件中定位到当前目录下后，命令行执行python weibo_spider.py user_id当然如果你忘记在后面加user_id，执行的时候命令行也会提示你输入

最后执行结束

小问题：在我的测试中，有的时候会出现图片下载失败的问题，具体原因还不是很清楚，可能是网速问题，因为我宿舍的网速实在太不稳定了，当然也有可能是别的问题，所以在程序根目录下面，我还生成了一个userid_imageurls的文本文件，里面存储了爬取的所有图片的下载链接，如果出现大片的图片下载失败，可以将该链接群一股脑导进迅雷等下载工具进行下载。

另外，我的系统是OSX EI Capitan..2，Python的版本是2.7，依赖库用sudo pip install XXXX就可以安装，具体配置问题可以自行stackoverflow，这里就不展开讲了。

下面我就给出实现代码

一个简单的微博爬虫就完成了，希望对大家的学习有所帮助。

使用py2exe在Windows下将Python程序转为exe文件前提条件：需要安装easy-install模块，这是一个python的模块打包工具。首先下载easy_setup.py的源代码，下载地址：

使用Python来开发Markdown脚本扩展的实例分享关于Markdown在刚才的导语里提到，Markdown是一种用来写作的轻量级「标记语言」，它用简洁的语法代替排版，而不像一般我们用的字处理软件Word或Pages有

Python多线程爬虫简单示例 python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threading模块是对thread做了一些包装的，可以更加方