python3使用urllib模块制作网络爬虫(python的urllib)

推荐整理分享python3使用urllib模块制作网络爬虫(python的urllib)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python2.7 urllib,python urllib3教程,python urllib urlopen,python3的urllib,python3的urllib2,python urllib3教程,python中urllib,python中urllib,内容如对您有帮助，希望把文章链接给更多的朋友！

urllib

urllib模块是python3的URL处理包

其中：

1、urllib.request主要是打开和阅读urls

个人平时主要用的1：

打开对应的URL：urllib.request.open(url)

用urllib.request.build_opener([handler, ...])，来伪装成对应的浏览器

2、urllib.parse主要是用来解析url

主要方法：

urllib.parse.urlparse(urlstring)

功能：将对应的URL解析成六部分，并以元组的数据格式返回来。(在功能上和urlsplit()几乎一模一样)

对应的结果：

ParseResult(scheme='http', netloc='www.cwi.nl:', path='/%7Eguido/Python.html', params='', query='', fragment='')/%7Eguido/Python. url)

参数：base:基本的URL链接

url:另一个url

结果： urllib.error

用 try-except来捕捉异常

主要的错误方式就两种 URLError和HTTPError

因为HTTPError是URLError的子类，所以URLError应该写在HttpError后面,说白了就是找到儿子一定知道父亲，找到父亲，不一定知道儿子。

结果：[WinError ] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

如果捕获到了HTTPError，则输出code，不会再处理URLError异常。如果发生的不是HTTPError，则会去捕获URLError异常，输出错误原因

python调用fortran模块 在python中调用fortran代码，要用到f2py这个程序。它的项目主页在此。现在该项目已经合并到numpy中了，先安装python再装好numpy，就可以使用f2py。不过对wind

Python调用SQLPlus来操作和解析Oracle数据库的方法 先来看一个简单的利用python调用sqlplus来输出结果的例子：importosimportsysfromsubprocessimportPopen,PIPEsql="""setlinesizecolownerforacolobject_nameforaselectowner,object_nam

Python使用gensim计算文档相似性 pre_file.py#-*-coding:utf-8-*-importMySQLdbimportMySQLdbasmdbimportos,sys,stringimportjiebaimportcodecsreload(sys)sys.setdefaultencoding('utf-8')#连接数据库try:conn=mdb.connect(host='.0.0.1',u