8.3. 从 HTML 文档中提取数据

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

憨厚的水煮肉 · 美国篮球巨星科比·布莱恩特遇空难去世,回顾他 ...· 3 月前 ·

慷慨大方的火腿肠 · switch《火焰纹章ENGAGE（Enga ...· 4 月前 ·

痴情的牛肉面 · 智米马桶冲水不畅的原因及解决方法（探究智米马 ...· 5 月前 ·

坏坏的手套 · 2011年，周星驰“轻声”致电韩三平：我能不 ...· 6 月前 ·

温柔的桔子 · Oracle -按外观替换字符串_SQL ...· 7 月前 ·

从 HTML 文档中提取数据的第一步是得到某个 HTML 文件。如果在您的硬盘里存放着 HTML 文件，您可以使用处理文件的函数将它读出来，但是真正有意思的是从实际的网页得到 HTML 。

例 8.5. urllib 介绍 >>> import urllib

>>> sock = urllib.urlopen( "http://diveintopython.org/" )

>>> htmlSource = sock.read()

>>> sock.close()

>>> print htmlSource

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head> <meta http-equiv='Content-Type' content='text/html; charset=ISO-8859-1'> <title>Dive Into Python</title> <link rel='stylesheet' href='diveintopython.css' type='text/css'> <link rev='made' href='mailto: [email protected] '> <meta name='keywords' content='Python, Dive Into Python, tutorial, object-oriented, programming, documentation, book, free'> <meta name='description' content='a free Python tutorial for experienced programmers'> </head> <body bgcolor='white' text='black' link='#0000FF' vlink='#840084' alink='#0000FF'> <table cellpadding='0' cellspacing='0' border='0' width='100%'> <tr><td class='header' width='1%' valign='top'>diveintopython.org</td> <td width='99%' align='right'><hr size='1' noshade></td></tr> <tr><td class='tagline' colspan='2'>Python for experienced programmers</td></tr> [...略...]

例 8.7. 使用 `urllister.py`


>>> import urllib, urllister
>>> usock = urllib.urlopen("http://diveintopython.org/")
>>> parser = urllister.URLLister()
>>> parser.feed(usock.read())         
>>> usock.close()                     
>>> parser.close()                    
>>> for url in parser.urls: print url 
toc/index.html
#download
#languages
toc/index.html
appendix/history.html
download/diveintopython-html-5.0.zip
download/diveintopython-pdf-5.0.zip
download/diveintopython-word-5.0.zip
download/diveintopython-text-5.0.zip
download/diveintopython-html-flat-5.0.zip
download/diveintopython-xml-5.0.zip
download/diveintopython-common-5.0.zip
...略...

Footnotes

^[ 4 ] 像 SGMLParser 这样的分析器，技术术语叫做 消费者 (consumer) 。它消费 HTML ，并且拆分它。也许因此就选择了 feed 这个名字，以便同 消费者 这个主题相适应。就个人来说，它让我想象在动物园看展览。里面有一个黑漆漆的兽穴，没有树，没有植物，没有任何生命的迹象。但只要您非常安静地站着，尽可能靠近着瞧，您会看到在远处的角落里有两只明眸在盯着您。但是您会安慰自已那不过是心理作用。唯一知道兽穴里并不是空无一物的方法，就是在栅栏上有一个不明显的标记，上面写着 “ 禁止给分析器喂食 ”。但也许只有我这么想，不管怎么样，这种心理想象很有意思。

例 8.7. 使用 urllister.py

Footnotes

例 8.7. 使用 `urllister.py`