8.3. 从 HTML 文档中提取数据

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

奔跑的啄木鸟 · What is ANR and How ...· 8 月前 ·

腹黑的打火机 · 黑莲花美人的玩弄,TXT全集电子书免费下载- ...· 9 月前 ·

旅行中的长颈鹿 · pip install pyodbc ...· 11 月前 ·

酷酷的紫菜 · 其他公告_富国中证2000交易型开放式指数证 ...· 1 年前 ·

安静的棒棒糖 · webgestalt:基因富集分析的在线工具 ...· 1 年前 ·

从 HTML 文档中提取数据的第一步是得到某个 HTML 文件。如果在您的硬盘里存放着 HTML 文件，您可以使用处理文件的函数将它读出来，但是真正有意思的是从实际的网页得到 HTML 。

例 8.5. urllib 介绍 >>> import urllib

>>> sock = urllib.urlopen( "http://diveintopython.org/" )

>>> htmlSource = sock.read()

>>> sock.close()

>>> print htmlSource

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head> <meta http-equiv='Content-Type' content='text/html; charset=ISO-8859-1'> <title>Dive Into Python</title> <link rel='stylesheet' href='diveintopython.css' type='text/css'> <link rev='made' href='mailto: [email protected] '> <meta name='keywords' content='Python, Dive Into Python, tutorial, object-oriented, programming, documentation, book, free'> <meta name='description' content='a free Python tutorial for experienced programmers'> </head> <body bgcolor='white' text='black' link='#0000FF' vlink='#840084' alink='#0000FF'> <table cellpadding='0' cellspacing='0' border='0' width='100%'> <tr><td class='header' width='1%' valign='top'>diveintopython.org</td> <td width='99%' align='right'><hr size='1' noshade></td></tr> <tr><td class='tagline' colspan='2'>Python for experienced programmers</td></tr> [...略...]

例 8.7. 使用 `urllister.py`


>>> import urllib, urllister
>>> usock = urllib.urlopen("http://diveintopython.org/")
>>> parser = urllister.URLLister()
>>> parser.feed(usock.read())         
>>> usock.close()                     
>>> parser.close()                    
>>> for url in parser.urls: print url 
toc/index.html
#download
#languages
toc/index.html
appendix/history.html
download/diveintopython-html-5.0.zip
download/diveintopython-pdf-5.0.zip
download/diveintopython-word-5.0.zip
download/diveintopython-text-5.0.zip
download/diveintopython-html-flat-5.0.zip
download/diveintopython-xml-5.0.zip
download/diveintopython-common-5.0.zip
...略...

Footnotes

^[ 4 ] 像 SGMLParser 这样的分析器，技术术语叫做 消费者 (consumer) 。它消费 HTML ，并且拆分它。也许因此就选择了 feed 这个名字，以便同 消费者 这个主题相适应。就个人来说，它让我想象在动物园看展览。里面有一个黑漆漆的兽穴，没有树，没有植物，没有任何生命的迹象。但只要您非常安静地站着，尽可能靠近着瞧，您会看到在远处的角落里有两只明眸在盯着您。但是您会安慰自已那不过是心理作用。唯一知道兽穴里并不是空无一物的方法，就是在栅栏上有一个不明显的标记，上面写着 “ 禁止给分析器喂食 ”。但也许只有我这么想，不管怎么样，这种心理想象很有意思。

例 8.7. 使用 urllister.py

Footnotes

例 8.7. 使用 `urllister.py`