深入 Python :Dive Into Python 中文版

例 11.17. openanything 函数

这个函数定义在 openanything.py 中。

def openAnything(source, etag=None, lastmodified=None, agent=USER_AGENT):
    # non-HTTP code omitted for brevity
    if urlparse.urlparse(source)[0] == 'http':                                       
        # open URL with urllib2                                                     
        request = urllib2.Request(source)                                           
        request.add_header('User-Agent', agent)                                      
        if etag:                                                                    
            request.add_header('If-None-Match', etag)                                
        if lastmodified:                                                            
            request.add_header('If-Modified-Since', lastmodified)                    
        request.add_header('Accept-encoding', 'gzip')                                
        opener = urllib2.build_opener(SmartRedirectHandler(), DefaultErrorHandler()) 
        return opener.open(request)                                                  

	urlparse 是一个解析 URL 的便捷的工具模块。它的主要函数也叫 urlparse，接受一个 URL 并将其拆分为 tuple (scheme (协议), domain (域名), path (路径), params (参数), query string parameters (请求字符串参数), fragment identifier (片段效验符))。当然，你唯一需要注意的就是 scheme，确认你处理的是一个 HTTP URL (urllib2 才能处理)。
	通过调用函数使用 User-Agent 向 HTTP 服务器确定你的身份。如果没有 User-Agent 被指定，你会使用一个默认的，就是定义在早期的 openanything.py 模块中的那个。你从来不会使用到默认的定义在 urllib2 中的那个。
	如果给出了 ETag，要在 If-None-Match 头信息中发送它。
	如果给出了最近修改日期，要在 If-Modified-Since 头信息中发送它。
	如果可能要告诉服务器你要获取压缩数据。
	使用两个 自定义 URL 处理器创建一个 URL 开启器：SmartRedirectHandler 终于处理 301 和 302 重定向，而 DefaultErrorHandler 用于处理 304, 404 以及其它的错误条件。
	就是这样！打开 URL 并返回一个类文件对象给调用者。

例 11.18. fetch 函数

这个函数定义在 openanything.py 中。

def fetch(source, etag=None, last_modified=None, agent=USER_AGENT):  
    '''Fetch data and metadata from a URL, file, stream, or string'''
    result = {}                                                      
    f = openAnything(source, etag, last_modified, agent)              
    result['data'] = f.read()                                         
    if hasattr(f, 'headers'):                                        
        # save ETag, if the server sent one                          
        result['etag'] = f.headers.get('ETag')                        
        # save Last-Modified header, if the server sent one          
        result['lastmodified'] = f.headers.get('Last-Modified')       
        if f.headers.get('content-encoding', '') == 'gzip':           
            # data came back gzip-compressed, decompress it          
            result['data'] = gzip.GzipFile(fileobj=StringIO(result['data']])).read()
    if hasattr(f, 'url'):                                             
        result['url'] = f.url                                        
        result['status'] = 200                                       
    if hasattr(f, 'status'):                                          
        result['status'] = f.status                                  
    f.close()                                                        
    return result                                                    

	首先，你用 URL、ETag hash、Last-Modified 日期和 User-Agent 调用 openAnything 函数。
	读取从服务器返回的真实数据。这可能是被压缩的；如果是，将在后面进行解压缩。
	保存从服务器返回的 ETag hash，这样主调程序下一次就能把它传递给你，然后再传递给 openAnything，放到 If-None-Match 头信息里发送给远程服务器。
	也要保存 Last-Modified 数据。
	如果服务器说它发送的是压缩数据，就执行解压缩。
	如果你的服务器返回一个 URL 就保存它，并在查明之前假定状态代码为 200。
	如果其中一个自定义 URL 处理器捕获了一个状态代码，也要保存下来。

例 11.19. 使用 openanything.py

>>> import openanything
>>> useragent = 'MyHTTPWebServicesApp/1.0'
>>> url = 'http://diveintopython.org/redir/example301.xml'
>>> params = openanything.fetch(url, agent=useragent)              
>>> params                                                         
{'url': 'http://diveintomark.org/xml/atom.xml', 
'lastmodified': 'Thu, 15 Apr 2004 19:45:21 GMT', 
'etag': '"e842a-3e53-55d97640"', 
'status': 301,
'data': '<?xml version="1.0" encoding="iso-8859-1"?>
<feed version="0.3"
<-- rest of data omitted for brevity -->'}
>>> if params['status'] == 301:                                    
...     url = params['url']
>>> newparams = openanything.fetch(
...     url, params['etag'], params['lastmodified'], useragent)    
>>> newparams
{'url': 'http://diveintomark.org/xml/atom.xml', 
'lastmodified': None, 
'etag': '"e842a-3e53-55d97640"', 
'status': 304,
'data': ''}                                                        

	第一次获取资源时，你没有 ETag hash 或 Last-Modified 日期，所以你不用使用这些参数。 (它们是可选参数。)
	你获得了一个 dictionary，它包括几个有用的头信息、HTTP 状态代码和从服务器返回的真实数据。openanything 在内部处理 gzip 压缩；在本级别上你不必关心它。
	如果你得到一个 301 状态代码，表示是个永久重定向，你需要把你的 URL 更新为新地址。
	第二次获取相同的资源时，你已经从以往获得了各种信息：URL (可能被更新了)、从上一次访问获得的 ETag、从上一次访问获得的 Last-Modified 日期，当然还有 User-Agent。
	你重新获取了这个 dictionary，但是数据没有改变，所以你得到了一个 304 状态代码而没有数据。