Python3 抓取 HTML 网页

发表于 分类于

Python 还在学习中，突然想拖一个网站上的图片，因为有点多，所以纯手动太麻烦，就试试能不能用一下。毕竟现在虽然看不懂模块的代码，但是会用就可以了。于是把中间的过程做一下笔记。

一开始知道，可以通过 urllib.request 模块获取一个链接中的内容。 

1
2
import urllib.request
data = urllib.request.openurl('$url').read()

此时 data 是二进制数据，如果是图片内容的话，直接写入文件就可以了，网页的话可以通过 html_code = data.decode('utf-8') 转换为 string 。

是这样不错，不过我想下图的那个网站的网址不知道为什么通过 urllib.request.openurl 的方式总是提示 404 错误。随后想通过直接下载 html 文件的方式，可能是我读取时没处理好，在解析 html 时还是出现错误。

Pycurl

随后搜索了一下 Python 的 curl 模块，果然是有的，虽然用法没怎么看懂，但是官网给的 示例 正好就拿来用了。 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# -*- coding: utf-8 -*-
"""
GET HTML FROM URL USE Pycurl
"""

import pycurl
from io import BytesIO

def Get_html(url):
    buffer = BytesIO()
    c = pycurl.Curl()
    c.setopt(c.URL, url)
    c.setopt(c.WRITEDATA, buffer)
    c.perform()
    c.close()

    body = buffer.getvalue()
    html_code = body.decode('utf-8')

    return html_code

Http.cilent

后来搜索 urllib.request.openurl 为啥会提示 404 ，发现使用 http.request 也可以。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# -*- coding: utf-8 -*-
"""
GET HTML FROM URL USE http.client
"""

import http.client

def Get_html(url):
    host = url.split('/')[2]
    url_content = url[url.index(host)+len(host):]

    conn = http.client.HTTPConnection(host)
    conn.request("GET", url_content)
    r = conn.getresponse()
    """
    print(r.status,r.reason)
    """
    data = r.read()
    html_code = data.decode('utf-8')

    return html_code

嘛 不过感觉，都差不多的样子（

Requests

最后的时候，终于发现了最简单的方法，导入 requests 模块。

1
2
3
4
# -*- coding: utf-8 -*-
import requests
response = requests.get(url)
html_code = response.text

解析 HTML

由于需要分析的网页并不复杂，所以搜索到了一个很简单的 例子 就可以使用了。
下面这段就是返回 html_code 中所有 img 标签的 ‘scr = ‘ 的链接，然后根据情况稍加过滤就可以了。 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
"""
GET LINK FROM HTML IMG TAG
"""
from html.parser import HTMLParser  
class MyHTMLParser(HTMLParser):   
    def __init__(self):   
        HTMLParser.__init__(self)   
        self.links = []   
    def handle_starttag(self, tag, attrs):   
        #print "Encountered the beginning of a %s tag" % tag   
        if tag == "img":   
            if len(attrs) == 0:   
                pass   
            else:   
                for (variable, value) in attrs:   
                    if variable == "src":   
                        self.links.append(value)

BeautifulSoup

最后发现了 BeautifulSoup 这个，解析 HTML 时使用起来更加的方便。 （也更好看懂，而且还有中文） 。

BeautifulSoup 文档

使用 Python的内置标准库解析 HTML ：

1
2
import bs4
soup = bs4.BeautifulSoup(html_code, "html.parser")

其他

  • Python 输出 RSS2.0 标准的 xml 文件 ： PyRSS2Gen

  • 记录 Crontab 的日志
    #修改rsyslog
    sudo vim /etc/rsyslog.d/50-default.conf
    cron.* /var/log/cron.log #将cron前面的注释符去掉
    #重启rsyslog
    sudo service rsyslog restart
    #查看crontab日志
    less /var/log/cron.log