一个简单的图片爬虫

发表于

概述

使用了urllib.urlretrieve()方法，直接将远程数据下载到本地。

通过一个for循环对获取的图片连接进行遍历，为了使图片的文件名看上去更规范，对其进行重命名，命名规则通过x变量加1。保存的位置默认为程序的存放目录。

爬的网页链接是http://tieba.baidu.com/p/2460150866

通过查看网页源代码得知图片的地址为

1
src=”http://imgsrc.baidu.com/forum......jpg”pic_ext=”jpeg”

图片地址

创建了getImg()函数，用于在获取的整个页面中筛选需要的图片连接。re模块主要包含了正则表达式：

　　re.compile() 可以把正则表达式编译成一个正则表达式对象.

　　re.findall() 方法读取html 中包含 imgre（正则表达式）的数据。

　　 运行脚本将得到整个页面中包含图片的URL地址。

代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#coding=utf-8
import urllib
import re
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html
def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)
        x+=1
html = getHtml("http://tieba.baidu.com/p/2460150866")
print getImg(html)

进阶

在程序存放的目录创建图片文件夹保存抓取的图片

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
# -*- coding: utf-8 -*-  
 
import re  
import urllib  
import urllib2  
import os  
#抓取网页图片  
  
  
#根据给定的网址来获取网页详细信息，得到的html就是网页的源代码  
def getHtml(url):  
    page = urllib.urlopen(url)  
    html = page.read()  
    return html  
  
#创建保存图片的文件夹  
def mkdir(path):  
    path = path.strip()  
    # 判断路径是否存在  
    # 存在    True  
    # 不存在  Flase  
    isExists = os.path.exists(path)  
    if not isExists:  
        print u'新建了名字叫做',path,u'的文件夹'  
        # 创建目录操作函数  
        os.makedirs(path)  
        return True  
    else:  
        # 如果目录存在则不创建，并提示目录已经存在  
        print u'名为',path,u'的文件夹已经创建成功'  
        return False  
  
# 输入文件名，保存多张图片  
def saveImages(imglist,name):  
    number = 1  
    for imageURL in imglist:  
        splitPath = imageURL.split('.')  
        fTail = splitPath.pop()  
        if len(fTail) > 3:  
            fTail = 'jpg'  
        fileName = name + "/" + str(number) + "." + fTail  
        # 对于每张图片地址，进行保存  
        try:  
            u = urllib2.urlopen(imageURL)  
            data = u.read()  
            f = open(fileName,'wb+')  
            f.write(data)  
            print u'正在保存的一张图片为',fileName  
            f.close()  
        except urllib2.URLError as e:  
            print (e.reason)  
        number += 1  
  
  
#获取网页中所有图片的地址  
def getAllImg(html):  
    #利用正则表达式把源代码中的图片地址过滤出来  
    
# src="           #匹配src="
# (.+?\.jpg)
# 括号表示分组，将括号的内容捕获到分组当中
# .+表示匹配至少一个任意字符，问号?表示懒惰匹配，也就是匹配尽可能少的字符串。
#  .+?\.jpg合起来表示尽可能少匹配字符的匹配到.jpg，避免匹配范围超出src的范围
#  这个括号也就可以匹配网页中图片的url了
# " pic_ext         #匹配" pic_ext
    
    reg = r'src="(.+?\.jpg)" pic_ext'  
    imgre = re.compile(reg)  
    imglist = imgre.findall(html) #表示在整个网页中过滤出所有图片的地址，放在imglist中  
    return imglist  
  
  
#创建本地保存文件夹，并下载保存图片  
if __name__ == '__main__':  
    html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息，得到的html就是网页的源代码  
    path = u'图片'  
    mkdir(path) #创建本地文件夹  
    imglist = getAllImg(html) #获取图片的地址列表  
    saveImages(imglist,path) # 保存图片