程序员

零基础制作一个Python 爬虫

一、前言

1、相关介绍:

采用Python 来进行爬虫的主要原因是: Python语言简洁,使用方便,拥有许多方便进行爬虫的库,如Urllib。
Python除了爬虫获取数据外,还可以图像处理,数据处理,导出Execl表格等。更多可以看:Python可以用来干嘛?

2、安装Python

苹果系统上一般默认都装有Python编译器,为Python2.x版本。本文出现的代码都是以Python2.7版本为准。
如果需要Python3.x或者在windows上运行,就需要自己去安装Python,具体见:安装Python

二、爬虫

本文中以实现一个爬取网页中的图片的爬虫为例子。

预备知识

Python基础知识
Python中urllib库的用法
Python正则表达式
Python中re库的用法

1、Python基础知识

1、Python脚本文件后缀名为.py
2、#为注释符号
3、Python中没有花括号{},用:代替

#eg:
for url in urls :
      print url

4、函数的调用写法与JS相似

#eg
func(参数)

5、运行Python

在终端输入:

python **.py

如果是Python3.x版本输入:

python3 **.py

2、Python中urllib库的用法

urlopen 和read

urlopen:通过一个URL打开一个网页。
read:读取这个网页。

#eg
import urllib

url = 'http://www.thejoyrun.com'
page = urllib.urlopen(url)
html = page.read()
print html

获取网页的源码:

源码截图.png

本文爬虫的核心为:通过正则表达式在源码中获取图片链接。

urlretrieve

urlretrieve:根据一个URL,下载相关文件

#eg
import urllib

urllib.urlretrieve('http://img.mm522.net/flashAll/20120502/1335945502hrbQTb.jpg','%s %s.jpg' % (datetime.datetime.now(),x)) #(URL,文件保存名字)

3、Python正则表达式

\d匹配数字
.匹配任意字符
\s匹配一个空格
*表示任意个数字符
+表示至少一个字符
具体可以看:Python正则表达式

4、Python中re库的用法

split

用正则表达式进行字符串切分,获得一个list(可变数组)

#import re
testStr = 'http://www.thejoyrun.com'
print re.split(r'\.',testStr)
match

用正则表达式进行匹配,如果匹配成功,返回一个Match
对象,否则返回None

#import re

testStr = 'http://www.thejoyrun.com'
if re.match(r'http.*com', test): 
    print 'ok'
else:
    print 'failed'

完整代码

#coding=utf-8
import urllib
import re
import datetime

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):

#    splitReg = r'[\s\"\,\,\']+'
    splitReg = r'[\s\"]+'  #不区分,
    tempList = re.split(splitReg,html) #分割后获得一个list (数组)

    imgUrls = [] #一个空list

    x = 0
    for str in tempList :
        matchReg = r'http:.*.jpg'
        if re.match(matchReg,str) :
            print '%s--' %x +str
            imgUrls.append(str)
            x = x + 1
            urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now(),x))
        matchReg1 = r'http:.*.png'
        if re.match(matchReg1,str) :
            print '%s--' %x +str
            imgUrls.append(str)
            x = x + 1
            urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now().date(),x))
    return imgUrls

html = getHtml("网址")
print(html)
getImg(html)

我们用一下网址测试:
http://cn.bing.com/images/search?q=%E6%85%B5%E6%87%92%E5%B0%91%E5%A5%B3%E5%86%99%E7%9C%9F&FORM=ISTRTH&id=A87C17F9A484F4078C72BEB0FE1EC509BA1F59C8&cat=%E7%BE%8E%E5%A5%B3&lpversion=

下面是这个网址打开的网页的截图:

网页截图.png

下面是下载到本地的图片截图:

下载到本地的图片截图.png

爬虫框架Scrapy :

我们可以通过urllib库结合正则制作一些入门级别的爬虫,如果需要更强大、更多功能的爬虫则需要借助爬虫框架

Scrapy Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据,可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

有兴趣的同学可以到Scrapy看看

NOTE:自己实践的时候可以尝试改一下代码,例如把.jpg改成.avi

技术无罪,请勿飙车