本篇总结正则在python爬虫中的应用。

正则表达式

之前有过总结，不再赘述，也可以阅读一篇非常有名的博客叫《正则表达式30分钟入门教程》。

这里做一些概要的总结，供以后使用时参阅。

正则表达式的常用操作符

实例

IP地址的匹配

Re库

Re库是python的标准库，主要用于字符串匹配。调用方法：

import re

正则表达式的表示类型

采用raw string类型（原生字符串类型），表示为r'text'，如：

1 2	r'[1-9]\d{5}' # 六位邮政编码 r'\d{3}-\d{8}\|\d{4}-\d{7}'

raw string是不包含转义符的字符串

正则表达式也可以用string类型，但较为繁琐，因为\会被理解为转义符。

Re库的主要功能函数

主要有六个功能函数。

下面依次介绍。

1、re.search(pattern, string, flags=0)

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象。

参数：

pattern : 正则表达式的字符串或原生字符串表示。
string : 待匹配字符串
flags : 正则表达式使用时的控制标记

2、re.match(pattern, string, flags=0)

从一个字符串的开始位置起匹配正则表达式，返回match对象

参数同上。

但需要注意，这是从待匹配字符串的第一个位置开始，即第一个字符不符合匹配条件，就得不到结果。

3、re.findall(pattern, string, flags=0)

搜索字符串，以列表类型返回全部能匹配的子串

参数同上。

注意：返回的是列表形式，每个元素为匹配成功的字符串。

4、re.split(pattern, string, maxsplit=0, flags=0)

将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

参数：

maxsplit: 最大分割数，剩余部分作为最后一个元素输出

举例：

5、re.finditer(pattern, string, flags=0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

6、re.sub(pattern, repl, string, count=0, flags=0)

在一个字符串中替换所有匹配正则表达式的子串返回替换后的字符串

参数：

repl : 替换匹配字符串的字符串
count : 匹配的最大替换次数

举例

Re库的另一种等价用法

# 函数式用法：一次性操作
>>> rst = re.search(r'[1‐9]\d{5}', 'BIT 100081')

# 上下两种方法等价

# 面向对象用法：编译后的多次操作
>>> pat = re.compile(r'[1‐9]\d{5}')
>>> rst = pat.search('BIT 100081')

为此介绍如下方法：

1	regex = re.compile(pattern, flags=0)

将正则表达式的字符串形式编译成正则表达式对象 regex。

然后结合相应的六种方法。

Re库的Match对象

Match对象是一次匹配的结果，包含匹配的很多信息

Match对象的属性

Match对象的方法

实例：

Re库的贪婪匹配和最小匹配

实例：

同时匹配长短不同的多项，返回哪一个呢？

贪婪匹配

1
2
3

>>> match = re.search(r'PY.*N', 'PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'

Re库默认采用贪婪匹配，即输出匹配最长的子串

最小匹配

加操作符?

1
2
3

>>> match = re.search(r'PY.*?N', 'PYANBNCNDN')
>>> match.group(0)
'PYAN'

最小匹配操作符

只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配