洗礼灵魂,修炼python(63)--爬虫篇—re模块/正…

2018-06-17 23:25:12来源:未知 阅读 ()

新老客户大回馈,云服务器低至5折

爬虫篇前面的某一章了,我们要爬取网站页面源代码的数据,要从中获取到我们想要的数据,是不是感觉很费力,确实费力对吧?那么有没有什么有利的工具来解决这个问题呢?那就是这一篇博文的主题——

正则表达式简介

1.概念理解

正则表达式(Regular expressions 也称为 REs,或 regexes 或 regex patterns)本质上是一个微小的且高度专业化的编程语言。正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。使用正则表达式,你需要指定一些规则来描述那些你希望匹配的字符串集合。这些字符串集合可能包含英语句子,e-mail 地址,任何你想要的东东。正则表达式模式被编译成一系列的字节码,然后由一个 C 语言写的匹配引擎所执行(正因为正则表达式引擎是用 C 语言写的,所以效率是极高)。对于高级的使用,你可能需要更关注匹配引擎是如何执行给定的 re,并通过一定的方式来编写 re,以便产生一个可以运行得更快的字节码。利用正则表达式,可以处理你 98% 的文本任务。
正则表达式对于Python来说并不是独有的。它被嵌入到 Python 中,并通过 re 模块提供给程序猿使用

提到正则表达式,那么必须得提到正则表达式的“几元大将”,它们有一个统一的名字——元家军,又名元字符

 

2.元字符

.   ^   $   *   +   ?   { }   [ ]   \   |   ( )

如果没有这几个“将士”,那么正则表达式将变得和字符串的find()方法无二了。

 

那么这几个“将士”什么来路呢?分别又有什么特技呢?

 

:匹配任意字符,除了换行符。而当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符

^  :匹配字符串的开头,脱字符

  • 匹配输入字符串的开始位置
  • 如果设置了 re.MULTILINE 标志,^ 也匹配换行符之后的位置

:匹配字符串的末尾,如果设置了 re.MULTILINE 标志,$ 也匹配换行符之前的位置

  :匹配前面的子表达式零次或多次,等价于 {0,}
:匹配前面的子表达式一次或多次,等价于 {1,}
:匹配前面的子表达式零次或一次,等价于 {0,1}

{M,N} :M 和 N 均为非负整数,其中 M <= N,表示前边的 RE 匹配 M ~ N 次

  • {M,} 表示至少匹配 M 次
  • {,N} 等价于 {0,N}
  • {N} 表示需要匹配 N 次

[...]  :字符类,匹配所包含的任意一个字符

  • 连字符 - 如果出现在字符串中间表示字符范围描述;如果如果出现在首位则仅作为普通字符
  • 特殊字符仅有反斜线 \ 保持特殊含义,用于转义字符。其它特殊字符如 *、+、? 等均作为普通字符匹配
  • 脱字符 ^ 如果出现在首位则表示匹配不包含其中的任意字符;如果 ^ 出现在字符串中间就仅作为普通字符匹配

  :(下面还有详解)

  •  将一个普通字符变成特殊字符,例如 \d 表示匹配所有十进制数字
  • 解除元字符的特殊功能,例如 \. 表示匹配点号本身
  • 引用序号对应的子组所匹配的字符串

| :A | B,表示匹配正则表达式 A 或者 B

 

(...)  :匹配圆括号中的正则表达式,或者指定一个子组的开始和结束位置。子组的内容可以在匹配之后被 \数字 再次引用

 

3.还有一些扩展出来的功能:

*?, +?, ??
默认情况下 *、+ 和 ? 的匹配模式是贪婪模式(即会尽可能多地匹配符合规则的字符串);*?、+? 和 ?? 表示启用对应的非贪婪模式。

(?...):(? 开头的表示为正则表达式的扩展语法(下边这些是 Python 支持的所有扩展语法)

(?aiLmsux):
  • (? 后可以紧跟着 'a','i','L','m','s','u','x' 中的一个或多个字符,只能在正则表达式的开头使用
  •  每一个字符对应一种匹配标志:re-A(只匹配 ASCII 字符),re-I(忽略大小写),re-L(区域设置),re-M(多行模式), re-S(. 匹配任何符号),re-X(详细表达式),包含这些字符将会影响整个正则表达式的规则
  • 当你不想通过 re.compile() 设置正则表达式标志,这种方法就非常有用啦。注意,由于 (?x) 决定正则表达式如何被解析,所以它应该总是被放在最前边(最多允许前边有空白符)。如果 (?x) 的前边是非空白字符,那么 (?x) 就发挥不了作用了。

(?:...):非捕获组,即该子组匹配的字符串无法从后边获取

(?P<name>...):命名组,通过组的名字(name)即可访问到子组匹配的字符串
(?P=name):反向引用一个命名组,它匹配指定命名组匹配的任何内容
(?#...):注释,括号中的内容将被忽略
(?=...):前向肯定断言。如果当前包含的正则表达式(这里以 ... 表示)在当前位置成功匹配,则代表成功,否则失败。一旦该部分正则表达式被匹配引擎尝试过,就不会继续进行匹配了;剩下的模式在此断言开始的地方继续尝试。

(?!...):前向否定断言。这跟前向肯定断言相反(不匹配则表示成功,匹配表示失败)。

(?<=...):后向肯定断言。跟前向肯定断言一样,只是方向相反。

(?<!...):后向否定断言。跟前向肯定断言一样,只是方向相反。

(?(id/name)yes-pattern|no-pattern):如果子组的序号或名字存在的话,则尝试 yes-pattern 匹配模式;否则尝试 no-pattern 匹配模式,no-pattern 是可选的
比如(<)?(\w+@\w+(?:\.\w+)+)(?(1)>|$) 是一个匹配邮件格式的正则表达式,可以匹配 <user@fishc.com> 和 'user@fishc.com',但是不会匹配 '<user@fishc.com' 或 'user@fishc.com>'
 

\
 
 
当\作转义符号时:

正则表达式还支持大部分 Python 字符串的转义符号:\a,\b,\f,\n,\r,\t,\u,\U,\v,\x,\\
  • \b 通常用于匹配一个单词边界,只有在字符类中才表示“退格”
  • \u 和 \U 只有在 Unicode 模式下才会被识别
  • 八进制转义(\数字)是有限制的,如果第一个数字是 0,或者如果有 3 个八进制数字,那么就被认为是八进制数;其他情况则被认为是子组引用;至于字符串,八进制转义总是最多只能是 3 个数字的长度


\序号:
  • 引用序号对应的子组所匹配的字符串,子组的序号从 1 开始计算
  • 如果序号是以 0 开头,或者 3 个数字的长度。那么不会被用于引用对应的子组,而是用于匹配八进制数字所表示的 ASCII 码值对应的字符

\A:匹配输入字符串的开始位置
\Z:匹配输入字符串的结束位置
\b:匹配一个单词边界,单词被定义为 Unidcode 的字母数字或下横线字符

\B:匹配非单词边界,其实就是与 \b 相反

\d:
  • 对于 Unicode(str 类型)模式:匹配任何一个数字,包括 [0-9] 和其他数字字符;如果开启了 re.ASCII 标志,就只匹配 [0-9]
  • 对于 8 位(bytes 类型)模式:匹配 [0-9] 中任何一个数字
\D:匹配任何非 Unicode 的数字,其实就是与 \d 相反;如果开启了 re.ASCII 标志,则相当于匹配 [^0-9]
\s:
  • 对于 Unicode(str 类型)模式:匹配 Unicode 中的空白字符(包括 [ \t\n\r\f\v] 以及其他空白字符);如果开启了 re.ASCII 标志,就只匹配 [ \t\n\r\f\v]
  • 对于 8 位(bytes 类型)模式:匹配 ASCII 中定义的空白字符,即 [ \t\n\r\f\v]
\S:匹配任何非 Unicode 中的空白字符,其实就是与 \s 相反;如果开启了 re.ASCII 标志,则相当于匹配 [^ \t\n\r\f\v]
\w:
  • 对于 Unicode(str 类型)模式:匹配任何 Unicode 的单词字符,基本上所有语言的字符都可以匹配,当然也包括数字和下横线;如果开启了 re.ASCII 标志,就只匹配 [a-zA-Z0-9_]
  • 对于 8 位(bytes 类型)模式:匹配 ASCII 中定义的字母数字,即 [a-zA-Z0-9_]
\W:匹配任何非 Unicode 的单词字符,其实就是与 \w 相反;如果开启了 re.ASCII 标志,则相当于 [^a-zA-Z0-9_]
 

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:洗礼灵魂,修炼python(61)--爬虫篇—【转载】requests模块

下一篇:Python Kivy 中文教程:安装(Windows)