re

2018-11-20 03:24:45来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

一、re模块

    re模块是python提供的一套关于处理正则表达式的模块。

二、核心功能

1. search

作用:搜索

  • 搜索到结果就返回。
  • 如果有多个结果,只返回第一个结果,且多次调用,返回的都是第一个结果
  • 如果匹配不上就报错
import re

res = re.search(r"o", "hello world")
print(res.group())   # o

s = re.search(r"c", "hello world")
print(s.group())  # AttributeError: 'NoneType' object has no attribute 'group'

 2. match

作用:从开头匹配

  • 如果匹配到了,就返回
  • 如果匹配不到,就报错
import re

res = re.match(r"h", "hello world")
print(res.group())   # h

s = re.match(r"c", "hello world")
print(s.group())  # AttributeError: 'NoneType' object has no attribute 'group'

3. findall

作用:查找所有,返回list

import re

lst = re.findall(r"\d+", "name Tom age 18 phone 2354786")
print(lst)  # ['18', '2354786']
  • 对于正则表达中的组"()",findall会优先把匹配结果组里的内容返回
import re

lst = re.findall(r"www\.(baidu|qq)\.com", "www.baidu.com")
print(lst)  # ['baidu']

 

  • 如果想要返回匹配结果,添加"?:"取消权限即可
import re

lst = re.findall(r"www\.(?:baidu|qq)\.com", "www.baidu.com")
print(lst)  # ['www.baidu.com']

4. finditer

作用:查找所有,返回迭代器

import re

lst = re.finditer(r"\d+", "name Tom age 18 phone 2354786")
for el in lst:
    print(el.group())

结果:
18
2354786

三、其他操作

1. split

作用:分割,返回list

import re

ret = re.split(r"[abc]", "qwerafjbfcd")  # 先按a分割,再按b分割,然后按c分割 
print(ret)  # ['qwer', 'fj', 'f', 'd']

 

  • 在匹配部分加上"()"与不加所得出的结果不同。这个在某些需要保留匹配部分的使用过程是非常重要的
import re

ret = re.split("\d+", "eva3egon4yuan")
print(ret)  # ['eva', 'egon', 'yuan']

 

import re

ret = re.split("(\d+)", "eva3egon4yuan")
print(ret)  # ['eva', '3', 'egon', '4', 'yuan']

 

2. sub

作用:替换

import re

ret = re.sub(r"\s", "__", "hello world")
print(ret)  # hello__world

 

3. subn

作用:替换,返回元组(替换的结果,替换次数)

import re

ret = re.subn(r"\s", "__", "name age gender phone")
print(ret)  # ('name__age__gender__phone', 3)

 

4. compile

作用:将正则表达式编译成一个正则表达式对象,进行预加载

import re

obj = re.compile(r"\d{3}")

ret = obj.search("abc333eee")
print(ret.group())  # 333

四、re.S

    正则表达式中,"."表示匹配除"\n"以外的所有字符。对于字符串中有换行,此时正则匹配到的则是多个字符串,而利用re.S,"."可以匹配"\n",即得到的就是一个整体字符串。

五、对单一页面内容的抓取

from urllib.request import urlopen
import re

# url
url = "url"

# 获取全部内容
content = urlopen(url).read().decode()

# 预加载正则表达
obj = re.compile(r"正则表达")

# 获取特定内容
res = obj.search(content).group("组名")

 

六、对同一结构,多页面内容的抓取

from urllib.request import urlopen
import re

# 预加载正则表达式
obj = re.compile(r'<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?导演: (?P<director>.*?)&nbsp;&nbsp;&nbsp;.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>.*?<span>(?P<people>.*?)人评价</span>', re.S)


def get_content(url):
    """
    获取内容
    :param url: 网址
    :return: 网页全部内容
    """
    content = urlopen(url).read().decode("utf-8")
    return content


def parse_content(content):
    """
    解析内容
    :param content: 网页全部内容
    :return: 字典形式的所需内容
    """
    pc = obj.finditer(content)
    for el in pc:
        yield {
            "name": el.group("name"),
            "director": el.group("director"),
            "score": el.group("score"),
            "people": el.group("people")
        }


def main():
    """
    获取并解析内容,将所需内容写入文件中
    :return: None
    """
    for i in range(10):
        url = "https://movie.douban.com/top250?start=%s&filter=" % (i*25)
        p = parse_content(get_content(url))
        with open("movie.txt", mode="a", encoding="utf-8") as f:
            for el in p:
                f.write(str(el) + "\n")


if __name__ == "__main__":
    main()

 

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:python学习day3 编程语言分类 变量 格式化输出

下一篇:Python字典中取值函数