BeautifulSoup模块的简单使用

2018-07-20 来源：open-open

可以通过dir(BeautifulSoup.BeautifulSoup)查看其有什么函数，如果想知道某个函数的含义可以使用help(BeautifulSoup.BeautifulSoup.find)来查看其官方文档。

可以使用pprint来整输出，使用dir和help之前一定要import BeautifulSoup。

    # -*- coding:utf8 -*-  
    import urllib  
    import urllib2  
    import BeautifulSoup  
    import re  
       
    htmlSource = urllib.urlopen("http://www.taobao.com/").read(200000)  
    soup = BeautifulSoup.BeautifulSoup(htmlSource)  
      
    #输出<head>...</head>  
    print soup.head  
      
    #输出<title>...</title>  
    print soup.head.title  
      
    #会返回一个列表，每个列表元素都是<a>...</a>   
    tags = soup.findAll('a')  
    print tags  
      
    print '京东放养的爬虫'  
      
    #取<a></a>中间包含的元素，如果有href则输出  
    for item in soup.fetch('a',href=True):  
        print item['href']  
          
    #找到所有的<a></a>,如果其中href元素中含有taobao则输出  
    for a in soup.findAll('a',href=True):  
        if re.findall('taobao', a['href']):  
            print "Found the URL:", a['href']  
              
    #输出<div></div>中间class属性等于J_Tanx mod，只输出第一个  
    print str(soup.find("div",{"class":"J_Tanx mod"}))

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。

上一篇:php随机密码生成器

下一篇:php MIME类型数组

最新资讯

热门推荐