python提取页面内的url列表

python提取页面内的url列表

from bs4 import BeautifulSoup
import time,re,urllib2
 
t=time.time()
 
websiteurls={}
 
def scanpage(url):
     
    websiteurl=url
    t=time.time()
    n=0
    html=urllib2.urlopen(websiteurl).read()
    soup=BeautifulSoup(html)
    pageurls=[]
    Upageurls={}
    pageurls=soup.find_all("a",href=True)
 
    for links in pageurls:
        if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
            Upageurls[links.get("href")]=0
    for links in Upageurls.keys():
        try:
            urllib2.urlopen(links).getcode()
        except:
            print "connect failed"
        else:
            t2=time.time()
            Upageurls[links]=urllib2.urlopen(links).getcode()
            print n,
            print links,
            print Upageurls[links]
            t1=time.time()
            print t1-t2
        n+=1
    print ("total is "+repr(n)+" links")
    print time.time()-t
 
 
scanpage("http://news.163.com/")

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。