python多线程多队列（BeautifulSoup网络爬虫）

程序大概内容如下：

程序中设置两个队列分别为queue负责存放网址，out_queue负责存放网页的源代码。

ThreadUrl线程负责将队列queue中网址的源代码urlopen，存放到out_queue队列中。

DatamineThread线程负责使用BeautifulSoup模块从out_queue网页的源代码中提取出想要的内容并输出。

这只是一个基本的框架，可以根据需求继续扩展。

程序中有很详细的注释，如有有问题跪求指正啊。

    import Queue  
    import threading  
    import urllib2  
    import time  
    from BeautifulSoup import BeautifulSoup  
      
    hosts = ["http://yahoo.com","http://taobao.com","http://apple.com",  
             "http://ibm.com","http://www.amazon.cn"]  
      
    queue = Queue.Queue()#存放网址的队列  
    out_queue = Queue.Queue()#存放网址页面的队列  
      
    class ThreadUrl(threading.Thread):  
        def __init__(self,queue,out_queue):  
            threading.Thread.__init__(self)  
            self.queue = queue  
            self.out_queue = out_queue  
      
        def run(self):  
            while True:  
                host = self.queue.get()  
                url = urllib2.urlopen(host)  
                chunk = url.read()  
                self.out_queue.put(chunk)#将hosts中的页面传给out_queue  
                self.queue.task_done()#传入一个相当于完成一个任务  
      
    class DatamineThread(threading.Thread):  
        def __init__(self,out_queue):  
            threading.Thread.__init__(self)  
            self.out_queue = out_queue  
      
        def run(self):  
            while True:  
                chunk = self.out_queue.get()  
                soup = BeautifulSoup(chunk)#从源代码中搜索title标签的内容  
                print soup.findAll(['title'])  
                self.out_queue.task_done()  
      
    start = time.time()  
    def main():  
        for i in range(5):  
            t = ThreadUrl(queue,out_queue)#线程任务就是将网址的源代码存放到out_queue队列中  
            t.setDaemon(True)#设置为守护线程  
            t.start()  
      
        #将网址都存放到queue队列中  
        for host in hosts:  
            queue.put(host)  
      
        for i in range(5):  
            dt = DatamineThread(out_queue)#线程任务就是从源代码中解析出<title>标签内的内容  
            dt.setDaemon(True)  
            dt.start()  
      
        queue.join()#线程依次执行，主线程最后执行  
        out_queue.join()  
      
    main()  
    print "Total time :%s"%(time.time()-start)  

标签： 代码 搜索

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。