首页 > > 网络编程 > 其它 >

python爬取网页数据并存储到mysql数据库

2018-06-18 00:42:11来源：未知阅读 ()

#python 3.5
from urllib.request import urlopen
from urllib.request import urlretrieve
from bs4 import BeautifulSoup
import pymysql

conn = pymysql.connect(host='127.0.0.1',user='root',passwd='root',db='pmdb',charset='utf8')
cur = conn.cursor()

url = "http://www.mm131.com/xinggan/"
html = urlopen(url)
soup = BeautifulSoup(html,"lxml")
urllist = soup.find(class_='list-left public-box')
for i in urllist:
    jlist = soup.find("dd").find("a")["href"]
    jliststr='\''+jlist+'\''
    # print(jlist)
    cur.execute("insert into href(href) VALUES ("+jliststr+")")
    conn.commit()
cur.close()
conn.close()
print("成功！")

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有