近期对FTP及Excel数据处理的一些摸索

2018-06-18 00:04:54来源:未知 阅读 ()

新老客户大回馈,云服务器低至5折

一个多月没写随笔了,主要是发的东西,自己感觉也很垃圾,说又说回来,谁不是从垃圾变强的,所以不比比,还得努力。come on!!

Python学习也有段时间了,近期为了解决同事的一个难题,所以我们决定联系Python的同时,帮他解决这个难题。他的难题简单概括来说,每次他需要登录某单位的FTP服务器,下载好几个项目一个月的数据,然后找到其中地源热泵数据,全部复制到本地,然后打开每个项目的文件,一行一行的复制到Excel中,然后再进行数据处理,其中一个项目,一个时间的数据截图如下:

 

 

数据均是以逗号分割,可想而知,他每次仅仅的粘贴复制是有多费劲。所以我们就小试牛刀,把自己学的Python用上,用代码给他解决这个问题。

开始的时候也没有接触过FTP这个模块,所以最开始就想怎么能用代码,把想要的数据下载到本地,所以就学习了ftplib这个模块。然后逐层深入,怎么能下载每一天的,以至于到每个项目的每一天,最终的download的模块的所有的代码如下:

 

 1 #!/usr/bin/env python
 2 # -*- coding: utf-8 -*-
 3 import os,sys
 4 from datetime import datetime,timedelta
 5 
 6 from ftplib import FTP            #加载ftp模块
 7 import xlrd,xlwt
 8 
 9 
10 starttime = input("请输入想要下载文件的开始时间(格式:20170101):\n")
11 # endtime = parse(input("请输入想要下载文件的结束时间:\n"))                       
12 
13 # input_time = int(input("请输入想要下载前多少天的数据:\n"))
14 
15 base_dir = os.path.dirname(os.path.abspath(__file__))
16 print(base_dir)
17 sys.path.append(base_dir)
18 
19 ftp=FTP()                         #设置变量
20 #ftp.set_debuglevel(2)             #打开调试级别2,显示详细信息
21 ftp.connect("IP地址",21)          #连接的ftp sever和端口
22 ftp.login("用户名","密码>")      #连接的用户名,密码
23 
24 
25 
26 if ftp.cwd("目录" + starttime + "/"):    #进入远程目录
27     #print(ftp.nlst())
28     #downloadlist = ftp.nlst()               
29     bufsize=1024                      #设置的缓冲区大小
30     
31     for filename in ftp.nlst():
32         
33         if "GHP" in filename and "0800_001.cmep" in filename:           #需要下载的文件
34             file_handle=open(base_dir + "/data/" + filename,"wb").write #以写模式在本地打开文件
35             #file_handle=open(filename,"wb").write
36             ftp.retrbinary("RETR "+filename,file_handle,bufsize) #接收服务器上文件并写入本地文件
37 #            ftp.set_debuglevel(0)             #关闭调试模式
38             print(filename + "已经下载完成!")
39             
40         
41     ftp.cwd("/")
42 
43 print("您想要的文件已经全部下载完成,欢迎下次使用!")
44 ftp.quit()                        #退出ftp

 

download的执行结果是,是把所有项目某一天的代码全部下载到本地data目录下。下载的结果如下:

 

 

此时数据下载好了,就想着该如何把数据整理到Excel中了,所以还需要去学习Python中关于Excel的库,我们主要用的xlrd和xlwt,不懂的可以百度。我们就写了把后缀名微cmep的文件,写的Excel里的一个模块handle,在过程中我们发现,对于每一个项目来说,我们同事所想要的数据的行数都不相同,所以老师就给我们一个思路,写一个关于地源热泵每一个项目配置文件,就解决了这个问题。所以我们就动手写了一个json格式的配置文件,代码如下:

 

 1 import json
 2 import os,sys
 3 
 4 base_dir = os.path.dirname(os.path.abspath(__file__))
 5 print(base_dir)
 6 sys.path.append(base_dir)
 7 
 8 
 9 file_list = os.listdir(base_dir + "/data/")
10 # print(file_list)
11 
12 output_data = {"items":[]}
13 
14 for filename in file_list:
15     with open(base_dir + "/data/" + filename) as f:
16         lines = f.readlines() 
17         # print(lines)
18         line_number = []
19         for nums,line in enumerate(lines):
20             if line.split(",")[10] == "GJ" or line.split(",")[10] == "kWh":
21                 line_number.append(nums)
22                
23         out_filename = filename.split("_GHP")[0].split("SSTJEC_")[1]
24         print(out_filename)
25         data = {"item":out_filename,"download_line":line_number}
26         output_data["items"].append(data)
27         
28 with open("settings.json","w") as f1:
29     json.dump(output_data,f1)

 

运行write_json.py的这个文件,得出每个项目所需要下载的不同行,然后我们根据这个配置文件,开始把需要的参数写入到Excel文件中,具体代码如下:

 

 1 import os,sys,json
 2 import xlrd,xlwt
 3 
 4 #把当前文件所在目录添加到电脑的环境变量
 5 base_dir = os.path.dirname(os.path.abspath(__file__))
 6 print(base_dir)
 7 sys.path.append(base_dir)
 8 
 9 #当前文件所在目录data文件夹下的所有文件名以列表的形式存到file_list里
10 file_list = os.listdir(base_dir+"/data")
11 print(file_list)
12 
13 #打开当前文件所在目录的settings.json文件
14 with open("settings.json","r") as f1:
15     settings = json.load(f1)
16 
17 #以写的形式打开一个workbook
18 my_workbook = xlwt.Workbook()
19 
20 for filename in file_list:
21     year = filename.split("_")[-2][:4]
22     date = filename.split("_")[-2][4:8]
23 
24     #从json文件中获取到每个项目的配置文件,然后下载相应的行到Excel里
25     for setting in settings["items"]:
26         project_name = filename.split("_GHP")[0].split("SSTJEC_")[1]
27         if project_name == setting["item"]:
28             my_sheet = my_workbook.add_sheet(project_name + "_" + date)
29             with open(base_dir+"/data/"+filename) as f2:
30                 lines = f2.readlines()
31                 step = 0
32 
33                 #把所需要的数据写到Excel中
34                 for nums,line in enumerate(lines):
35                     if nums in setting["download_line"]:
36                         re_time = line.split(",")[6]
37                         out_file = line.split(",")[7]
38                         energy = line.split(",")[-2]
39                         unit = line.split(",")[10]
40 
41                         my_sheet.write(step,0,out_file)
42                         my_sheet.write(step,1,re_time)
43                         my_sheet.write(step,2,energy)
44                         my_sheet.write(step,3,unit)
45                         step += 1
46 
47 my_workbook.save(base_dir+"/handle/" + year +" cmep_to_excel.xls")

 

运行handle文件后,得到写入Excel文件的结果如下:

 

 

成功的写入了Excel文件,对于我们同事来说,这个是一个皆大欢喜的结果,但是他还需要进行数据处理,所以我们想,索性帮他用代码把数据处理也做了,最后我们就写了一个result的文件,把他想要的两个时间内的数据做差,然后再写入另一个Excel中,下面是代码:

 

 1 import xlrd,xlwt
 2 import os,sys
 3 
 4 base_dir = os.path.dirname(os.path.abspath(__file__))
 5 print(base_dir)
 6 sys.path.append(base_dir)
 7 
 8 file_list = os.listdir(base_dir+"/handle/")
 9 print(file_list)
10 
11 my_workbook = xlwt.Workbook()
12 
13 for filename in file_list:
14     date,project = filename.split(" ")[0],filename.split(" ")[-1]
15 
16     if project == "cmep_to_excel.xls":
17 
18         myworkbook = xlrd.open_workbook((base_dir+"/handle/" + filename))
19         i = 0
20         o = 1
21         while o < len(myworkbook.sheets()):
22             frist_sheet = myworkbook.sheets()[i]
23             second_sheet = myworkbook.sheets()[o]
24             rows_num = second_sheet.nrows
25             print(rows_num)
26 
27             my_sheet = my_workbook.add_sheet(frist_sheet.cell(0,0).value.split("_GHP_")[0])
28             
29             #在每个表单的头一行添加表头
30             my_sheet.write(0,0,"数据类型")
31             my_sheet.write(0,1,"日期")
32             my_sheet.write(0,2,"数据")
33             my_sheet.write(0,3,"单位")
34             m = 1
35             n = 0
36             while n < rows_num:
37                 
38                 out_file = frist_sheet.cell(n,0).value
39                 re_time = frist_sheet.cell(n,1).value
40                 energy1 = float(frist_sheet.cell(n,2).value)
41                 unit = frist_sheet.cell(n,3).value
42 
43                 energy2 = float(second_sheet.cell(n,2).value)
44                 energy_output = energy2 - energy1
45 
46                 my_sheet.write(m,0,out_file)
47                 my_sheet.write(m,1,re_time)
48                 my_sheet.write(m,2,energy_output)
49                 my_sheet.write(m,3,unit)
50 
51                 m +=1
52                 n +=1
53             i += 2
54             o += 2
55 
56         my_workbook.save(base_dir+"/handle/" + date + " result.xls")

 

最后得到他想要的结果文件,以后对于他这趟差事来说,那不是简单到没朋友,自己运行几个代码,所有的东西过程都不用管,结果就有了,大大提升了工作效率,为我们几个同事点一个赞。

其实还有一个弊端,也就是下次和老师碰的一个点,就是自己把几个模块,整合到一个Python文件中,自己运行一个文件,就把所有过程都跑完,也就是后面需要增加的内容。

 

学习Python的时间还是有限,主要自己也不是干这个的,离自己理想还是有很大的差距,昨天晚上憋了4个小时,才把最后的result文件写玩,里面需要改进的地方还有很多,还需要努力。大家也跟一起努力把,你们的赞扬才是我努力的源泉,欢迎转发评论,欢迎批评指正。

 

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:python matplotlib简介及安装

下一篇:sklearn保存模型-【老鱼学sklearn】