首页 > > 程序设计 > Java技术 >

如何让excel文件读取变得更简单

2019-10-25 06:51:17来源：博客园 阅读 ()

新老客户大回馈,云服务器低至5折

如何让excel文件读取变得更简单

今天给大家安利一款excel文件导入神器，easyexcel，官方地址：（https://github.com/alibaba/easyexcel）。
在官网文档中有介绍了其性能。
poi vs easyexcel 内存消耗对比2003
poi vs easyexcel 内存消耗对比2007
poi vs easyexcel 用时 2003
poi vs easyexcel 用时 2007
从上面的性能测试可以看出easyexcel在解析耗时上比poiuserModel模式弱了一些。主要原因是我内部采用了反射做模型字段映射，中间我也加了cache，但感觉这点差距可以接受的。但在内存消耗上差别就比较明显了，easyexcel在后面文件再增大，内存消耗几乎不会增加了。但poi userModel就不一样了，简直就要爆掉了。想想一个excel解析200M，同时有20个人再用估计一台机器就挂了。

如何使用呢

1、引入maven依赖

   <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>2.0.5</version>
</dependency>

由于改jar包对poi进行了一些封装，因此需要注释掉项目引用的poi依赖，不然会有版本冲突。
2、创建接收excel数据的实体

@Data
public class Person {

    @ExcelProperty(value = "姓名",index = 1)
    private String name;

    @ExcelProperty("性别")
    private String sex;

    @ExcelProperty("年龄")
    private int age;
}

@ExcelProperty 这个注解用于指定该属性对应excel文件中的哪一列数据。里面有两个属性，一个是value,另一个是index（从0开始），这里不建议 index 和 name 同时用，要么一个对象只用index，要么一个对象只用name去匹配。
3、增加person监听器

@Slf4j
public class PersonListener extends AnalysisEventListener<Person> {

    /**
     * 每隔5条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 5;
    List<Person> list = new ArrayList();

    @Override
    public void invoke(Person person, AnalysisContext analysisContext) {
        log.info("解析到一条数据:{}",person);
        if (list.size() >= BATCH_COUNT) {
            saveData();
            list.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveData();
        log.info("所有数据解析完成！");
    }
    @Override
    public void onException(Exception exception, AnalysisContext context) {
        log.error("解析失败，但是继续解析下一行", exception);

    }
    /**
     * 加上存储数据库
     */
    private void saveData(){
        log.info("{}条数据，开始存储数据库！", list.size());
        log.info("存储数据库成功！");
    }
}

4、文件上传方法

@RestController
@Slf4j
public class PersonController {
    
    @PostMapping("importFile")
    public String readPerson(MultipartFile file){
        
        PersonListener personListener = new PersonListener();
        try {

            // headRowNumber(2) 这里可以设置1，因为头就是一行。如果多行头，可以设置其他值。不传入也可以，他没有指定头，也就是默认1行
            EasyExcel.read(file.getInputStream(), Person.class,personListener).sheet().headRowNumber(1).doRead();

        }catch (IOException ioe){

            log.info("读取excel异常={}",ioe);
        }
        return "";
    }
}

这样代码基本就算完成了。接下来我们看看如何在

spring框架中使用

我们知道，在spring中文件入库的时候可能需要调用service，service调用dao入库。那我们如何在这个PersonListener中调用service呢。
首先，在PersonController中注入service.

    @Autowired
    private PersonService personService;

然后，在PersonListener中增加一个有参构造器。

   private PersonService personService;
    
    public PersonListener(PersonService personService){

        this.personService = personService;
    }

最后在PersonController中new PersonListener的时候将service传进来即可。

    @Autowired
    private PersonService personService;
    @PostMapping("importFile")
    public String readPerson(MultipartFile file){

        PersonListener personListener = new PersonListener(personService);
        try {

            // headRowNumber(2) 这里可以设置1，因为头就是一行。如果多行头，可以设置其他值。不传入也可以，他没有指定头，也就是默认1行
            EasyExcel.read(file.getInputStream(), Person.class,personListener).sheet().headRowNumber(2).doRead();

        }catch (IOException ioe){

            log.info("读取excel异常={}",ioe);
        }
        return "";
    }

接下来我们在看一下，有一个需求是这样的，我们需要统计一下导入成功数和失败数并且要不失败数写入到一个excel中返回给页面，如何实现？
我们调整一下PersonListener

@Slf4j
public class PersonListener extends AnalysisEventListener<Person> {

    private int successCount = 0; // 成功量
    
    private int exceptionCount = 0; // 异常量

    private List<Person> exceptionList = new ArrayList<>(); // 异常数据

    /**
     * 每隔5条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 5;
    List<Person> list = new ArrayList();

    private PersonService personService;

    public PersonListener(PersonService personService){

        this.personService = personService;
    }

    @Override
    public void invoke(Person person, AnalysisContext analysisContext) {
        log.info("解析到一条数据:{}",person);
        successCount++;
                list.add(person);
        if (list.size() >= BATCH_COUNT) {
            saveData();
            list.clear();
        }
    }

    @Override
    public void doAfterAllAnalysed(AnalysisContext analysisContext) {
        saveData();
        log.info("所有数据解析完成！");
    }
    @Override
    public void onException(Exception exception, AnalysisContext context) {
        log.error("解析失败，但是继续解析下一行", exception);

        Person person  = (Person)context.readRowHolder().getCurrentRowAnalysisResult();
        exceptionList.add(person);
        exceptionCount++;

    }
    /**
     * 加上存储数据库
     */
    private void saveData(){
        log.info("{}条数据，开始存储数据库！", list.size());
        log.info("存储数据库成功！");
    }
    /**
     * 插入结果返回
     * @return
     */
    public Map<String,Object> getData(){

        Map<String,Object> map = new HashMap<>();
        map.put("success",successCount);
        map.put("exception",exceptionCount);
        return map;
    }

    /**
     * 失败数据返回
     * @return
     */
    public List<Person> getExceptionList(){

        return exceptionList;
    }
}

在PersonController中将异常数据写入文件。

@RestController
@Slf4j
public class PersonController {

    @Autowired
    private PersonService personService;

    @PostMapping("importFile")
    public String readPerson(MultipartFile file){

        PersonListener personListener = new PersonListener(personService);
        try {

            // headRowNumber(1) 这里可以设置1，因为头就是一行。如果多行头，可以设置其他值。不传入也可以，他没有指定头，也就是默认1行
            EasyExcel.read(file.getInputStream(), Person.class,personListener).sheet().headRowNumber(1).doRead();

        }catch (IOException ioe){

            log.info("读取excel异常={}",ioe);
        }
        Map<String, Object> data = personListener.getData();
        String exception = data.get("exception") + "";
        int exceptionCount = Integer.parseInt(exception);
        if(exceptionCount>0){
            String fileName = System.currentTimeMillis() + ".xlsx";
            // 这里 需要指定写用哪个class去读，然后写到第一个sheet，名字为模板 然后文件流会自动关闭
            EasyExcel.write("E://upload/file/"+fileName, Person.class).sheet("模板").doWrite(personListener.getExceptionList());
            data.put("fileName",fileName);
        }
        return data.toString();
    }
}

我们写个页面测试一下

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>文件上传</title>
</head>
<body>
<form action="/importFile" method="post" enctype="multipart/form-data">
    <input type="file"  name="file"/>
    <button type="submit">提交</button>
</form>
</body>
</html>

下面是测试的日志文件

2019-10-20 11:21:59.809  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕, sex=男, age=18)
2019-10-20 11:21:59.811  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕2, sex=男, age=19)
2019-10-20 11:21:59.811  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕3, sex=男, age=20)
2019-10-20 11:21:59.811  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕4, sex=男, age=21)
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕5, sex=男, age=22)
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 5条数据，开始存储数据库！
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 存储数据库成功！
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕6, sex=男, age=23)
2019-10-20 11:21:59.812  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕7, sex=男, age=24)
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕8, sex=男, age=25)
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 解析到一条数据:Person(name=执偕9, sex=男, age=26)
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 4条数据，开始存储数据库！
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 存储数据库成功！
2019-10-20 11:21:59.813  INFO 17748 --- [nio-8080-exec-1] c.zhixie.easyexcel.demo.PersonListener   : 所有数据解析完成！

今天就介绍到这了，文中的代码我已上传到码云上，
地址：https://gitee.com/javaXiaoCaiJi/zhixie-code-example/tree/master/easyexcel

如果文章对您有帮助，请记得点赞关注哟~
欢迎大家关注我的公众号<情系IT>，每日技术推送文章供大家学习参考。


原文链接:https://www.cnblogs.com/zhixie/p/11717739.html
如有疑问请与原作者联系

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：oopday02(面向对象-构造方法&amp;静态static)

下一篇：从实践角度重新理解BIO和NIO

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签