easyexcel读文件入批量入es
创始人
2024-11-14 16:33:41
0

1. 封装实体类,并对应excel表中的列

@Data public class User {      private String md5;      private String id;      @ExcelProperty(value = "age")     private String age;     @ExcelProperty(value = "username")     private String name;   }

2. 批量入库

    private void insertBatchToES(List dataList, String indexName) {         try {             BulkProcessor bulkProcessor = BulkProcessor.builder(                     (request, bulkListener) -> elasticsearchClient.bulkAsync(request, RequestOptions.DEFAULT, bulkListener),                     new BulkProcessor.Listener() {                          @Override                         public void beforeBulk(long executionId, org.elasticsearch.action.bulk.BulkRequest request) {                             // 准备执行前的操作                         }                          @Override                         public void afterBulk(long executionId, org.elasticsearch.action.bulk.BulkRequest request, org.elasticsearch.action.bulk.BulkResponse response) {                             if (response != null) {                                 int insertedCount = request.numberOfActions(); // 获取请求中操作的数量,即插入的条数                                 log.info("批量插入 " + insertedCount + " 条数据成功");                             }                         }                          @Override                         public void afterBulk(long executionId, org.elasticsearch.action.bulk.BulkRequest request, Throwable failure) {                             log.info("批量插入 error");                         }                     })                     // 设置每1000个请求执行一次批处理                     .setBulkActions(500)                     .build();                for(User user : dataList) {                 String jsonString = convertToJson(user);                 IndexRequest indexRequest = new IndexRequest(indexName)                         .id(user.getId())                         .source(jsonString, XContentType.JSON);                 bulkProcessor.add(indexRequest);             }             bulkProcessor.awaitClose(10, TimeUnit.MINUTES);             bulkProcessor.close();          } catch (InterruptedException | JsonProcessingException e) {             e.printStackTrace();         }     } 

将对象转json工具类:

 public String convertToJson(user) throws JsonProcessingException {         String objStr = JSON.toJSONString(user, SerializerFeature.WriteNullListAsEmpty, SerializerFeature.WriteNullNumberAsZero,                 SerializerFeature.WriteNullStringAsEmpty, SerializerFeature.NotWriteDefaultValue);          return objStr;     }

3. 读指定文件excel , 封装List

public void importExcelToES(String excelFilePath, String indexName) {         try {             EasyExcel.read(excelFilePath, User.class, new AnalysisEventListener() {                 private List dataList = new ArrayList<>();                                  @Override                 public void invoke(UserFansExcel data, AnalysisContext analysisContext) {                     long id = generator.nextId();                     data.setId(String.valueOf(id));                                                            if (dataList.size() >= 500) {                         insertBatchToES(filteredList, indexName);                         dataList.clear();                     }                 }                  @Override                 public void doAfterAllAnalysed(AnalysisContext analysisContext) {                     if (!dataList.isEmpty()) {                         insertBatchToES(dataList, indexName);                     }                 }             }).sheet().doRead();         } catch (Exception e) {             e.printStackTrace();         }

3.1 读执行目录下的所有excel文件,这些文件的格式是一样的

public void readExcelFilesFromDirectory(String directoryPath) throws IOException {         List dataList = new ArrayList<>();         File dir = new File(directoryPath);         File[] files = dir.listFiles((d, name) -> name.endsWith(".xlsx"));          if (files != null) {             for (File file : files) {                 System.out.println(file.getName());                 try {                     String primaryUserId = file.getName().replace(".xlsx", "");                     try (FileInputStream fis = new FileInputStream(file)) {                         EasyExcel.read(fis, User.class, new AnalysisEventListener() {                               @Override                             public void invoke(User data, AnalysisContext context) {                                 data.setName(primaryUserId);                                                                 dataList.add(data);                             }                              @Override                             public void doAfterAllAnalysed(AnalysisContext analysisContext) {                              }                            }).sheet().doRead();                     }                 } catch (Exception e) {                     e.printStackTrace();                 }             if(dataList.size() >0){               //这里可以插入数据库                dataList.clear();            }              }         }              }

相关内容

热门资讯

推荐一下!青橙竞技卡五星辅助,... 推荐一下!青橙竞技卡五星辅助,新518互游脚本下载,好像是真的有挂(哔哩哔哩)青橙竞技卡五星辅助透视...
总结一下!老友广东麻将辅助,杭... 总结一下!老友广东麻将辅助,杭州都莱辅助,切实真的是有挂(哔哩哔哩)1、在老友广东麻将辅助插件功能辅...
解迷一下!创思维激k怎么开挂,... 解迷一下!创思维激k怎么开挂,创思维辅助软件,切实真的有挂(哔哩哔哩)1、创思维激k怎么开挂辅助器安...
辅助一下!微信微乐游戏辅助脚本... 辅助一下!微信微乐游戏辅助脚本,拱趴大菠萝有辅助吗,总是有挂(哔哩哔哩)辅助一下!微信微乐游戏辅助脚...
辅助一下!时光互娱房卡辅助,新... 辅助一下!时光互娱房卡辅助,新漫游免费辅助器,本来真的有挂(哔哩哔哩)1、让任何用户在无需时光互娱房...
关于一下!多乐跑得快私人房间作... 关于一下!多乐跑得快私人房间作弊视频,来来拼十辅助,都是真的有挂(哔哩哔哩)1、打开软件启动之后找到...
教你一下!卡五星游戏源码,决战... 教你一下!卡五星游戏源码,决战卡五星辅助器,其实是有挂(哔哩哔哩)1)决战卡五星辅助器辅助插件:进一...
普及一下!同乡游有辅助软件码,... 普及一下!同乡游有辅助软件码,老友广东辅助器,总是是有挂(哔哩哔哩)1、上手简单,内置详细流程视频教...
曝光一下!创思维激k有辅助器吗... 曝光一下!创思维激k有辅助器吗,hhpoker辅助是真的吗,好像存在有挂(哔哩哔哩)创思维激k有辅助...
总结一下!边锋干瞪眼小程序辅助... 总结一下!边锋干瞪眼小程序辅助,心悦踢辅助软件,真是存在有挂(哔哩哔哩)1、这是跨平台的边锋干瞪眼小...