<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          多人同時(shí)導(dǎo)出 Excel 干崩服務(wù)器!阿里新來大佬給出的解決方案太優(yōu)雅了!

          共 14975字,需瀏覽 30分鐘

           ·

          2024-08-10 08:00

          因公眾號更改推送規(guī)則,請點(diǎn)“在看”并加“星標(biāo)”第一時(shí)間獲取精彩技術(shù)分享

          點(diǎn)擊關(guān)注#互聯(lián)網(wǎng)架構(gòu)師公眾號,領(lǐng)取架構(gòu)師全套資料 都在這里

          0、2T架構(gòu)師學(xué)習(xí)資料干貨分

          上一篇:2T架構(gòu)師學(xué)習(xí)資料干貨分享

          大家好,我是互聯(lián)網(wǎng)架構(gòu)師!

          1

          前言
          業(yè)務(wù)訴求:考慮到數(shù)據(jù)庫數(shù)據(jù)日漸增多,導(dǎo)出會有全量數(shù)據(jù)的導(dǎo)出,多人同時(shí)導(dǎo)出可以會對服務(wù)性能造成影響,導(dǎo)出涉及到mysql查詢的io操作,還涉及文件輸入、輸出流的io操作,所以對服務(wù)器的性能會影響的比較大;結(jié)合以上原因,對導(dǎo)出操作進(jìn)行排隊(duì);
          剛開始拿到這個(gè)需求,第一時(shí)間想到就是需要維護(hù)一個(gè)FIFO先進(jìn)先出的隊(duì)列,給定隊(duì)列一個(gè)固定size,在隊(duì)列里面的人進(jìn)行排隊(duì)進(jìn)行數(shù)據(jù)導(dǎo)出,導(dǎo)出完成后立馬出隊(duì)列,下一個(gè)排隊(duì)的人進(jìn)行操作;還考慮到異步,可能還需要建個(gè)文件導(dǎo)出表,主要記錄文件的導(dǎo)出情況,文件的存放地址,用戶根據(jù)文件列表情況下載導(dǎo)出文件。

          2

          業(yè)務(wù)關(guān)系定義

          分別是用戶、導(dǎo)出隊(duì)列、導(dǎo)出執(zhí)行方法:

          • ExportQueue:維護(hù)一條定長隊(duì)列,可以獲取隊(duì)列里前后排隊(duì)的用戶,提供查詢,隊(duì)列如果已經(jīng)滿了,其余的人需要進(jìn)行等待
          • User信息:排隊(duì)執(zhí)行導(dǎo)出方法對應(yīng)用戶;
          • Export類:定義導(dǎo)出方法,異步執(zhí)行,用戶可以通過導(dǎo)出頁面查看、下載,導(dǎo)出的文件;


           

          3

          具體代碼實(shí)現(xiàn)

           

          ExportQueue隊(duì)列:

          @Slf4j
          @Component
          public class ExportQueue {


              private final int MAX_CAPACITY = 10// 隊(duì)列最大容量
              private LinkedList<ExportUser> queue// 用戶隊(duì)列

              public ExportQueue(LinkedList<ExportUser> queue) {
                  this.queue = new LinkedList<>();
              }

              /**
               * 排隊(duì)隊(duì)列添加
               * @param sysUser
               */

              public synchronized LinkedList<ExportUser> add(ExportUser sysUser) {
                  while (queue.size() >= MAX_CAPACITY) {
                      try {
                          log.info("當(dāng)前排隊(duì)人已滿,請等待");
                          wait();
                      } catch (InterruptedException e) {
                          e.getMessage();
                      }
                  }
                  queue.add(sysUser);
                  log.info("目前導(dǎo)出隊(duì)列排隊(duì)人數(shù):" + queue.size());
                  notifyAll();
                  return queue;
              }


              /**
               * 獲取排隊(duì)隊(duì)列下一個(gè)人
               * @return
               */

              public synchronized ExportUser getNextSysUser() {
                  while (queue.isEmpty()) {
                      try {
                          wait();
                      } catch (InterruptedException e) {
                          e.printStackTrace();
                      }
                  }
                  ExportUser sysUser = queue.remove();
                  notifyAll(); //喚醒
                  return sysUser;
              }
          }

          AbstractExport導(dǎo)出類

          引入EasyExcel百萬級別的導(dǎo)出功能
          @Slf4j
          public abstract class AbstractExport<TK{


              public abstract void export(ExportUser sysUser) throws InterruptedException;

              /**
               * 導(dǎo)出
               *
               * @param response 輸出流
               * @param pageSize 每頁大小
               * @param t 導(dǎo)出條件
               * @param k Excel內(nèi)容實(shí)體類
               * @param fileName 文件名稱
               */

              public void export(HttpServletResponse response, int pageSize, T t, Class<K> k, String fileName) throws Exception {
                  ExcelWriter writer = null;
                  try {
                      writer = getExcelWriter(response, fileName);
                      //查詢導(dǎo)出總條數(shù)
                      int total = this.countExport(t);
                      //頁數(shù)
                      int loopCount = PageUtil.totalPage(total, pageSize);
                      BeanUtil.setProperty(t, "pageSize", pageSize);
                      for (int i = 0; i < loopCount; i++) {
                          //開始頁
                          BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));
                          //獲取Excel導(dǎo)出信息
                          List<K> kList = this.getExportDetail(t);
                          WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();
                          writer.write(kList, writeSheet);
                      }
                  } catch (Exception e) {
                      String msg = "導(dǎo)出" + fileName + "異常";
                      log.error(msg, e);
                      throw new Exception(msg + e);
                  } finally {
                      if (writer != null) {
                          writer.finish();
                      }
                  }
              }

              public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
                  response.setContentType("application/vnd.ms-excel");
                  response.setCharacterEncoding("utf-8");
                  // 這里URLEncoder.encode可以防止中文亂碼 當(dāng)然和easyexcel沒有關(guān)系
                  String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+""%20");
                  response.setHeader("Content-disposition""attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");
                  return EasyExcel.write(response.getOutputStream()).build();
              }


              /**
               * (模版導(dǎo)出)
               *
               * @param t
               * @param fileName
               * @param response
               */

              public abstract void complexFillWithTable(T t, String fileName, HttpServletResponse response);

              /**
               * 查詢導(dǎo)出總條數(shù)
               *
               * @param t
               * @return
               */

              public abstract int countExport(T t);

              /**
               * 查詢導(dǎo)出數(shù)據(jù)
               *
               * @param t
               * @return
               */

              public abstract List<K> getExportDetail(T t);
          }
          ExportImpl導(dǎo)出實(shí)現(xiàn)方法
          @Service
          @Slf4j
          public class ExportImpl extends AbstractExport {

              @Autowired
              private ExportQueue exportQueue;


              @Override
              public void export(ExportUser sysUser) throws InterruptedException {

                  //導(dǎo)出
                  log.info("導(dǎo)出文件方法執(zhí)行~~~~~~~~~");
          // export(response,pageSize,t,k,fileName);
                  LinkedList<ExportUser> queue = exportQueue.add(sysUser);
                  log.info("導(dǎo)出隊(duì)列:" + queue);
                  //休眠時(shí)間稍微設(shè)置大點(diǎn),模擬導(dǎo)出處理時(shí)間
                  Thread.sleep(20000);
                  //導(dǎo)出成功后移除當(dāng)前導(dǎo)出用戶
                  ExportUser nextSysUser = exportQueue.getNextSysUser();
                  log.info("移除后獲取下一個(gè)排隊(duì)的用戶: " + nextSysUser.getUserName());

              }


              @Override
              public void export(HttpServletResponse response, int pageSize, Object o, Class k, String fileName) throws Exception {
                  super.export(response, pageSize, o, k, fileName);
              }

              @Override
              public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
                  return super.getExcelWriter(response, fileName);
              }

              @Override
              public void complexFillWithTable(Object o, String fileName, HttpServletResponse response) {

              }

              @Override
              public int countExport(Object o) {
                  return 0;
              }

              @Override
              public List getExportDetail(Object o) {
                  return null;
              }
          }

           

          測試Controller


          @RestController
          @RequestMapping("/export")
          @Slf4j
          public class ExportController {

              @Autowired
              private ExportImpl export;


              @PostMapping("/exportFile")
              public void exportFile() {
                      new Thread(new Runnable() {
                          @SneakyThrows
                          @Override
                          public void run() {
                              Thread thread1 = Thread.currentThread();
                              ExportUser sysUser =new ExportUser();
                              sysUser.setUserName(thread1.getName());

                              export.export(sysUser);
                          }
                      }).start();
                  }
          }

           

          測試結(jié)果


          通過請求測試方法,限制了我們導(dǎo)出隊(duì)列最大限制10次,隊(duì)列場長度超過10次則無法進(jìn)行繼續(xù)提交;

          第一次請求和第二次請求,間隔10秒,第一個(gè)用戶導(dǎo)出完成后出列,下一個(gè)排隊(duì)用戶在隊(duì)列首位,在進(jìn)行導(dǎo)出請求排在上一個(gè)用戶后面;



          4

          總結(jié)


          其余的還未實(shí)現(xiàn),導(dǎo)出文件的表的設(shè)計(jì)、oss文件上傳、用戶導(dǎo)出文件下載,還有高并發(fā)的場景下會不會出現(xiàn)什么問題,這些都還沒有太考慮進(jìn)去;實(shí)現(xiàn)的方式應(yīng)該挺多的,Redis的隊(duì)列應(yīng)該也是可以的,這里僅僅提供一個(gè)實(shí)現(xiàn)思路。
          來源:juejin.cn/post/7259249904777838629

          —  —
          如喜歡本文,請點(diǎn)擊右上角,把文章分享到朋友圈

          1、2T架構(gòu)師學(xué)習(xí)資料干貨分享

          2、10000+TB 資源,阿里云盤,牛逼!!

          3、基本涵蓋了Spring所有核心知識點(diǎn)總結(jié)

            · END ·

          最后,關(guān)注公眾號互聯(lián)網(wǎng)架構(gòu)師,在后臺回復(fù):2T,可以獲取我整理的 Java 系列面試題和答案,非常齊全

          如果這篇文章對您有所幫助,或者有所啟發(fā)的話,幫忙掃描上方二維碼關(guān)注一下,您的支持是我堅(jiān)持寫作最大的動力。

          求一鍵三連點(diǎn)贊、轉(zhuǎn)發(fā)、在看

          瀏覽 70
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評論
          圖片
          表情
          推薦
          點(diǎn)贊
          評論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  亚洲三级在线视频 | 欧美日韩中文视频 | 豆花视频免费在线 | 国内精品国产三级国产在线专 | 精品日韩电影 |