你的代碼凌晨?jī)牲c(diǎn)你在干什么

前兩天跟朋友討論技術(shù)，他說(shuō)他們的服務(wù)器從凌晨零點(diǎn)開始，就開始跑各種各樣的定時(shí)任務(wù)，基本上能跑到早晨5、6點(diǎn)鐘。因?yàn)樗麄兊臉I(yè)務(wù)屬于訪問(wèn)量不大，但是數(shù)據(jù)量非常大，而且每天的數(shù)據(jù)要根據(jù)一些規(guī)則重新計(jì)算，所以就每天這么跑著。一到夜里，服務(wù)器負(fù)載比白天還高。

如果服務(wù)器上有燈光根據(jù)負(fù)載高低進(jìn)行閃爍，那到了夜里，一定會(huì)看到他們的服務(wù)器唰唰的閃著金光。

說(shuō)到這兒，我想到了之前的一件事兒。

有一天上午到公司不久，運(yùn)維的同事悠悠的走過(guò)來(lái)，苦笑著說(shuō)：“你們的代碼凌晨?jī)牲c(diǎn)在干什么，服務(wù)器都差點(diǎn)搞掛了”。

原來(lái)是因?yàn)橐粋€(gè)定時(shí)任務(wù)（也是計(jì)算型的任務(wù)）開的線程太多了，之前由于計(jì)算量比較少，很快就結(jié)束了。那天由于業(yè)務(wù)調(diào)整，數(shù)據(jù)量一下子大了很多，線程又開的過(guò)多了，導(dǎo)致長(zhǎng)時(shí)間負(fù)載過(guò)高，直接就給運(yùn)維發(fā)了預(yù)警通知了。應(yīng)用服務(wù)器還好，數(shù)據(jù)庫(kù)服務(wù)器差點(diǎn)沒頂住。

由于這些數(shù)據(jù)計(jì)算的時(shí)間長(zhǎng)一點(diǎn)、短一點(diǎn)都沒關(guān)系，所以后來(lái)把線程數(shù)減少了一些。

代碼在凌晨到底在干什么

有一些場(chǎng)景是可以把定時(shí)任務(wù)放到凌晨來(lái)執(zhí)行的。

夜里有一個(gè)特點(diǎn)，大多數(shù)的應(yīng)用在夜里的流量都會(huì)比較低，也就是服務(wù)器的資源比較空閑，這個(gè)時(shí)候，正好可以將資源利用起來(lái)，執(zhí)行一些邏輯。

而執(zhí)行的這些邏輯有一個(gè)核心特點(diǎn)，那就是可以放到晚上執(zhí)行，實(shí)時(shí)性要求不是很高的業(yè)務(wù)可以。

報(bào)表類統(tǒng)計(jì)

這個(gè)功能很常見了，不管是電商應(yīng)用、社交應(yīng)用等等，凡事有用戶用的系統(tǒng)，將來(lái)一定會(huì)涉及到報(bào)表的場(chǎng)景。報(bào)表一般都包括對(duì)數(shù)據(jù)的總覽，要出一張報(bào)表，可能會(huì)涉及到多張表，甚至多個(gè)數(shù)據(jù)庫(kù)，關(guān)聯(lián)的數(shù)據(jù)更是百萬(wàn)、千萬(wàn)，甚至上億條。

那這樣一來(lái)呢，如果是放在后臺(tái)，用戶到界面上進(jìn)行實(shí)時(shí)生成的話，不僅老板不滿意，測(cè)試同事還會(huì)給你提bug，說(shuō)你的接口太慢了。

對(duì)于報(bào)表來(lái)說(shuō)，看前一天的數(shù)據(jù)就足夠了，沒必要看到今天的數(shù)據(jù)， 所以放在夜里跑任務(wù)完全沒問(wèn)題，這時(shí)候你一條 SQL 執(zhí)行1分鐘、2分鐘也沒關(guān)系，只要不是太離譜就可以了。

數(shù)據(jù)清洗和計(jì)算

就像我那個(gè)朋友公司一樣，他們的業(yè)務(wù)會(huì)涉及到大量的數(shù)據(jù)處理的工作，包括前期的數(shù)據(jù)處理，以及每天的重新計(jì)算，而且數(shù)據(jù)量很大。

這些清洗和計(jì)算也沒有那么高的實(shí)時(shí)性，只要在當(dāng)天跑完就可以了。但是如果你放到白天運(yùn)行，就會(huì)影響到線上業(yè)務(wù)。要不然就得多弄幾臺(tái)單獨(dú)的服務(wù)器跑，這樣成本就上來(lái)了。

所以這樣的場(chǎng)景，也可以放到夜里跑。

數(shù)據(jù)備份和同步

數(shù)據(jù)庫(kù)備份、文件備份以及數(shù)據(jù)同步等任務(wù)可以在凌晨執(zhí)行，這就很常識(shí)了。

補(bǔ)償任務(wù)

有些業(yè)務(wù)，可能在正常運(yùn)行的時(shí)候發(fā)生了異常，當(dāng)然不能是主業(yè)務(wù)。一些旁路任務(wù)發(fā)生了異常，這時(shí)候，系統(tǒng)一般會(huì)寫一條日志，記錄異常發(fā)生的上下文，越詳細(xì)越好，用于事后分析以及補(bǔ)償操作。

等到夜里的時(shí)候，檢查這種異常業(yè)務(wù)，根據(jù)異常發(fā)生時(shí)記錄的上下文信息，進(jìn)行二次處理。當(dāng)然不能是發(fā)短信、發(fā)通知這種功能了，如果夜里給用戶發(fā)短信，免不了要被投訴。

總結(jié)

幾乎每一個(gè)系統(tǒng)都會(huì)有夜里執(zhí)行的任務(wù)，這些任務(wù)的特點(diǎn)：

1. 可以異步處理，不要求高的實(shí)時(shí)性，比如報(bào)表業(yè)務(wù)；
2. 比較耗資源，比如大量計(jì)算、大容量的文件處理等；
3. 要執(zhí)行任務(wù)的服務(wù)器在夜里不能有太多正常線上業(yè)務(wù)，保證正常業(yè)務(wù)不被影響；

你們的代碼在凌晨?jī)牲c(diǎn)在干什么呢？