亚洲AV影视网,国产艹逼网站,狠狠干免费的成人视频,久久电影国产,99视频亚洲,婷婷丁香五月久久,中文字幕超碰在线播放,操比免费视频

5月11日，第七次全國人口普查結(jié)果公布。

國家統(tǒng)計局總統(tǒng)計師曾玉平在發(fā)布會直播中表示：“普查數(shù)據(jù)質(zhì)量是普查統(tǒng)計工作的生命線……利用信息化，對普查方式進行創(chuàng)新：首次全面采用電子化，實時及時上報數(shù)據(jù)；首次實現(xiàn)普查對象通過互聯(lián)網(wǎng)自主填報；首次利用行政大數(shù)據(jù)進行比對核查；首次實現(xiàn)利用互聯(lián)網(wǎng)云計算云服務(wù)實時處理工作；首次用信息化系統(tǒng)對700多萬普查員進行線上管理?！?/strong>

騰訊云在背后為第七次全國人口普查保駕護航。據(jù)統(tǒng)計，在該項目中，騰訊云數(shù)據(jù)庫支持了十億級用戶數(shù)據(jù)、七百萬個終端和百萬級峰值TPS（每秒事務(wù)處理量）。

一、高并發(fā)、高復(fù)雜度實時統(tǒng)計和分析查詢的要求

在這個普查過程中，700萬普查員使用微信小程序進行數(shù)據(jù)采集，約一億人使用微信自主填報小程序進行信息錄入，海量數(shù)據(jù)全部實時入庫；與此同時，為了便于假如數(shù)據(jù)采集出現(xiàn)問題能夠在第二天及時補充采集、修正，系統(tǒng)同時需要快速完成對入庫數(shù)據(jù)的實時查詢分析。

“大量的數(shù)據(jù)要收集上來，同時數(shù)據(jù)的更新和數(shù)據(jù)的查詢是互相交錯的，不僅要應(yīng)對動態(tài)的人口流動，比如一個人今天在深圳而明天在北京，同時要準確對應(yīng)起人和戶、人和人之間的關(guān)系?！睋?jù)介紹，使用電子化方式開展全國人口普查工作，涉及范圍廣、統(tǒng)計維度多、技術(shù)難度大。

團隊專家決定再在小程序和TDSQL之間加上騰訊云Redis，將其作為緩存承接所有終端涌入的數(shù)據(jù)，然后把數(shù)據(jù)落入TDSQL中。有了這么一道緩存墻，業(yè)務(wù)運行中既能從容應(yīng)對暴漲的流量，也能防止小程序突然崩潰，給這次普查上了一道“雙保險”。

這背后也意味著，對背后的數(shù)據(jù)庫技術(shù)在并發(fā)性、可靠性、一致性、擴展性、穩(wěn)定性，以及復(fù)雜查詢分析能力提出極高的要求。如何在十幾億中國人的數(shù)據(jù)在15天內(nèi)涌入時保證用戶體驗和服務(wù)可持續(xù)性？如何縮短登記時間同時保證數(shù)據(jù)安全？如何在動態(tài)人口流動中準確登記、高效完成多個超大表關(guān)聯(lián)實時分析？……

二、騰訊云數(shù)據(jù)庫TDSQL解決之道

1. 為億級數(shù)據(jù)裝上“雙引擎”

700多萬B端混合負載業(yè)務(wù)、十幾億C端OLTP業(yè)務(wù)、海量的數(shù)據(jù)分析任務(wù)……本次全國人口普查項目，騰訊云數(shù)據(jù)庫提供了既具有擅長OLTP場景能力，同時擅長聯(lián)機分析處理OLAP場景能力引擎的企業(yè)級分布式數(shù)據(jù)庫TDSQL，通過“雙引擎”設(shè)計支撐人口普查工作完成。

前者專門用來做前端生產(chǎn)系統(tǒng)的事務(wù)處理，其最大的優(yōu)點是即時地處理輸入的數(shù)據(jù)，并及時響應(yīng)，實時保持系統(tǒng)數(shù)據(jù)處于最新狀態(tài)；后者負責(zé)后期數(shù)據(jù)聯(lián)機查詢分析處理，支持復(fù)雜的分析操作。

雙引擎技術(shù)能力的融合，完整、平穩(wěn)、高效地支撐了全國人口普查數(shù)據(jù)登記及統(tǒng)計分析整個體系化工作。

其中，TP集群提供了支撐大并發(fā)的性能，包括線程池、無鎖優(yōu)化等等，支撐3萬+的數(shù)據(jù)庫連接；強同步技術(shù)在跨可用區(qū)的情況下，滿足高吞吐量、主備數(shù)據(jù)一致性和高可用的能力；彈性的容量伸縮，可根據(jù)實際運營情況進行容量水平擴展。此外，智能運營系統(tǒng)“扁鵲”，則可針對性能較低的SQL給出優(yōu)化建議，同時自動評估業(yè)務(wù)的事務(wù)模型，降低鎖沖突，提升并發(fā)能力。

測試中，TDSQL數(shù)據(jù)庫應(yīng)對高并發(fā)場景時可以實現(xiàn)最高250萬每秒的吞吐量，這樣的吞吐規(guī)模已經(jīng)可以滿足目前中國人口2倍的數(shù)量。借此實力，實際統(tǒng)計中TDSQL數(shù)據(jù)庫自然扛住了普查過程中的并發(fā)高峰。

同時，業(yè)務(wù)具有大規(guī)模實時查詢分析的需求，普查員在前端不斷錄用的數(shù)據(jù)也將在TDSQL OLAP能力引擎中進行進一步的數(shù)據(jù)分析。在分析型功能特性方面，TDSQL OLAP集群通過對多表join查詢、復(fù)雜子查詢、聚合運算、DN數(shù)據(jù)高效重分布表現(xiàn)上進行了極大的優(yōu)化，大大地縮短了業(yè)務(wù)報表分析時間。據(jù)介紹，TDSQL支持目前市面上幾乎全部標準的OLAP復(fù)雜查詢計算模型，包括TPCDS等，各類復(fù)雜查詢業(yè)務(wù)需求。

同時，在此過程中，OLAP分析計算開銷大、延遲長，同時還要滿足海量的并發(fā)請求，TDSQL OLAP引擎通過水平擴展多個只讀平面，為復(fù)雜查詢分析場景提供線性讀擴展能力，并通過在多個平面前置負載均衡做到擴縮容業(yè)務(wù)完全無感知。

據(jù)了解，在這些龐大的數(shù)據(jù)中，不乏多張超級大表關(guān)聯(lián)高并發(fā)統(tǒng)計查詢，其每張表中存放了超過20億+條記錄。如果把其中存放一張超級表的空間用來存放平均50萬字的書籍，可以放下超過1000萬本，一個人終其一生也讀不完。

更重要的是，基于全局一致性技術(shù)，可實時保障多平面下內(nèi)部的全局讀一致性。

2. 保障系統(tǒng)可用可靠企業(yè)級安全特性加持護航

規(guī)模浩瀚的人口普查工作，系統(tǒng)業(yè)務(wù)架構(gòu)復(fù)雜、并發(fā)度高，在災(zāi)備設(shè)計、高可用能力保障上，整個數(shù)據(jù)庫采用了一主三從、強同步復(fù)制和異地災(zāi)備的備份方案，在某個數(shù)據(jù)節(jié)點出現(xiàn)故障時，都能保證數(shù)據(jù)的完整和一致；哪怕出現(xiàn)大規(guī)模的突發(fā)情況，通過異地災(zāi)備，也能夠進行數(shù)據(jù)恢復(fù)。

TDSQL 的安全性經(jīng)過了騰訊各類核心業(yè)務(wù)10余年大規(guī)模產(chǎn)品的驗證，包括社交、電商、支付、音視頻等不同類型的產(chǎn)品。在災(zāi)備方面，TDSQL提供完善的數(shù)據(jù)備份、容災(zāi)、一鍵升級、快速恢復(fù)，以及數(shù)據(jù)庫防火墻、透明加密等功能，同時建立起完善的監(jiān)控和報警體系，大部分故障都通過自動化程序處理恢復(fù)。在整個過程中，TDSQL從早期就磨煉下來的企業(yè)級安全特性能力，持續(xù)為人口普查工作保駕護航。

此外，為了讓整個普查過程能夠更加容易感知，騰訊云圖將普查收集到的海量數(shù)據(jù)進行處理，通過數(shù)字大屏和餅狀圖等工具實時清晰地展示人口報送情況，并對各省報送情況進行動畫效果展示，使得普查小組能夠更加直觀地了解整體情況和各地普查進度，根據(jù)大屏信息安排進一步的工作，提高工作效率。完成了數(shù)據(jù)“上傳——入庫——分析——展示”的最后一公里。

三、結(jié)語

全國人口普查的電子化推進，TDSQL“OLTP+OLAP”雙引擎設(shè)計架構(gòu)一起承接了峰值超過100萬TPS，另外OLAP集群還額外支撐峰值每分鐘1700萬次的統(tǒng)計查詢服務(wù)，助力第七次全國人口普查工作順利完成。同時，據(jù)新華網(wǎng)統(tǒng)計報道，與2010年全國第六次人口普查的紙表入戶登記方式相比，電子采集的方式將登記時間縮小到了20分鐘以內(nèi)，也很大程度上降低了后期數(shù)據(jù)錄入、處理的難度。

可以說，這標志著，社會生活的方方面面都已逐步邁入信息化智能化的云時代，我國自研的信息化技術(shù)可常態(tài)化滿足社會大規(guī)模信息化應(yīng)用需求，且能夠滿足政府金融等行業(yè)領(lǐng)域的數(shù)字需求，在任務(wù)量巨大的極端情況下安全可靠。

- End -

直播推薦

明天（5月13日） 19：00-20：00，騰訊云老司機分享《萌新云數(shù)據(jù)庫學(xué)習(xí)指南》，手把手帶你入門數(shù)據(jù)庫。還有免費培訓(xùn)課、Q幣、周邊大禮包等你來拿，掃碼即可參與~

↓↓更多驚喜優(yōu)惠請點這兒~

14億人的大項目，拿下！

14億人的大項目，拿下！