HBase技術(shù)社區(qū)

在過去三年中，由于用戶和內(nèi)容的增長，Notion 的數(shù)據(jù)增長了 10 倍，以 6-12 個月的速度翻了一番。要管理這種快速增長，同時滿足關(guān)鍵產(chǎn)品和分析用例不斷增長的數(shù)據(jù)需求，尤其是我們最近的 Notion AI 功能，意味著構(gòu)建和擴展 Notion 的數(shù)據(jù)湖。以下來介紹我們是如何做到的。Notion

前言上篇文章提到 ：索引的邏輯主要是根據(jù) parquet 文件中保存的索引信息，判斷記錄是否存在，如果不存在，代表是新增數(shù)據(jù)，如果記錄存在則代表是更新數(shù)據(jù)，需要找到并設置 currentLocation。對于布隆索引來說，這里的索引信息其實是布隆過濾器，本篇文章主要是先總結(jié)布隆過濾器是如何保存到 p

前言接上篇文章和之前的總結(jié)的源碼文章，本文總結(jié)源碼 tag/tagLocation ，對應功能：根據(jù)索引信息判斷記錄是否存在，如果不存在，代表是新增數(shù)據(jù)，如果記錄存在則代表是更新數(shù)據(jù)，需要找到并設置 currentLocation。tagAbstractWriteHelper.tag &n

導讀 本文將分享數(shù)據(jù)湖的發(fā)展近況。主要內(nèi)容包括：1. 數(shù)據(jù)湖發(fā)展趨勢分析2. 數(shù)據(jù)湖整體架構(gòu)3. 數(shù)據(jù)集成4. Lakehouse 核心能力5. Lakehouse 開放性設計6. 流批一體7. 實時 OLAP8.&nb

Lakehouse作為一種創(chuàng)新的開放架構(gòu)，巧妙融合了數(shù)據(jù)湖與數(shù)據(jù)倉庫的精華特質(zhì)。通過整合數(shù)據(jù)湖的非結(jié)構(gòu)化數(shù)據(jù)存儲能力和數(shù)據(jù)倉庫的數(shù)據(jù)處理和管理功能，實現(xiàn)了數(shù)據(jù)湖和數(shù)據(jù)倉庫的無縫連接，使得數(shù)據(jù)和計算在湖和倉之間自由流動，從而更好地發(fā)揮出數(shù)據(jù)湖的靈活性和數(shù)據(jù)倉庫的成長性。    &n

每天約有 800 萬獨立訪問者訪問 Leboncoin，到 2022 年，該網(wǎng)站每月有超過 1000 億次 HTTP 調(diào)用并且啟動和運行 700 個應用程序，使其成為訪問量最大的法國網(wǎng)站之一。 數(shù)據(jù)平臺團隊負責構(gòu)建和維護平臺基礎設施以及開...

這篇博文包括 Onehouse 首席執(zhí)行官 Vinoth Chandar 于 2022 年 3 月在奧斯汀數(shù)據(jù)委員會發(fā)表的重要演講的后半部分。本文是第 2 部分，比較了架構(gòu)的功能和性價比特征。最后，它描述了一個面向未來的、湖倉一體的架構(gòu)。...

摘要： 本文整理自字節(jié)跳動基礎架構(gòu)工程師李國君，在 Streaming Lakehouse Meet

導讀 ? 本文將介紹貨拉拉大數(shù)據(jù)在Doris穩(wěn)定性保障方面的實踐。 今天的介紹會圍繞下面五點展開：

摘要： 本文整理自?Shopee 研發(fā)專家李明昆，在 Flink Forward Asia 2022

如今，伴隨著數(shù)字化轉(zhuǎn)型腳步的加快，企業(yè)需要具備更加先進的數(shù)據(jù)處理能力才能滿足業(yè)務需求，而云原生大數(shù)據(jù)作為大數(shù)據(jù)平臺新一代架構(gòu)和運行形態(tài)，正逐漸成為企業(yè)數(shù)字化轉(zhuǎn)型的必備工具。那么，究竟什么是云原生大數(shù)據(jù)...