騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

時(shí)間：2021-10-15 16:12:51

關(guān)鍵字：數(shù)據(jù)庫(kù) 騰訊

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]整理|田瑋靖出品|CSDN（ID：CSDNnews）當(dāng)前，新一輪科技革命使得數(shù)據(jù)規(guī)模爆炸性增長(zhǎng)、數(shù)據(jù)類型愈發(fā)豐富、數(shù)據(jù)應(yīng)用快速深化，同時(shí)，云數(shù)據(jù)庫(kù)、HTAP數(shù)據(jù)庫(kù)、AI向量數(shù)據(jù)庫(kù)等物種的出現(xiàn)，為數(shù)據(jù)庫(kù)領(lǐng)域帶來了新的技術(shù)難題和業(yè)務(wù)痛點(diǎn)。如：分布式中的一致性，那么多數(shù)據(jù)一致性模型，到...

整理 | 田瑋靖出品 | CSDN（ID：CSDNnews）當(dāng)前，新一輪科技革命使得數(shù)據(jù)規(guī)模爆炸性增長(zhǎng)、數(shù)據(jù)類型愈發(fā)豐富、數(shù)據(jù)應(yīng)用快速深化，同時(shí)，云數(shù)據(jù)庫(kù)、HTAP數(shù)據(jù)庫(kù)、AI向量數(shù)據(jù)庫(kù)等物種的出現(xiàn)，為數(shù)據(jù)庫(kù)領(lǐng)域帶來了新的技術(shù)難題和業(yè)務(wù)痛點(diǎn)。如：分布式中的一致性，那么多數(shù)據(jù)一致性模型，到底有什么不一樣？如何保障數(shù)據(jù)安全與業(yè)務(wù)穩(wěn)定發(fā)展？云數(shù)據(jù)庫(kù)有哪些關(guān)鍵技術(shù)，怎么實(shí)現(xiàn)？“多云共存”，怎么進(jìn)行數(shù)據(jù)庫(kù)管控？以上問題有你正在關(guān)注、疑惑的地方嗎？不妨看看國(guó)內(nèi)大廠都是如何解決諸多難題的吧。10月23-24日，第二屆“長(zhǎng)沙·中國(guó)1024程序員節(jié)”（1024.csdn.net）重磅來襲，除16大數(shù)據(jù)庫(kù)掌門人齊聚之外，組委會(huì)更特別推出“數(shù)據(jù)庫(kù)技術(shù)實(shí)踐與未來展望”主題論壇，邀請(qǐng)分布式數(shù)據(jù)庫(kù)、云原生數(shù)據(jù)庫(kù)、開源數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)等領(lǐng)域的技術(shù)專家，圍繞開發(fā)者廣泛關(guān)注的數(shù)據(jù)庫(kù)技術(shù)，結(jié)合大廠優(yōu)秀實(shí)踐，為你詳細(xì)解讀數(shù)據(jù)庫(kù)技術(shù)痛點(diǎn)解決方案、前沿技術(shù)實(shí)現(xiàn)、技術(shù)應(yīng)用趨勢(shì)，希望你在處理好業(yè)務(wù)的同時(shí)，能夠及時(shí)抓住發(fā)展機(jī)遇。騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

接下來，我們一起來看來自騰訊TDSQL、阿里巴巴PolarDB、PostgreSQL、螞蟻集團(tuán)OceanBase、字節(jié)跳動(dòng)、人大金倉(cāng)、云和恩墨的大咖們都將帶來哪些精彩的分享。

分布式數(shù)據(jù)庫(kù)中的一致性創(chuàng)新技術(shù)

我們經(jīng)常談?wù)撘恢滦?，但很多人又不明確一致性的含義。其實(shí)，在不同場(chǎng)景下，有著不同的一致性，騰訊數(shù)據(jù)庫(kù)首席架構(gòu)師李海翔就分布式數(shù)據(jù)庫(kù)范圍內(nèi)的各種一致性做深度剖析，并對(duì)它們之間的關(guān)系做深度探索，最后還提出業(yè)界最新的一致性技術(shù)，并就多種主流數(shù)據(jù)庫(kù)在一致性層面的差異做深度分析和解讀。騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

李海翔，騰訊數(shù)據(jù)庫(kù)首席架構(gòu)師、CCF數(shù)據(jù)庫(kù)專委會(huì)委員，著有《數(shù)據(jù)庫(kù)查詢優(yōu)化器的藝術(shù)》《數(shù)據(jù)庫(kù)事務(wù)處理的藝術(shù)》《分布式數(shù)據(jù)庫(kù)原理、架構(gòu)和實(shí)踐》等。
演講大綱：1. 一致性技術(shù)的問題和挑戰(zhàn)

1.1 為什么要做到一致性？
1.2 什么是一致性？

2. 有哪些一致性技術(shù)？

2.1 架構(gòu)層面的一致性
2.2 數(shù)據(jù)層面的一致性
2.3 事務(wù)處理的一致性
2.4 分布式一致性

3. 如何實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)的強(qiáng)一致性技術(shù)？

3.1 在分布式數(shù)據(jù)庫(kù)中，如何實(shí)現(xiàn)強(qiáng)一致性？
3.2 主流數(shù)據(jù)庫(kù)強(qiáng)一致性的優(yōu)劣對(duì)比

云原生數(shù)據(jù)庫(kù)、Serverless數(shù)據(jù)庫(kù)與分布式數(shù)據(jù)庫(kù)領(lǐng)域的發(fā)展和統(tǒng)一

近年來，隨著高速總線技術(shù)與網(wǎng)絡(luò)設(shè)備的進(jìn)一步演進(jìn)，分離式數(shù)據(jù)中心（Disaggregated Data Center）極有可能發(fā)展為未來云機(jī)房的標(biāo)準(zhǔn)，因此，阿里巴巴設(shè)計(jì)了下一代的云數(shù)據(jù)庫(kù)架構(gòu)，以內(nèi)存池化、多租戶、熱遷移、混合邏輯時(shí)鐘等技術(shù)為基礎(chǔ)，融合了云原生數(shù)據(jù)庫(kù)、Serverless數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)等多個(gè)領(lǐng)域的數(shù)據(jù)庫(kù)技術(shù)，向用戶提供更加簡(jiǎn)單透明的擴(kuò)展體驗(yàn)。來自阿里巴巴的研究員、PolarDB創(chuàng)始人曹偉（鳴嵩）將介紹云原生數(shù)據(jù)庫(kù)、Serverless數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)，以及下一代云數(shù)據(jù)庫(kù)架構(gòu)的技術(shù)實(shí)現(xiàn)。騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

曹偉（鳴嵩），阿里巴巴研究員，設(shè)計(jì)和主導(dǎo)研發(fā)了中國(guó)首個(gè)自主可控的云原生數(shù)據(jù)庫(kù)PolarDB。演講大綱：1. 云原生數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)

1.1 技術(shù)與存儲(chǔ)分離
1.2 RDMA、NVM等高速硬件
1.3 共識(shí)算法
1.4 日志下推
1.5 計(jì)算下推

2. Serverless數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)

2.1 Auto Scale、Auto Pause
2.2 Scaling Transparency
2.3 Self-Driving

3. 分布式數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)

3.1 分布式事務(wù)
3.2 分布式查詢
3.3 HTAP與湖倉(cāng)一體

4. 下一代云數(shù)據(jù)庫(kù)架構(gòu)展望

4.1 分離式數(shù)據(jù)中心與內(nèi)存池化
4.2 多租戶與熱遷移技術(shù)
4.3 Scale-Out on top of Scale-Up

基于PostgreSQL的技術(shù)生態(tài)發(fā)展歷程和演進(jìn)趨勢(shì)

PostgreSQL是一專多長(zhǎng)的全棧式數(shù)據(jù)庫(kù)，其憑借豐富的特性，穩(wěn)定的表現(xiàn)，友善的協(xié)議，開放的生態(tài)，在廣大數(shù)據(jù)庫(kù)用戶中倍受贊譽(yù)，三次摘得DB-Engines年度數(shù)據(jù)庫(kù)桂冠！PostgreSQL中國(guó)區(qū)主席將為你介紹PostgreSQL擴(kuò)展相關(guān)的生態(tài)，展現(xiàn)PostgreSQL內(nèi)核之外的世界，為廣大PG數(shù)據(jù)庫(kù)的使用者，提供更多更優(yōu)的解題思路，還會(huì)介紹一些基于PostgreSQL的分支、分叉、分布式、時(shí)序、流式數(shù)據(jù)庫(kù)的解決方案。

張文升，PostgreSQL中國(guó)社區(qū)主席，探探數(shù)據(jù)庫(kù)負(fù)責(zé)人，《PostgreSQL實(shí)戰(zhàn)》《PostgreSQL指南：內(nèi)幕探索》等書籍譯者。演講大綱：1. 運(yùn)行在PostgreSQL上的擴(kuò)展生態(tài)

1.1 行業(yè)事實(shí)標(biāo)準(zhǔn)PostGIS
1.2 流式數(shù)據(jù)處理 Extension Pipelinedb
1.3 時(shí)序數(shù)據(jù)Extension Timescaledb
1.4 基于Extension機(jī)制的分布式解決方案 Citus

2. 基于PostgreSQL的創(chuàng)新歷程和實(shí)踐

2.1 早期的分布式實(shí)現(xiàn)PG-XC，PG-XL
2.2 PostgreSQL在國(guó)內(nèi)的創(chuàng)新分叉 openGauess
2.3 分布式解決方案創(chuàng)新產(chǎn)品 PalarDB-PG，TDSQL-PG，antDB
2.4 時(shí)序數(shù)據(jù)庫(kù)新秀MatrixDB
2.5 PostgreSQL之于信創(chuàng)

3. PostgreSQL關(guān)鍵技術(shù)的演進(jìn)趨勢(shì)

3.1 可插拔存儲(chǔ)引擎（TAM）對(duì)PostgreSQL生態(tài)演進(jìn)方向的影響
3.2 人工智能和云基礎(chǔ)設(shè)施和新興硬件構(gòu)建新時(shí)代的數(shù)據(jù)庫(kù)應(yīng)用形態(tài)
3.3 數(shù)據(jù)庫(kù)服務(wù)和支撐體系的變革

數(shù)字化轉(zhuǎn)型中面臨的關(guān)鍵挑戰(zhàn)和嘗試

企業(yè)在數(shù)字化轉(zhuǎn)型中，對(duì)數(shù)據(jù)管理的主要訴求及面臨的挑戰(zhàn)是連續(xù)性和先進(jìn)性，企業(yè)需要在這個(gè)戰(zhàn)略性變革中平滑過渡，還需要能夠長(zhǎng)期演進(jìn)的數(shù)據(jù)庫(kù)產(chǎn)品、技術(shù)和解決方案。來自O(shè)ceanBase的產(chǎn)品部負(fù)責(zé)人王南將為你介紹他們的解決方案和建議。

王南，OceanBase產(chǎn)品部負(fù)責(zé)人，原華為openGauss數(shù)據(jù)庫(kù)總經(jīng)理，曾負(fù)責(zé)GaussDB、openGauss和GMDB等業(yè)務(wù)。演講大綱：1. 數(shù)字化過程中面臨的新挑戰(zhàn)2. 怎么解決這些挑戰(zhàn)和問題

2.1 集中式到分布式的業(yè)務(wù)改造
2.2 數(shù)據(jù)的平滑遷移
2.3 容災(zāi)技術(shù)和方案
2.4 HTAP能力
2.5 混合基礎(chǔ)設(shè)施部署
2.6 成本和風(fēng)險(xiǎn)控制

3. 下一步還需要做什么

3.1 新場(chǎng)景、新硬件和新技術(shù)的挑戰(zhàn)
3.2 OceanBase的嘗試

字節(jié)跳動(dòng)圖數(shù)據(jù)庫(kù)和圖計(jì)算實(shí)踐

隨著移動(dòng)互聯(lián)網(wǎng)的深入發(fā)展，數(shù)據(jù)實(shí)體之間的關(guān)聯(lián)性越發(fā)凸顯，Graph在解決關(guān)聯(lián)性問題時(shí)有種種優(yōu)勢(shì)，也成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)。Gartner預(yù)測(cè)，到2025年圖技術(shù)在數(shù)據(jù)和分析創(chuàng)新中的占比將從2021年的10%上升到80%。該技術(shù)將促進(jìn)整個(gè)企業(yè)機(jī)構(gòu)的快速?zèng)Q策。

在字節(jié)跳動(dòng)多條產(chǎn)品線上，擁有大量圖狀關(guān)系數(shù)據(jù)，如何存儲(chǔ)、查詢、分析乃至挖掘這些圖狀數(shù)據(jù)不僅關(guān)系到核心數(shù)據(jù)資產(chǎn)的安全，也影響到是否能夠充分挖掘數(shù)據(jù)價(jià)值賦能業(yè)務(wù)。因此，圖數(shù)據(jù)的存儲(chǔ)和計(jì)算，是字節(jié)跳動(dòng)架構(gòu)工程團(tuán)隊(duì)的核心方向之一。字節(jié)跳動(dòng)圖數(shù)據(jù)庫(kù)與圖計(jì)算平臺(tái)負(fù)責(zé)人張帥將以字節(jié)跳動(dòng)的業(yè)務(wù)場(chǎng)景為例，分享圖數(shù)據(jù)庫(kù)和圖計(jì)算技術(shù)如何解決具體數(shù)據(jù)處理問題。

張帥，字節(jié)跳動(dòng)圖數(shù)據(jù)庫(kù)與圖計(jì)算平臺(tái)負(fù)責(zé)人，中科院計(jì)算所碩士畢業(yè)，專注基礎(chǔ)架構(gòu)領(lǐng)域。演講大綱：1. 圖形數(shù)據(jù)無處不在

1.1 字節(jié)跳動(dòng)的圖數(shù)據(jù)場(chǎng)景舉例
1.2 如何用圖來對(duì)數(shù)據(jù)建模

2. 圖數(shù)據(jù)庫(kù)系統(tǒng)

2.1 現(xiàn)有圖數(shù)據(jù)庫(kù)架構(gòu)比較
2.2 字節(jié)跳動(dòng)實(shí)踐架構(gòu)演進(jìn)
2.3 字節(jié)圖數(shù)據(jù)庫(kù)的未來演進(jìn)

3. 圖計(jì)算系統(tǒng)

3.1 圖計(jì)算系統(tǒng)有哪些典型場(chǎng)景
3.2 圖計(jì)算系統(tǒng)和圖數(shù)據(jù)庫(kù)系統(tǒng)對(duì)比
3.3 字節(jié)圖數(shù)據(jù)庫(kù)系統(tǒng)實(shí)踐

4. 一站式圖平臺(tái)

4.1 多種技術(shù)如何抽象為業(yè)務(wù)場(chǎng)景
4.2 平臺(tái)功能介紹

5. 總結(jié)
騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

如何在“多云共存”環(huán)境中，進(jìn)行數(shù)據(jù)庫(kù)管控

如今，信息化已經(jīng)進(jìn)入了云計(jì)算、大數(shù)據(jù)快速發(fā)展的時(shí)代，越來越多的業(yè)務(wù)在云端開展，迫切需要將數(shù)據(jù)庫(kù)服務(wù)管控能力與云計(jì)算平臺(tái)進(jìn)行深度融合，提供可按需申請(qǐng)、開箱即用、穩(wěn)定可靠、可彈性擴(kuò)展的云端數(shù)據(jù)庫(kù)服務(wù)。同時(shí)，在云時(shí)代，“多云共存”成為新一代IT基礎(chǔ)設(shè)施的存在形態(tài)，但不同的云平臺(tái)其技術(shù)標(biāo)準(zhǔn)不一、實(shí)現(xiàn)方式各異，使得統(tǒng)一申請(qǐng)、使用、管理數(shù)據(jù)庫(kù)變成了一件難事。在此背景下，人大金倉(cāng)提出了新的解決思路，其工具產(chǎn)品研發(fā)中心總監(jiān)將在演講中為你揭曉。? 騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

黃新著，北京人大金倉(cāng)信息技術(shù)股份有限公司工具產(chǎn)品研發(fā)中心總監(jiān)，擁有20年IT行業(yè)從業(yè)經(jīng)驗(yàn)，具備豐富的軟件產(chǎn)品、軟件架構(gòu)設(shè)計(jì)和研發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn)。演講大綱：1. 云數(shù)據(jù)庫(kù)時(shí)代的RDS2. 金倉(cāng)云數(shù)據(jù)庫(kù)服務(wù)（KRDS）管控新思路

2.1 立于多云環(huán)境之上的KRDS
2.2 平臺(tái)化與服務(wù)化的KRDS體系架構(gòu)
2.3 金倉(cāng)云數(shù)據(jù)庫(kù)全生命周期管理及關(guān)鍵技術(shù)
2.3.1 基于智能翻譯技術(shù)實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫(kù)遷移轉(zhuǎn)換和改寫
2.3.2 無侵入的探針技術(shù)
2.3.3 海量數(shù)據(jù)遷移加速技術(shù)
2.3.4 數(shù)據(jù)庫(kù)性能診斷、分析與調(diào)優(yōu)

3. 如何實(shí)現(xiàn)跨越多云的RDS實(shí)例管控

3.1 KRDS云適配器設(shè)計(jì)思路
3.2 KRDS實(shí)例管控

內(nèi)存表MOT存儲(chǔ)引擎的創(chuàng)新與實(shí)現(xiàn)

MOT（memory-optimized tables，內(nèi)存優(yōu)化表）是以內(nèi)存為中心的行存儲(chǔ)引擎，提供事務(wù)ACID保證，針對(duì)眾核和大內(nèi)存優(yōu)化，可以提供非常高的交易型工作負(fù)載性能。云和恩墨MogDB數(shù)據(jù)庫(kù)CTO張程偉，就MOT中涉及的關(guān)鍵技術(shù)進(jìn)行介紹，并對(duì)其未來的演進(jìn)方向進(jìn)行探索。騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

張程偉，云和恩墨MogDB數(shù)據(jù)庫(kù)CTO，曾任華為云數(shù)據(jù)庫(kù)創(chuàng)新LAB首席架構(gòu)師，擁有個(gè)人專利23項(xiàng)。演講大綱：1. 數(shù)據(jù)庫(kù)的性能挑戰(zhàn)

1.1 數(shù)據(jù)庫(kù)的性能分布
1.2 數(shù)據(jù)庫(kù)的性能優(yōu)化方向

2. 以內(nèi)存為中心的數(shù)據(jù)庫(kù)設(shè)計(jì)

2.1 MOT總體方案
2.2 無鎖高并發(fā)的索引設(shè)計(jì)
2.3 樂觀的事務(wù)并發(fā)控制協(xié)議
2.4 高效Checkpoint機(jī)制
2.5 內(nèi)存管理機(jī)制
2.6 兼容性設(shè)計(jì)

3. 未來演進(jìn)方向
騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

如何使用全面向量化技術(shù)，打造極速統(tǒng)一的數(shù)據(jù)分析架構(gòu)

數(shù)據(jù)驅(qū)動(dòng)正在深刻地改變整個(gè)世界，我們的業(yè)務(wù)數(shù)據(jù)、數(shù)據(jù)報(bào)表、數(shù)據(jù)指標(biāo)越來越多，但我們分析數(shù)據(jù)的速度卻越來越慢，報(bào)表構(gòu)建的復(fù)雜度也越來越高。如何有效地分析這些海量數(shù)據(jù)，真正利用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價(jià)值？本次分享主要介紹如何使用全面向量化技術(shù)，打造極速統(tǒng)一數(shù)據(jù)分析架構(gòu)，高效支持海量數(shù)據(jù)的多維分析、實(shí)時(shí)分析、高并發(fā)分析等多種數(shù)據(jù)分析場(chǎng)景。騰訊、阿里、字節(jié)竟然是這么做數(shù)據(jù)庫(kù)的？！

趙純，StarRocksCTO。曾在百度作為技術(shù)負(fù)責(zé)人帶領(lǐng)團(tuán)隊(duì)從零到一成功研發(fā)分布式事務(wù)數(shù)據(jù)庫(kù)TafDB。作為Apache Doris初創(chuàng)成員之一，參與該項(xiàng)目的打造并主導(dǎo)了Doris數(shù)次架構(gòu)迭代及開源、社區(qū)構(gòu)建、推廣等工作。演講大綱：1. 數(shù)據(jù)分析現(xiàn)狀和挑戰(zhàn)2. 極速統(tǒng)一架構(gòu)：何謂極速

2.1 單表、多表極速分析
2.2 向量化執(zhí)行引擎
2.3 CBO優(yōu)化器
2.4 物化視圖

3. 極速統(tǒng)一架構(gòu)：何謂統(tǒng)一

3.1 實(shí)時(shí)，面向更新的存儲(chǔ)引擎
3.2 聯(lián)邦查詢

4. 應(yīng)用案例：貝殼找房的統(tǒng)一OLAP平臺(tái)俗話說，再厲害的工程師，也需要站在前人的肩膀上造輪子，才能創(chuàng)造更大的價(jià)值。10月24日，關(guān)于大廠如何做數(shù)據(jù)庫(kù)，解決技術(shù)難題、業(yè)務(wù)痛點(diǎn)，這里有你想要的答案！除“數(shù)據(jù)庫(kù)技術(shù)實(shí)踐與未來展望”論壇外，還有先進(jìn)計(jì)算與人工智能技術(shù)、工業(yè)互聯(lián)網(wǎng)