Apache SeaTunnel 分布式數據集成平臺

　　當前版本：2.1.0

　　1. 簡(jiǎn)介

　　隨著(zhù)互聯(lián)網(wǎng)流量爆發(fā)式增長(cháng)，越來(lái)越多的公司業(yè)務(wù)需要支撐海量數據存儲，對高并發(fā)、高可用、高可擴展性等特性提出了更高的要求，這促使各種類(lèi)型的數據庫快速發(fā)展，至今常見(jiàn)數據庫已經(jīng)達到 200 多個(gè)。與之相伴的便是，各種數據庫之間的同步與轉換需求激增，數據集成便成了大數據領(lǐng)域的一個(gè)亟需優(yōu)秀解決方案的方向。當前市面上沒(méi)有一個(gè)簡(jiǎn)單易用且支持每天數百億條海量數據同步的開(kāi)源軟件，于是 SeaTunnel 應運而生。

　　SeaTunnel 是一個(gè)非常好用的、超高性能的、分布式數據集成平臺，架構于 Apache Spark 和 Apache Flink 之上，實(shí)現海量數據的實(shí)時(shí)同步與轉換。每天可以穩定高效的同步數百億數據，目前已接近百家公司在生產(chǎn)上使用。

　　SeaTunnel 原名 Waterdrop，于 2017 年由樂(lè )視創(chuàng )建，并于同年在 GitHub 上開(kāi)源，2021 年 10 月改名為 SeaTunnel。2021 年 12 月，SeaTunnel 正式通過(guò)世界頂級開(kāi)源組織 Apache 軟件基金會(huì )的投票決議，以全票通過(guò)的優(yōu)秀表*敏*感*詞*會(huì )中第一個(gè)誕生自中國的數據集成平臺項目。

　　2. 目標

　　SeaTunnel 盡所能為您解決海量數據同步中可能遇到的問(wèn)題：

　　3. 使用場(chǎng)景

　　SeaTunnel 的使用場(chǎng)景廣闊，包括如下場(chǎng)景：

　　4. 特性

　　數據集成平臺要圍繞解決海量數據同步這一目標進(jìn)行，核心理念是保持海量數據能快速同步的同時(shí)還能保持數據的一致性，具體到 Apache SeaTunnel 來(lái)說(shuō)，Apache SeaTunnel 具有以下核心特性:

　　5. 架構與工作流程

　　Apache SeaTunnel 發(fā)展上有 2 個(gè)大版本，1.x 版本基于 Spark 構建，現在在打造的 2.x 既支持 Spark 又支持 Flink。在架構設計上，Apache SeaTunnel 參考了 Presto 的 SPI 化思想，有很好的插件化體系設計。

　　在技術(shù)選型時(shí)，Apache SeaTunnel 主要考慮技術(shù)成熟度和社區活躍性。Spark、Flink 都是非常優(yōu)秀并且流行的大數據計算框架，所以 1.x 版本選了 Spark，2.x 版本將架構設計的更具擴展性，用戶(hù)可以選擇 Spark 或 Flink 集群來(lái)做 Apache SeaTunnel 的計算層，當然架構擴展性的考慮也是為以后支持更多引擎準備，說(shuō)不定已經(jīng)有某個(gè)更先進(jìn)的計算引擎在路上，也說(shuō)不定 Apache SeaTunnel 社區自己會(huì )實(shí)現一個(gè)為數據同步量身打造的引擎。

　　如下圖是 Apache SeaTunnel 的整個(gè)工作流程，數據處理流水線(xiàn)由 Source、Sink 以及多個(gè) Transform 構成，以滿(mǎn)足多種數據處理需求:

　　Source[Data?Source?Input]?->?Transform[Data?Processing]?->?Sink[Result?Output]<br />

　　如果用戶(hù)習慣了 SQL，也可以直接使用 SQL 構建數據處理管道，更加簡(jiǎn)單高效。目前，SeaTunnel 支持的 Transform 列表也在擴展中。你也可以開(kāi)發(fā)自己的數據處理插件。

　　6. SeaTunnel 支持的插件

　　Source 插件：

　　Transform 插件：

　　Sink 插件:

　　7. 生產(chǎn)應用案例

　　參考：