你問(wèn)我DataX是誰(shuí)？對不起，我活在A(yíng)pache SeaTunnel的時(shí)代！

　　SeaTunnel正式通過(guò)世界頂級開(kāi)源組織Apache軟件基金會(huì )的投票決議，以全票通過(guò)的優(yōu)秀表現正式成為Apache孵化器項目！

　　圖來(lái)源于A(yíng)pache基金會(huì )郵件列表

　　根據Apache官方網(wǎng)站顯示：針對SeaTunnel進(jìn)入Apache的投票全部持贊同意見(jiàn)，無(wú)棄權票和反對票，投票順利通過(guò)。

　　Apache SeaTunnel是中國開(kāi)發(fā)者主導的項目，也是Apache基金會(huì )中第一個(gè)誕生自中國的數據集成平臺項目。

　　我個(gè)人在2018-2019年還專(zhuān)門(mén)做過(guò)離線(xiàn)異構數據交換的中間件，對海量數據交換中的一些痛點(diǎn)體會(huì )很深。

　　Seatunnel這樣的產(chǎn)品出現幾乎是大數據領(lǐng)域發(fā)展的必然結果。

　　簡(jiǎn)介

　　熟悉離線(xiàn)數據同步的同學(xué)應該對DataX不陌生。同樣，Seatunnel是一個(gè)非常易用，高性能、支持實(shí)時(shí)流式和離線(xiàn)批處理的海量數據處理產(chǎn)品，架構于A(yíng)pache Spark和Apache Flink之上。

　　SeaTunnel原名Waterdrop，于2017年由樂(lè )視創(chuàng )建，并于同年在GitHub 上開(kāi)源，2021年10月改名為SeaTunnel。

　　Seatunnel的中文是"水滴"，來(lái)自中國當代科幻小說(shuō)作家劉慈欣的《三體》系列，它是三體人制造的宇宙探測器，會(huì )反射幾乎全部的電磁波，表面絕對光滑，溫度處于絕對零度，全部由被強互作用力緊密鎖死的質(zhì)子與中子構成，無(wú)堅不摧。在末日之戰中，僅一個(gè)水滴就摧毀了人類(lèi)太空武裝力量近2千艘戰艦。

　　場(chǎng)景和能力

　　根據Seatunnel的官網(wǎng)顯示，Seatunnel適用于以下場(chǎng)景：

　　

　　目前支持的能力包括：

　　我大概看了一下Seatunnel的設計文檔和簡(jiǎn)介，是典型的插件式開(kāi)發(fā)，類(lèi)似DataX。

　　目前支持的插件如下：

　　File, Hdfs, Kafka, S3, Socket, 自行開(kāi)發(fā)的 Input plugin

　　Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行開(kāi)發(fā)的Filter plugin

　　Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行開(kāi)發(fā)的 Output plugin

　　如果你想要使用Seatunnel，那么需要滿(mǎn)足：

　　java 運行環(huán)境，java >= 8

　　如果您要在集群環(huán)境中運行 seatunnel，那么需要以下 Spark 集群環(huán)境的任意一種：Spark on Yarn、Spark Standalone。

　　如果您的數據量較小或者只是做功能驗證，也可以?xún)H使用local模式啟動(dòng)，無(wú)需集群環(huán)境，Seatunnel支持單機運行。Seatunnel2.0支持Spark 和 Flink上運行。

　　實(shí)際應用

　　如果大家的工作中是以Spark或者Flink為主的實(shí)時(shí)計算體系，Seatunnel可以非常方便的融入你的技術(shù)體系中。

　　根據Seatunnel的文檔顯示，已經(jīng)有非常多的企業(yè)在使用Seatunnel：

　　最后

　　

　　你可以在這里快速了解Seatunnel:

　　#/

　　我個(gè)人從2年前開(kāi)始關(guān)注到Seatunnel這個(gè)項目，隨著(zhù)大數據實(shí)時(shí)數據處理方向的發(fā)展，期待Seatunnel這樣的項目能夠在海量數據ETL上能更上一層樓!

　　一些相關(guān)網(wǎng)站如下：

　　問(wèn)題&建議

　　貢獻代碼

　　社區開(kāi)發(fā)郵件列表

　　歡迎點(diǎn)贊 + 收藏 +在看素質(zhì)三連

　　完

　　▼往期精彩回顧▼

　　長(cháng)按識別左側二維碼

　　關(guān)注領(lǐng)福利

　　領(lǐng)10本經(jīng)典大數據書(shū)