全票通過！易觀開源項目DolphinScheduler進入Apache孵化器

2019年8月29日，易觀開源的分布式任務(wù)調(diào)度引擎DolphinScheduler(原EasyScheduler)正式通過頂級開源組織Apache基金會的投票決議，以全票通過的優(yōu)秀表現(xiàn)正式成為Apache孵化器項目!

根據(jù)Apache基金會郵件列表顯示，在包含11個約束性投票(binding votes)和2個無約束性投票(non-binding votes)的投票全部持贊同意見，無棄權(quán)票和反對票，投票順利通過。

“Welcome to Apache incubator，DolphinScheduler！”

易觀貢獻的DolphinScheduler進入 Apache孵化器，是易觀開源項目的重要里程碑，DolphinScheduler社區(qū)將遵循「The Apache Way」,秉承更加兼容并包與開放多樣化的心態(tài)，由衷歡迎更多的開發(fā)者參與到社區(qū)中來，Committer虛位以待!

DolphinScheduler是一個分布式易擴展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)，致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，同時具有強大的可視化操作界面。DolphinScheduler曾用名為“EasyScheduler”，由于名稱已在國外某App使用，經(jīng)社區(qū)討論與投票后改名為DolphinScheduler，簡稱”DS”,中文名“小海豚調(diào)度”(海豚聰明、人性化，有左右腦可互相換班，終生不用睡覺)。我們希望DolphinScheduler就像它的名字一樣，成為一個“開箱即用”的靈活易用的調(diào)度系統(tǒng)。

易觀緣何開發(fā)DolphinScheduler？

2017年，易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個調(diào)度任務(wù)的大數(shù)據(jù)平臺時，受到ETL復(fù)雜的依賴關(guān)系、平臺易用性、可維護性及二次開發(fā)等方面掣肘，我們渴望找到一個具有以下功能的數(shù)據(jù)調(diào)度工具：

1.易于使用，開發(fā)人員可以通過非常簡單的拖拽操作構(gòu)建ETL過程。不僅對于ETL開發(fā)人員，無法編寫代碼的人也可以使用此工具進行ETL操作，例如系統(tǒng)管理員和分析師

2.解決“復(fù)雜任務(wù)依賴”問題，并且可以實時監(jiān)視ETL運行狀態(tài)

3.支持多租戶

4.支持許多任務(wù)類型：Shell，MR，Spark，SQL(mysql，postgresql，hive，sparksql)，Python，Sub_Process，Procedure等

5.支持HA和線性可擴展性

易觀技術(shù)團隊意識到現(xiàn)有開源項目沒有能夠達到我們要求的，因此決定自行開發(fā)這個工具。我們在2017年底設(shè)計了DolphinScheduler的主要架構(gòu);2018年5月完成第一個內(nèi)部使用版本，后來我們又迭代了幾個內(nèi)部版本后，系統(tǒng)逐漸穩(wěn)定下來。

家有DolphinScheduler初長成

易觀技術(shù)團隊——這一支自百度、阿里、百分點、Ptmind、熱云等團隊的“數(shù)據(jù)極客”，秉持易觀“讓數(shù)據(jù)能力平民化”的初心，積極擁抱開源，曾貢獻過PrestoHbase Connector, PrestoKudu Connector等令開發(fā)者稱贊的項目。此次在公司的支持下，也積極將自己的開發(fā)的調(diào)度工具推動開源，旨在回饋開源的同時，助力打造更為強大的開源生態(tài)。

團隊在2019年3月初，小范圍(10多家公司)開放了DS的種子用戶試用，得到了非常正能量的反饋，在4月初的正式對外開放源碼后，很快就獲得了許多開發(fā)人員的關(guān)注興趣，目前github上的star現(xiàn)在已超過1700個，參與開發(fā)和使用的公司包括嘀嗒出行、雪球、鳳凰金融、水滴互助、華潤萬家等。

DolphinScheduler的特點

DolphinScheduler提供了許多易于使用的功能，可加快數(shù)據(jù)ETL工作開發(fā)流程的效率。其主要特點如下：

1.通過拖拽以DAG圖的方式將 Task按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來，可實時可視化監(jiān)控任務(wù)的運行狀態(tài)

支持豐富的任務(wù)類型

2.支持工作流定時調(diào)度、依賴調(diào)度、手動調(diào)度、手動暫停/停止/恢復(fù)，同時支持失敗重試/告警、從指定節(jié)點恢復(fù)失敗、Kill任務(wù)等操作

3.支持工作流全局參數(shù)及節(jié)點自定義參數(shù)設(shè)置

4.支持集群HA，通過 Zookeeper實現(xiàn) Master集群和 Worker集群去中心化

5.支持工作流運行歷史樹形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計、流程狀態(tài)統(tǒng)計

6.支持補數(shù)，并行或串行回填數(shù)據(jù)

歡迎調(diào)度小伙伴加入共建世界頂級的開源項目！

目前，DolphinScheduler在中國已經(jīng)擁有了一個1300多位伙伴組成的用戶及開發(fā)者社區(qū)。它也被許多公司和組織廣泛采用作為其ETL調(diào)度工具。我們熱烈歡迎更多的用戶和開發(fā)者加入到貢獻的隊伍中來，讓我們國人開源的調(diào)度引擎在世界開源生態(tài)中占據(jù)一席之地!

感謝參與社區(qū)的貢獻者！

特別感謝愿意給DolphinScheduler提供指導(dǎo)的champion和mentors:

積極參與的貢獻者:

chongchongzi、lfyee、mnloveyx、李林、白強、楊孟霏、胡將、王金海、風(fēng)清揚、林忠俊、jiangzhx、HangtongLee、hymzcn、jimmy201602、feloxx、xianhu、yangqinlong、hebin、

shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、馬澤國、劉小春、Crossoverrr、jxauwxj

此外還要感謝數(shù)百位提出issue和建議以及使用的伙伴們的貢獻和大力支持;感謝在項目早期提出指導(dǎo)的來自華為、京東、teradata、百分點、趣頭條等公司負責(zé)調(diào)度的伙伴!

特別感謝githubmybatis-plus社區(qū)，在得知DolphinScheduler想使用mybatis-plus來支持多數(shù)據(jù)庫，特地發(fā)版去掉了NPL協(xié)議;感謝易觀前端團隊開源的高質(zhì)量 UI組件庫ans-ui!

寫在最后

我們堅信將DolphinScheduler引入Apache可以推動更強大，更多樣化的開源社區(qū)的發(fā)展。我們將努力踐行“CommunityOverCode“的Apache文化，同時歡迎更多的公司和個人參與到開發(fā)者隊伍中來，讓DolphinScheduler社區(qū)更加健壯、健康的發(fā)展，讓更多人享受開源帶來的技術(shù)革命!

目前DolphinScheduler的所有源代碼和所有相關(guān)文檔已捐贈給Apache Software Foundation。這些代碼已經(jīng)在Apache License Version 2.0下：

為促進技術(shù)圈的茁壯發(fā)展，增進Apache DolphinScheduler使用者的交流與學(xué)習(xí)，易觀舉辦“Apache DolphinScheduler(incubator) User Meetup”全國巡回活動，2019年將陸續(xù)在北京、上海等地舉行，邀請業(yè)內(nèi)資深的技術(shù)專家，分享實戰(zhàn)經(jīng)驗，促進互聯(lián)網(wǎng)技術(shù)的普及。

歡迎大家來交流!

Apache DolphinScheduler(incubator) User Meetup·Shanghai

Date: 2019，Oct, 26 (2019年10月26日)

Agenda(議程):

1、Introduction/overview of DolphinScheduler (William-GuoWei).

2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao).

3、DolphinScheduler practice(Draw up)

4、DolphinScheduler from Zero to One (Draw up)

5、DolphinScheduler practice(Draw up)

6、Recently released features and Roadmap (Lidong Dai)

7、Free discussion

附：DolphinScheduler部分功能截圖:

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。