DAG:又是一年開源之夏，八大課題項目獎金等你來拿！_HDFS幣是什么幣

又是一年季。今年，ApacheDolphinScheduler同樣參與到了活動中來，希望有更多學生群體關注到ApacheDolphinScheduler，并踴躍參與項目共建拿獎金！

No.1活動介紹

開源之夏是由“開源軟件供應鏈點亮計劃”發起并長期支持的一項暑期開源活動，由中國科學院軟件研究所與openEuler社區共同舉辦，旨在鼓勵在校學生積極參與開源軟件的開發維護，促進優秀開源軟件社區的蓬勃發展，培養和發掘更多優秀的開發者。

學生可自主選擇感興趣的項目進行申請，并在中選后獲得社區導師親自指導。根據項目的難易程度和完成情況，參與者還將獲取開源之夏活動獎金和結項證書。

開源之夏活動官網：https://summer.iscas.ac.cn/

No.2活動日程

No.3項目介紹

ApacheDolphinScheduler是一個云原生易擴展的可視化DAG工作流任務調度系統。致力于解決數據處理流程中復雜的任務依賴關系，使各種任務類型(Spark/Flink/MR/Shell/Python/SQL等)在工作流編排中開箱即用。

No.4獎金設置

進階：獎金人民幣12000元

優化類的任務，例如提高性能，降低資源占有

基礎：獎金人民幣8000元

功能類的任務，例如為本社區開源項目增加一個或若干個重要特性等

No.5八大課題

本次活動，ApacheDolphinScheduler開源社區共設有8個項目課題具體如下，歡迎參與：

01為DolphinSchedulerPythonAPI添加資源文件

Farcaster聯創：Farcaster stack已集成至OPStack:8月23日消息，Farcaster聯合創始人Dan Romero在社交平臺上表示，去中心化社交協議Farcaster stack現已集成至OP Stack。

此前報道，8月22日，去中心化社交協議Farcaster宣布將遷移至OP Mainnet，計劃在未來幾周內將Farcaster身份和存儲合約遷移到OP Mainnet。[2023/8/23 18:17:31]

222290294

進階/Advanced

Python

目前，DolphinSchedulerPythonAPI只能傳遞字符串格式傳遞任務的參數，例如我們的tutorial

dolphinscheduler/dolphinscheduler-python/pydolphinscheduler/src/pydolphinscheduler/examples/tutorial.py

我們只將一個字符串傳遞給shell任務類型。但通常來說，用戶希望具體的執行代碼儲存在其他系統中，例如將具體文件存儲在本地文件系統、GitHub、GitLab、AmazonS3、阿里云OSS等。也許我們可以添加語法糖讓用戶更加簡單的操作外部文件

任務task_parent將從URLhttps://github.com/apache/dolphinscheduler/blob/dev/script/install.sh加載文件內容并將其傳遞給參數command，它使我們的DAG文件更容易和可維護

實現Resource的插件化

實現具體的插件Resource包括但不限于本地文件系統，GitHub,GitLab,AmazonS3,阿里云OSS

PythonAPI的通過測試覆蓋率，當前閾值為90%

文檔，包括開發和使用

熟悉python，包括decorator、io、network、unittest、document

Aave V3 MVP版本部署至Scroll主網”的提案已通過溫度檢查投票:6月19日消息，Snapshot投票頁面顯示，AAVE社區以99.97%的支持率通過了“在Scroll主網部署Aave V3最小可行產品(MVP)版本”提案的溫度檢查投票。根據該提案，Scroll主網將于今年8月初上線，并計劃將Aave V3作為其主網上首批DeFi DApp之一。最初部署的版本將支持WETH、USDC和wstETH三種抵押資產和USDC一種可借入資產。

該提案將進入ARFC階段進行進一步討論、風險參數評估網絡分析以及最終定稿提案。如果ARFC階段投票成功，則將提案作為AIP提交以進行投票和鏈上治理批準。[2023/6/19 21:46:57]

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

鐘嘉杰

聯系方式：zhongjiajie955@gmail.com

02資源中心優化

222290456

進階/Advanced

Java、Shell

重構Dolphinscheduler資源中心的讀寫邏輯

目前資源中心讀寫HDFS/S3/本地目錄通過在數據庫表中t_ds_resources記錄文件/文件夾目錄來實現文件記錄，但是在用戶初始化DS或者用戶在DS的外部修改了第三方存儲的內容的時候DS無法進行實時同步，希望能夠與第三方存儲的內容保證實時同步

DS不存儲資源中心中文件的路徑，對于資源中心的讀寫全都通過調用第三方API實現，只保存任務實例依賴到的內容路徑于數據庫用于文件刪除校驗。

實現現有的資源中心的所有功能，其中包括文件/文件夾增刪改查，任務實例調用資源中心

后端API文檔

了解Linux系統，對Linux文件管理有一定的熟悉

Circle副總裁：EMI對歐央行賬戶的直接訪問的缺乏扼殺了支付創新:5月22日消息，Circle 負責歐洲、中東和非洲地區政策和監管戰略的副總裁Teana Baker-Taylor表示，如今，要訪問歐盟 (EU) 的中央銀行賬戶，電子貨幣代幣 (EMT) 發行人以及所有電子貨幣機構 (EMI) 別無選擇，只能依賴銀行合作伙伴。無法直接獲得法定結算會影響像Circle這樣的穩定??幣發行人，然而，在英國不存在這樣的挑戰。制定允許 EMI 直接訪問中央銀行賬戶的立法也是確保銀行業兩個核心業務職能分拆的機會：結算支付和創造信貸。鑒于近期銀行倒閉對數字資產行業的影響，這種分離在今天變得更加重要。[2023/5/22 15:18:52]

了解HDFS/S3組件，能夠較快速的根據官方文檔學習API的使用

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

向梓豪

聯系方式：zihaoxiang@apache.org

03master/worker/api模塊日志優化

222290457

進階/Advanced

Java

由于DS日志不方便真實定位問題，需要將打印日志進行規范及優化

整理出DS打印日志規范指導文檔，并提交到文檔庫

將master/worker/api模塊按照規范文檔進行落地并提交到開發分支

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

進勇

聯系方式：jiny.li@foxmail.com

ETH 2.0總質押數已超1773.06萬:金色財經報道，數據顯示，ETH 2.0總質押數已超1773.06萬，為17730570個，按當前市場價格，價值約318.52億美元。此外，目前ETH 2.0質押總地址數已超57.01萬，為570085個。[2023/3/24 13:23:05]

04自動收集、保存作業提交的Yarn作業的applicationid

222290458

進階/Advanced

Java

DolphinScheduler支持各種各樣的作業，比如Python、Shell等，其中一個很基礎的功能就是收集這些作業創建的YarnJob的applicationid。現在的實現方式是用一個正則表達式從作業的日志中解析，但這并不是一個完美的實現方式，本課題的任務就是用一種新的方式去自動收集、報錯YarnJob的applicationid信息，當然了，必須對用戶透明，即對用戶創建的作業無侵入。

自動收集、報錯YarnJob的applicationid信息

必須對用戶透明，即對用戶創建的作業無侵入

熟悉Java,Yarn,Hive,SparkSQL,AOP

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

gabrywu

聯系方式：gabrywu@apache.org

05為DolphinScheduler添加服務初始化的工作流demo

222290459

進階/Advanced

Java、Shell

用戶在啟動DolphinScheduler服務后，可以使用demo-tool程序預置工作流demo，包括但不限于簡單的shell任務、邏輯組件任務、參數傳遞等功能，引導用戶更方便地使用DolphinScheduler。

BTC跌破21500美元:BTC跌破21500美元，現報21499.7美元，日內跌幅達到8.01%，行情波動較大，請做好風險控制。[2022/8/19 12:35:53]

預置工作流demo的tool程序

服務啟動腳本添加init模式

工作流demo包括但不限于shell任務、邏輯組件任務、參數傳遞等

熟悉Java、Shell

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

蔡順峰

聯系方式：caishunfeng2021@gmail.com

06為DolphinScheduler添加Java任務類型

222290460

進階/Advanced

Java、Shell、Vue、TypeScript

提供Java類型的調度任務，包括Jar和自定義Java代碼兩種方式，通過WEBUI定義Java運行時所需要的Resources、Libs資源文件和JVM參數，覆蓋定時任務調用Java程序場景并提升用戶方便配置。

可執行的Java類型任務插件

Java類型插件支持Jar方式，提供Resources、Libs資源文件和JVM參數的動態參數輸入

Java類型插件支持WebUI自定義Java代碼方式，提供Java類即時編譯，執行

熟悉Shell、Java、SPI、Javacompiler、VUE3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Kerwin

聯系方式：zhuangchong6@163.com

07支持測試任務

222290461

進階/Advanced

Java、Vue

目前新增/修改的工作流在上線前很難驗證工作流配置是否正確，只能通過在線上環境執行來驗證，所以有必要支持測試環境執行任務。

數據源中心支持配置測試環境源，線上環境源可綁定一個測試環境源。任務執行及工作流執行支持“是否測試”選項，選擇測試時，Worker節點在任務執行前，自動替換線上環境源為綁定的測試環境源，再配合Worker分組實現線上、測試環境的隔離，最終達到支持測試任務的目標。

數據源配置頁面增加線上、測試選項，支持綁定測試源

工作流執行頁面、任務執行頁面新增線上、測試選項

Master節點、Worker節點解析執行環境標識，替換數據源為測試數據源

工作流實例、任務實例頁面增加執行環境標識

熟悉Java、Spring、VUE3

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

溫合民

聯系方式：whm_777@163.com

08為DolphinScheduler的項目和資源中心增加讀寫權限的授權管理

222290462

基礎/Basic

Java、Vue、TypeScript

當前DolphinScheduler對于權限的管控相對比較簡單，希望在進行項目和資源中心授權時增加操作權限管控來進行讀寫權限的分離。

針對單個項目的全部內容進行讀寫權限區分，對單個用戶針對單個項目授權只讀或者讀寫權限

針對資源中心的全部內容進行讀寫權限區分，基于當前資源中心的授權內容區分出只讀或者讀寫權限

進行授權時前端頁面增加只讀和讀寫的授權操作

熟悉Java、Spring、Vue3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

孫朝和

聯系方式：sunzhaohe0825@gmail.com

No.6申請參與項目

01申請資格

本活動面向年滿18周歲在校學生。

暑期即將畢業的學生，只要在申請時學生證處在有效期內，就可以提交申請。

海外學生可提供錄取通知書/學生卡/在讀證明證明學生身份。

02參與流程

03申請建議

歡迎主動向導師發送郵件進行溝通，附上自己的方案和簡歷，更加了解你~

認真了解社區項目文檔，與導師充分溝通。

歡迎加入交流群交流

參與貢獻

隨著國內開源的迅猛崛起，ApacheDolphinScheduler社區迎來蓬勃發展，為了做更好用、易用的調度，真誠歡迎熱愛開源的伙伴加入到開源社區中來，為中國開源崛起獻上一份自己的力量，讓本土開源走向全球。

參與DolphinScheduler社區有非常多的參與貢獻的方式，包括：

貢獻第一個PR(文檔、代碼)我們也希望是簡單的，第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度。

社區匯總了以下適合新手的問題列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手問題列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何參與貢獻鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

來吧，DolphinScheduler開源社區需要您的參與，為中國開源崛起添磚加瓦吧，哪怕只是小小的一塊瓦，匯聚起來的力量也是巨大的。

參與開源可以近距離與各路高手切磋，迅速提升自己的技能，如果您想參與貢獻，我們有個貢獻者種子孵化群，可以添加社區小助手微信(Leonard-ds)，手把手教會您(貢獻者不分水平高低，有問必答，關鍵是有一顆愿意貢獻的心)。

添加小助手微信時請說明想參與貢獻。

來吧，開源社區非常期待您的參與。

活動推薦

當數據資源成為生產發展乃至于生存過程中必不可少的要素，企業該如何通過數據集成幫助企業數據服務全生命周期落地呢？5月14日，數據集成框架ApacheSeaTunnel(Incubating)將邀請一站式數據集成平臺ApacheInLong(Incubating)的技術專家與開源貢獻者們，一同來到直播間，與大家暢談使用ApacheSeaTunnel(Incubating)與ApacheInLong(Incubating)后的實踐經歷與心得體會。

直播鏈接：https://www.slidestalk.com/m/777

Tags：APIDAGHDFSAPI價格API幣DAG價格DAG幣HDFS幣是什么幣

幣安app官網下載