華為云計(jì)算 云知識 實(shí)時(shí)流計(jì)算服務(wù)創(chuàng)建Spark自定義作業(yè)及查看作業(yè)執(zhí)行結(jié)果
實(shí)時(shí)流計(jì)算服務(wù)創(chuàng)建Spark自定義作業(yè)及查看作業(yè)執(zhí)行結(jié)果

本視頻主要為您介紹 實(shí)時(shí)流計(jì)算服務(wù) 創(chuàng)建Spark自定義作業(yè)及查看作業(yè)執(zhí)行結(jié)果的操作教程指導(dǎo)。

場景描述:

用戶可以基于Spark的API進(jìn)行二次開發(fā),構(gòu)建自定義Jar包并提交到CS集群上運(yùn)行,CS完全兼容開源社區(qū)接口。

創(chuàng)建Spark自定義作業(yè)的前提條件:

確保已創(chuàng)建運(yùn)行自定義作業(yè)所需的CS獨(dú)享集群

確保在構(gòu)建應(yīng)用Jar包時(shí),將Spark的相關(guān)依賴排除

確保已將自定義Jar包上傳到OBS桶中

確保已創(chuàng)建DIS的輸入輸出通道并配置了轉(zhuǎn)儲任務(wù)