Flexus L實(shí)例
即開即用，輕松運(yùn)維，開啟簡(jiǎn)單上云第一步
立即查看
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開啟云上之旅
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫(kù)和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即購(gòu)買
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開啟云上之旅
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫(kù)和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即前往
Flexus L實(shí)例
即開即用，輕松運(yùn)維，開啟簡(jiǎn)單上云第一步
立即查看
免費(fèi)體驗(yàn)中心
免費(fèi)領(lǐng)取體驗(yàn)產(chǎn)品，快速開啟云上之旅
立即前往
Flexus L實(shí)例
即開即用，輕松運(yùn)維，開啟簡(jiǎn)單上云第一步
立即前往
企業(yè)級(jí)DeepSeek
支持API調(diào)用、知識(shí)庫(kù)和聯(lián)網(wǎng)搜索，滿足企業(yè)級(jí)業(yè)務(wù)需求
立即購(gòu)買
- 投遞odps 內(nèi)容精選 換一換
-
死信隊(duì)列”，進(jìn)入“死信隊(duì)列”頁(yè)面。 選擇以下任意一種方法重新投遞死信消息。 死信消息重新投遞成功后，此死信消息依然存在死信隊(duì)列中，不會(huì)被刪除。請(qǐng)避免多次重復(fù)投遞，造成重復(fù)消費(fèi)。 在待重新投遞的死信消息所在行，單擊“重投”。 如需批量重新投遞死信消息，勾選待重新投遞的死信消息，單擊“批量重投”。 導(dǎo)出死信消息來自：幫助中心息將立刻投遞給消費(fèi)者。 無法確保定時(shí)消息僅投遞一次，定時(shí)消息可能會(huì)重復(fù)投遞。 定時(shí)消息的定時(shí)時(shí)間是服務(wù)端開始向消費(fèi)端投遞的時(shí)間。如果消費(fèi)者當(dāng)前有消息堆積，那么定時(shí)消息會(huì)排在堆積消息后面，將不能嚴(yán)格按照配置的時(shí)間進(jìn)行投遞。 由于客戶端和服務(wù)端可能存在時(shí)間差，消息的實(shí)際投遞時(shí)間與客戶來自：幫助中心
- 投遞odps 相關(guān)內(nèi)容
-
息將立刻投遞給消費(fèi)者。 無法確保定時(shí)消息僅投遞一次，定時(shí)消息可能會(huì)重復(fù)投遞。 定時(shí)消息的定時(shí)時(shí)間是服務(wù)端開始向消費(fèi)端投遞的時(shí)間。如果消費(fèi)者當(dāng)前有消息堆積，那么定時(shí)消息會(huì)排在堆積消息后面，將不能嚴(yán)格按照配置的時(shí)間進(jìn)行投遞。 由于客戶端和服務(wù)端可能存在時(shí)間差，消息的實(shí)際投遞時(shí)間與客戶來自：幫助中心本文介紹了【認(rèn)識(shí)DataX及簡(jiǎn)單入門】相關(guān)內(nèi)容，與您搜索的投遞odps相關(guān)，助力開發(fā)者獲取技術(shù)信息和云計(jì)算技術(shù)生態(tài)圈動(dòng)態(tài)...請(qǐng)點(diǎn)擊查閱更多詳情。來自：其他
- 投遞odps 更多內(nèi)容
-
![]()
息將立刻投遞給消費(fèi)者。 無法確保定時(shí)消息僅投遞一次，定時(shí)消息可能會(huì)重復(fù)投遞。 定時(shí)消息的定時(shí)時(shí)間是服務(wù)端開始向消費(fèi)端投遞的時(shí)間。如果消費(fèi)者當(dāng)前有消息堆積，那么定時(shí)消息會(huì)排在堆積消息后面，將不能嚴(yán)格按照配置的時(shí)間進(jìn)行投遞。 由于客戶端和服務(wù)端可能存在時(shí)間差，消息的實(shí)際投遞時(shí)間與客戶來自：幫助中心![]()
息將立刻投遞給消費(fèi)者。 無法確保定時(shí)消息僅投遞一次，定時(shí)消息可能會(huì)重復(fù)投遞。 定時(shí)消息的定時(shí)時(shí)間是服務(wù)端開始向消費(fèi)端投遞的時(shí)間。如果消費(fèi)者當(dāng)前有消息堆積，那么定時(shí)消息會(huì)排在堆積消息后面，將不能嚴(yán)格按照配置的時(shí)間進(jìn)行投遞。 由于客戶端和服務(wù)端可能存在時(shí)間差，消息的實(shí)際投遞時(shí)間與客戶來自：幫助中心![]()
本文介紹了【[云市場(chǎng)] 北京數(shù)倍軟件科技有限公司入駐華為云市場(chǎng)，助力云服務(wù)，異構(gòu)數(shù)據(jù)的交換，整合，遷移】相關(guān)內(nèi)容，與您搜索的投遞odps相關(guān)，助力開發(fā)者獲取技術(shù)信息和云計(jì)算技術(shù)生態(tài)圈動(dòng)態(tài)...請(qǐng)點(diǎn)擊查閱更多詳情。來自：其他![]()
數(shù)據(jù)進(jìn)行本地盤加速，可能會(huì)導(dǎo)致作業(yè)運(yùn)行失敗。 使用 OBS 桶中的數(shù)據(jù)投遞作業(yè)時(shí)，當(dāng)數(shù)據(jù)大于40G時(shí)作業(yè)會(huì)投遞失敗。 使用OBS桶中的數(shù)據(jù)投遞作業(yè)時(shí)，作業(yè)將 數(shù)據(jù)復(fù)制 至云硬盤后，數(shù)據(jù)變大了4096byte，導(dǎo)致作業(yè)投遞失敗。 圖6 “OBS”標(biāo)簽代表數(shù)據(jù)引用來源為OBS桶 圖7 作業(yè)基礎(chǔ)配置來自：幫助中心![]()
作業(yè)執(zhí)行失敗排查思路 作業(yè)執(zhí)行失敗，有如下場(chǎng)景： 場(chǎng)景1：作業(yè)投遞后處于運(yùn)行中，運(yùn)行過程正常，但是最后超時(shí)失敗。 場(chǎng)景2：作業(yè)投遞后處于運(yùn)行中，但是無日志打印，也沒有任何符合預(yù)期的輸出文件生成。 場(chǎng)景3：作業(yè)投遞后顯示運(yùn)行成功，但是根據(jù) 日志分析 作業(yè)有報(bào)錯(cuò)，也未能正確輸出相關(guān)信息。來自：幫助中心![]()
對(duì)應(yīng)可選的Partition策略 說明 集中投遞到一個(gè)Topic： 對(duì)于源庫(kù)業(yè)務(wù)量不大的場(chǎng)景，建議選擇集中投遞到一個(gè)Topic。 按庫(kù)名.schema.表名的hash值投遞到不同Partition 適用于單表的查詢場(chǎng)景，可以提高單表讀寫性能，推薦使用此選項(xiàng)。 全部投遞到Partition 0 適來自：幫助中心![]()
對(duì)應(yīng)可選的Partition策略 說明 集中投遞到一個(gè)Topic： 對(duì)于源庫(kù)業(yè)務(wù)量不大的場(chǎng)景，建議選擇集中投遞到一個(gè)Topic。 按庫(kù)名.schema.表名的hash值投遞到不同Partition 適用于單表的查詢場(chǎng)景，可以提高單表讀寫性能，推薦使用此選項(xiàng)。 全部投遞到Partition 0 適來自：幫助中心![]()
場(chǎng)景1：作業(yè)顯示運(yùn)行正常，但實(shí)際作業(yè)中的某一個(gè)應(yīng)用運(yùn)行失敗 場(chǎng)景2：作業(yè)投遞后處于運(yùn)行中，運(yùn)行過程正常，但是最后超時(shí)失敗 場(chǎng)景3：作業(yè)投遞后顯示運(yùn)行成功，但是根據(jù)日志分析作業(yè)有報(bào)錯(cuò)，也未能正確輸出相關(guān)信息 場(chǎng)景4：作業(yè)投遞后顯示運(yùn)行成功，但是根據(jù)日志分析作業(yè)有報(bào)錯(cuò)，也未能正確輸出相關(guān)信息來自：幫助中心![]()
據(jù)用于本地盤加速，可能會(huì)導(dǎo)致作業(yè)運(yùn)行失敗。 使用OBS桶中的數(shù)據(jù)投遞作業(yè)時(shí)，當(dāng)數(shù)據(jù)大于40G時(shí)作業(yè)會(huì)投遞失敗。 使用OBS桶中的數(shù)據(jù)投遞作業(yè)時(shí)，作業(yè)將數(shù)據(jù)copy至云硬盤后，數(shù)據(jù)變大了4096byte，導(dǎo)致作業(yè)投遞失敗。 圖4 “OBS”標(biāo)簽代表數(shù)據(jù)引用來源為OBS桶 圖5 作業(yè)參數(shù)配置來自：幫助中心![]()
重試作業(yè)或者刪除作業(yè)出現(xiàn)內(nèi)部異常 問題現(xiàn)象 啟動(dòng)作業(yè)立即取消作業(yè)，進(jìn)行重試或者刪除作業(yè)出現(xiàn)內(nèi)部異常。 問題原因 投遞作業(yè)屬于異步動(dòng)作，立即取消可能存在作業(yè)未完成投遞，Nextflow對(duì)于不存在的作業(yè)做了靜默處理。 解決方案 避免啟動(dòng)作業(yè)后立即取消。 克隆作業(yè)即可。 process使用errorStrategy來自：幫助中心![]()
schema.表名的hash值投遞到不同Partition。 1：全部投遞到Partition 0。 2：按主鍵的hash值投遞到不同Partition。 3：按庫(kù)名.schema的hash值投遞到不同Partition。 4： 按庫(kù)名.dn序號(hào)的hash值投遞到不同Partition來自：幫助中心![]()
選擇同步信息、策略、消息格式和對(duì)象等，投遞到Kafka的消息格式。 本次選擇如下。 表1 同步設(shè)置 類別 設(shè)置 同步Topic策略 集中投遞到一個(gè)Topic，Topic名稱“testTopic”。 同步到Kafka partition策略 按表名+庫(kù)名的hash值投遞到不同Partition。 投遞到Kafka的數(shù)據(jù)格式來自：幫助中心![]()
消費(fèi)者消費(fèi)消息時(shí)發(fā)生消息重復(fù)： 消費(fèi)者消費(fèi)消息時(shí)，服務(wù)端將消息投遞至消費(fèi)者并完成業(yè)務(wù)處理。如果此時(shí)發(fā)生網(wǎng)絡(luò)閃斷，導(dǎo)致服務(wù)端未收到消費(fèi)者的響應(yīng)，此時(shí)服務(wù)端會(huì)認(rèn)為消息投遞失敗。為了保證消息至少被消費(fèi)一次，服務(wù)端會(huì)嘗試投遞之前已被處理過的消息，最終消費(fèi)者會(huì)消費(fèi)到兩條內(nèi)容一樣的重復(fù)消息。來自：幫助中心
看了本文的人還看了
- ODPS 在 AI 時(shí)代的引領(lǐng)潛力與突破方向分析
- rabbitmq整個(gè)消息投遞的路徑
- lintcode-1939 · 簡(jiǎn)歷投遞 I
- RocketMQ的動(dòng)態(tài)縮擴(kuò)容和消息實(shí)時(shí)投遞
- 華為云實(shí)習(xí)，歡迎大家投遞
- 我與ODPS的故事：從電子廠開發(fā)到數(shù)據(jù)智能的實(shí)踐之旅
- 華為云官網(wǎng)門戶實(shí)習(xí)，歡迎大家投遞
- RabbitMQ之消息可靠性投遞解讀
- 華為云智能運(yùn)營(yíng)實(shí)習(xí)，歡迎大家投遞
- 華為云-應(yīng)屆生/實(shí)習(xí)生，歡迎大家投遞