本文由AI智能模型生成，在自有數(shù)據(jù)的基礎(chǔ)上，訓練NLP文本生成模型，根據(jù)標題生成內(nèi)容，適配到模板。內(nèi)容僅供參考，不對其準確性、真實性等作任何形式的保證，如果有任何問題或意見，請聯(lián)系contentedit@huawei.com或點擊右側(cè)用戶幫助進行反饋。我們原則上將于收到您的反饋后的5個工作日內(nèi)做出答復或反饋處理結(jié)果。
基于歷史的 大數(shù)據(jù) 作業(yè)優(yōu)化系統(tǒng)：提升大數(shù)據(jù)作業(yè)效率，降低成本
單創(chuàng)是一家為國際優(yōu)質(zhì)品牌提供中國市場一體化孵化、管理及運營的綜合性品牌管理公司。隨著業(yè)務(wù)的發(fā)展，單創(chuàng)積累了大量的數(shù)據(jù)，但同時也面臨著離線計算集群幾乎全天處于用滿的問題，以及在計算高峰時段存在大量掛起的情況。為了解決這些問題，單創(chuàng)引入了一款名為lcc-optimizer的大數(shù)據(jù)作業(yè)優(yōu)化系統(tǒng)。
lcc-optimizer是一款基于歷史數(shù)據(jù)的大數(shù)據(jù)作業(yè)優(yōu)化系統(tǒng)，旨在幫助大數(shù)據(jù)團隊充分優(yōu)化現(xiàn)有大數(shù)據(jù)作業(yè)。該系統(tǒng)以低侵入的方式提升作業(yè)執(zhí)行效率，提高資源利用率30%以上。通過對大數(shù)據(jù)作業(yè)運行參數(shù)進行自動調(diào)優(yōu)，lcc-optimizer能夠在保證作業(yè)穩(wěn)定運行的前提下，提高作業(yè)的執(zhí)行效率，從而進一步縮減成本。
連連支付是中國跨境支付綜合服務(wù)行業(yè)的引領(lǐng)者，為全球眾多 跨境電商 平臺與店鋪提供服務(wù)。連連支付依賴于多個大規(guī)模的離線計算集群來支持其業(yè)務(wù)。為了提高集群的整體使用效率，連連支付也選擇了使用lcc-optimizer這款大數(shù)據(jù)作業(yè)優(yōu)化系統(tǒng)。
通過對離線大數(shù)據(jù)任務(wù)進行 自動化 參數(shù)調(diào)優(yōu)，lcc-optimizer能夠?qū)崿F(xiàn)每個集群每天數(shù)千任務(wù)的自動優(yōu)化。在實施過程中，用戶無需人工干預和手動調(diào)優(yōu)，對用戶系統(tǒng)和平臺無侵入。此外，lcc-optimizer還具備任務(wù)黑白名單、自動隔離、失敗重試等機制，確保了任務(wù)執(zhí)行的穩(wěn)定性和正確性。
使用lcc-optimizer后，連連支付的系統(tǒng)和收益表現(xiàn)穩(wěn)定?？蛻舴答伔Q，lcc-optimizer的實施過程非常順利，降本收益非常不錯。lcc-optimizer的自動化參數(shù)調(diào)優(yōu)功能，使得大數(shù)據(jù)作業(yè)的執(zhí)行效率得到了顯著提升，同時也降低了成本。
總結(jié)起來，基于歷史的大數(shù)據(jù)作業(yè)優(yōu)化系統(tǒng)（lcc-optimizer）是一款能夠幫助企業(yè)充分優(yōu)化現(xiàn)有大數(shù)據(jù)作業(yè)的產(chǎn)品。通過自動調(diào)優(yōu)作業(yè)運行參數(shù)，提高作業(yè)執(zhí)行效率，提高資源利用率，從而降低成本。無論是單創(chuàng)還是連連支付，都通過使用lcc-optimizer取得了顯著的效果，提升了大數(shù)據(jù)作業(yè)的執(zhí)行效率，實現(xiàn)了降本增效的目標。
本服務(wù)提供商：貝聯(lián)珠貫科技（浙江）有限公司
