日志采集方式
采集主機(jī)日志
云日志服務(wù)可以將主機(jī)待采集日志的路徑配置到日志流中,ICAgent將按照日志采集規(guī)則采集日志,并將多條日志進(jìn)行打包,以日志流為單位發(fā)往云日志服務(wù),您可以在云日志服務(wù)控制臺(tái)實(shí)時(shí)查看日志。
采集云服務(wù)日志
云日志服務(wù)(LTS)支持采集計(jì)算、容器、安全與合規(guī)等華為云云產(chǎn)品的日志數(shù)據(jù),包括云服務(wù)器 ECS、云容器引擎 CCE、Web應(yīng)用防火墻 WAF、應(yīng)用運(yùn)維管理 AOM等。
API采集日志
云日志服務(wù)提供接口,可以采集主機(jī)上報(bào)租戶的日志。
SDK采集日志
云日志服務(wù)SDK提供了Java語(yǔ)言上報(bào)日志的一系列方法,方便用戶直接使用編碼方式上報(bào)日志到云日志服務(wù)后臺(tái)。
日志轉(zhuǎn)儲(chǔ)方式
轉(zhuǎn)儲(chǔ)至對(duì)象存儲(chǔ)服務(wù)OBS
轉(zhuǎn)儲(chǔ)OBS后提供日志存儲(chǔ)功能,長(zhǎng)期保存日志。
轉(zhuǎn)儲(chǔ)至數(shù)據(jù)接入服務(wù)DIS
轉(zhuǎn)儲(chǔ)DIS提供日志長(zhǎng)期存儲(chǔ)能力和豐富的大數(shù)據(jù)分析能力。DIS可以將大量日志文件傳輸?shù)皆贫俗鰝浞?,進(jìn)行離線分析、存儲(chǔ)查詢及機(jī)器學(xué)習(xí),還能用于數(shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時(shí)大量小文本文件可合并轉(zhuǎn)儲(chǔ)為大文件,提高數(shù)據(jù)處理性能。
轉(zhuǎn)儲(chǔ)至分布式消息服務(wù)DMS
轉(zhuǎn)儲(chǔ)DMS通過(guò)分布式消費(fèi)服務(wù)API處理日志。分布式消息服務(wù) DMS提供日志實(shí)時(shí)處理管道,您可以通過(guò)分布式消息服務(wù)API實(shí)時(shí)消費(fèi)處理日志。
轉(zhuǎn)儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)服務(wù)DWS
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS) 是一種基于華為云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)處理數(shù)據(jù)庫(kù),提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。轉(zhuǎn)儲(chǔ)至數(shù)據(jù)倉(cāng)庫(kù)服務(wù)GaussDB(DWS) ,可以將日志中的結(jié)構(gòu)化字段轉(zhuǎn)儲(chǔ)到DWS數(shù)據(jù)庫(kù)表中,您可以根據(jù)業(yè)務(wù)場(chǎng)景選擇是否使用DWS進(jìn)行日志轉(zhuǎn)儲(chǔ)。
云日志服務(wù)基本功能
實(shí)時(shí)采集日志
云日志服務(wù)提供實(shí)時(shí)日志采集功能,采集到的日志數(shù)據(jù)可以在云日志控制臺(tái)以簡(jiǎn)單有序的方式展示、方便快捷的方式進(jìn)行查詢,并且可以長(zhǎng)期存儲(chǔ)。
采集到日志數(shù)據(jù)按照結(jié)構(gòu)化和非結(jié)構(gòu)化進(jìn)行分析。結(jié)構(gòu)化日志是通過(guò)規(guī)則將日志流中的日志進(jìn)行處理,提取出來(lái)有固定格式或者相似度高的日志內(nèi)容做結(jié)構(gòu)化的分類(lèi)。這樣就可以采用SQL的語(yǔ)法進(jìn)行日志的查詢。
日志查詢與實(shí)時(shí)分析
對(duì)采集的日志數(shù)據(jù),可以通過(guò)關(guān)鍵字查詢、模糊查詢等方式簡(jiǎn)單快速地進(jìn)行查詢,適用于日志實(shí)時(shí)數(shù)據(jù)分析、安全診斷與分析、運(yùn)營(yíng)與客服系統(tǒng)等,例如云服務(wù)的訪問(wèn)量、點(diǎn)擊量等,通過(guò)日志數(shù)據(jù)分析,可以輸出詳細(xì)的運(yùn)營(yíng)數(shù)據(jù)。
日志監(jiān)控與告警
云日志服務(wù)結(jié)合應(yīng)用運(yùn)維管理(Application Operations Management,簡(jiǎn)稱AOM),支持對(duì)存儲(chǔ)在云日志服務(wù)中的日志數(shù)據(jù)進(jìn)行關(guān)鍵詞統(tǒng)計(jì),通過(guò)在一定時(shí)間段內(nèi)日志中關(guān)鍵字出現(xiàn)次數(shù),實(shí)時(shí)監(jiān)控服務(wù)運(yùn)行狀態(tài)。
日志轉(zhuǎn)儲(chǔ)
主機(jī)和云服務(wù)的日志數(shù)據(jù)上報(bào)至云日志服務(wù)后,默認(rèn)存儲(chǔ)時(shí)間為7天,可以在1-30天之間進(jìn)行設(shè)置。超出存儲(chǔ)時(shí)間的日志數(shù)據(jù)將會(huì)被自動(dòng)刪除,對(duì)于需要長(zhǎng)期存儲(chǔ)的日志數(shù)據(jù)(日志持久化),云日志服務(wù)提供轉(zhuǎn)儲(chǔ)功能,可以將日志轉(zhuǎn)儲(chǔ)至對(duì)象存儲(chǔ)服務(wù)(OBS)、數(shù)據(jù)接入服務(wù)(DIS)中長(zhǎng)期保存。日志轉(zhuǎn)儲(chǔ)基于復(fù)制的轉(zhuǎn)儲(chǔ)機(jī)制,在LTS設(shè)置的存儲(chǔ)時(shí)間內(nèi)轉(zhuǎn)儲(chǔ)至OBS的日志,不會(huì)在LTS被刪除。
云日志服務(wù)應(yīng)用場(chǎng)景
日志采集與分析
主機(jī)和云服務(wù)的日志數(shù)據(jù),不方便查閱并且會(huì)定期清空。云日志服務(wù)采集日志后,日志數(shù)據(jù)可以在云日志控制臺(tái)以簡(jiǎn)單有序的方式展示、方便快捷的方式進(jìn)行查詢,并且可以長(zhǎng)期存儲(chǔ)。對(duì)采集的日志數(shù)據(jù),可以通過(guò)關(guān)鍵字查詢、模糊查詢等方式簡(jiǎn)單快速地進(jìn)行查詢,適用于日志實(shí)時(shí)數(shù)據(jù)分析、安全診斷與分析、運(yùn)營(yíng)與客服系統(tǒng)等,例如云服務(wù)的訪問(wèn)量、點(diǎn)擊量等,通過(guò)日志數(shù)據(jù)分析,可以輸出詳細(xì)的運(yùn)營(yíng)數(shù)據(jù)。
合理優(yōu)化業(yè)務(wù)性能
網(wǎng)站服務(wù)(數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)等)的性能和服務(wù)質(zhì)量是衡量用戶滿意度的關(guān)鍵指標(biāo),通過(guò)用戶的擁塞記錄日志發(fā)現(xiàn)站點(diǎn)的性能瓶頸,以提示站點(diǎn)管理者改進(jìn)網(wǎng)站緩存策略、網(wǎng)絡(luò)傳輸策略等,合理優(yōu)化業(yè)務(wù)性能。例如:
分析歷史網(wǎng)站數(shù)據(jù),構(gòu)建業(yè)務(wù)網(wǎng)絡(luò)基準(zhǔn)。
及時(shí)發(fā)現(xiàn)業(yè)務(wù)性能瓶頸,合理擴(kuò)容或流量降低。
分析網(wǎng)絡(luò)流量,優(yōu)化網(wǎng)絡(luò)安全策略。
快速定位網(wǎng)絡(luò)故障
網(wǎng)絡(luò)質(zhì)量是業(yè)務(wù)穩(wěn)定的基石,將日志上報(bào)至云日志服務(wù),確保問(wèn)題發(fā)生時(shí)能及時(shí)查看、定位問(wèn)題,助力您快速定位網(wǎng)絡(luò)故障,進(jìn)行網(wǎng)絡(luò)回溯取證。例如:
快速定位問(wèn)題根源的云服務(wù)器,例如帶寬過(guò)度使用的云服務(wù)器。
通過(guò)分析訪問(wèn)日志,判斷業(yè)務(wù)是否遭到了攻擊、非法盜鏈和不良請(qǐng)求等,及時(shí)定位并解決問(wèn)題。