日志分析功能
多種結(jié)構(gòu)化拆分和模板
日志分析需要將數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析,結(jié)構(gòu)化數(shù)據(jù)指能夠用數(shù)字或統(tǒng)一的數(shù)據(jù)模型加以描述的數(shù)據(jù),具有嚴(yán)格的長度和格式。日志結(jié)構(gòu)化是以日志流為單位,通過不同的日志提取方式將日志流中的日志進(jìn)行結(jié)構(gòu)化,提取出有固定格式或者相似程度較高的日志,過濾掉不相關(guān)的日志,以便對結(jié)構(gòu)化后的日志按照SQL語法進(jìn)行查詢與日志分析。
標(biāo)準(zhǔn)SQL查詢語法
LTS支持使用SQL語句(其中包括了聚合函數(shù)和數(shù)學(xué)函數(shù))對結(jié)構(gòu)化后的日志進(jìn)行日志分析查詢。例如,使用MIN函數(shù)計(jì)算num列中的最小值。
新版SQL查詢功能是原有功能的升級版本,功能更強(qiáng)大。
多樣式圖表和Dashboard
儀表盤能夠在云日志服務(wù)中實(shí)現(xiàn)實(shí)時(shí)日志分析,SQL語句查詢分析出的日志結(jié)果可由多種圖表表示,并能將多張統(tǒng)計(jì)圖表同步保存到儀表盤中。
云日志服務(wù)提供內(nèi)置的儀表盤模板,有APIG儀表盤模板、DCS儀表盤模板、DDS儀表盤模板、ELB儀表盤模板、NGINX儀表盤模板和CFW儀表盤模板。
日志實(shí)時(shí)告警
云日志服務(wù)結(jié)合應(yīng)用運(yùn)維管理(Application Operations Management,簡稱AOM),支持對存儲在云日志服務(wù)中的日志數(shù)據(jù)進(jìn)行關(guān)鍵詞統(tǒng)計(jì),通過在一定時(shí)間段內(nèi)日志中關(guān)鍵字出現(xiàn)次數(shù),實(shí)時(shí)監(jiān)控服務(wù)運(yùn)行狀態(tài)從而實(shí)現(xiàn)日志分析。
日志分析應(yīng)用場景
統(tǒng)計(jì)日志分析
日志通常以固定的格式按條輸出,將日志按照指定規(guī)則拆分成鍵值對,即可對日志進(jìn)行統(tǒng)計(jì)分析
優(yōu)勢
日志分析使用限制
日志采集到搜索時(shí)延
從日志產(chǎn)生到日志在控制臺能被搜索到的時(shí)間間隔小于2分鐘(非阻塞情況下)
關(guān)鍵詞個(gè)數(shù)
關(guān)鍵詞,即單次查詢時(shí)布爾邏輯符外的條件個(gè)數(shù)。每次查詢最多30個(gè)。
操作并發(fā)數(shù)
您在1個(gè)華為云賬號下支持的最大查詢操作并發(fā)數(shù)為200個(gè)。
查詢結(jié)果排序
默認(rèn)按照秒級時(shí)間從最新開始展示。
模糊查詢
在查詢語句單個(gè)詞長度小于255字符,星號(*)或問號(?)不能用在詞的開頭。long數(shù)據(jù)類型和double數(shù)據(jù)類型不支持使用星號(*)或問號(?)進(jìn)行模糊查詢
操作并發(fā)數(shù)
您在1個(gè)華為云賬號下日志分析并發(fā)數(shù)為15個(gè)。
數(shù)據(jù)量
日志分析單個(gè)日志流單次最大分析24GB數(shù)據(jù)。
數(shù)據(jù)生效機(jī)制
日志分析的日志結(jié)構(gòu)化只對新增結(jié)構(gòu)化配置之后寫入的數(shù)據(jù)生效。
字段值大小
日志分析的結(jié)構(gòu)化字段最大大小為16KB,超過部分不參與分析。
超時(shí)時(shí)間
日志分析操作的最大超時(shí)時(shí)間為60秒。
IP函數(shù)時(shí)效性
IP函數(shù)是可以通過日志分析IP地址所屬的國家、省份、城市及對應(yīng)的網(wǎng)絡(luò)運(yùn)營商,該函數(shù)依賴的后臺數(shù)據(jù)庫每半年更新一次,可能出現(xiàn)少量IP與地理位置映射未及時(shí)更新的情況。
云日志服務(wù)應(yīng)用場景
日志采集與分析
主機(jī)和云服務(wù)的日志數(shù)據(jù),不方便查閱并且會(huì)定期清空。云日志服務(wù)采集日志后,日志數(shù)據(jù)可以在云日志控制臺以簡單有序的方式展示、方便快捷的方式進(jìn)行日志分析查詢,并且可以長期存儲。對采集的日志數(shù)據(jù),可以通過關(guān)鍵字查詢、模糊查詢等方式簡單快速地進(jìn)行查詢,適用于實(shí)時(shí)日志分析、安全診斷與分析、運(yùn)營與客服系統(tǒng)等,例如云服務(wù)的訪問量、點(diǎn)擊量等,通過日志分析,可以輸出詳細(xì)的運(yùn)營數(shù)據(jù)。
合理優(yōu)化業(yè)務(wù)性能
網(wǎng)站服務(wù)(數(shù)據(jù)庫、網(wǎng)絡(luò)等)的性能和服務(wù)質(zhì)量是衡量用戶滿意度的關(guān)鍵指標(biāo),通過用戶的擁塞記錄日志分析發(fā)現(xiàn)站點(diǎn)的性能瓶頸,以提示站點(diǎn)管理者改進(jìn)網(wǎng)站緩存策略、網(wǎng)絡(luò)傳輸策略等,合理優(yōu)化業(yè)務(wù)性能。例如:
日志分析歷史網(wǎng)站數(shù)據(jù),構(gòu)建業(yè)務(wù)網(wǎng)絡(luò)基準(zhǔn)。
及時(shí)發(fā)現(xiàn)業(yè)務(wù)性能瓶頸,合理擴(kuò)容或流量降級。
日志分析網(wǎng)絡(luò)流量,優(yōu)化網(wǎng)絡(luò)安全策略。
快速定位網(wǎng)絡(luò)故障
網(wǎng)絡(luò)質(zhì)量是業(yè)務(wù)穩(wěn)定的基石,將日志上報(bào)至云日志服務(wù),確保問題發(fā)生時(shí)能及時(shí)進(jìn)行日志分析、定位問題,助力您快速定位網(wǎng)絡(luò)故障,進(jìn)行網(wǎng)絡(luò)回溯取證。例如:
快速定位問題根源的云服務(wù)器,例如帶寬過度使用的云服務(wù)器。
通過日志分析,判斷業(yè)務(wù)是否遭到了攻擊、非法盜鏈和不良請求等,及時(shí)定位并解決問題。
云日志服務(wù)日志分析視頻幫助
結(jié)構(gòu)化配置
06:20
儀表盤配置
05:13
日志接入
03:36
日志告警
03:46