方案概述
云上用戶經(jīng)常會(huì)遇到多云或者跨Region采集日志的場景，典型場景有兩種，分別是：
場景一：將互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Data Center，以下簡稱IDC）或者第三方云廠商的日志采集到華為云 LTS 。
場景二：將華為云RegionA的日志采集到華為云RegionB的LTS。
對(duì)于場景一和場景二，您需要先打通網(wǎng)絡(luò)，再安裝ICAgent，最后按照日志接入向?qū)Ъ纯梢詫⑷罩静杉絃TS。
ICAgent：ICAgent是華為 云日志 服務(wù)的日志采集器，通過在主機(jī)上安裝ICAgent，您可以將日志采集到LTS。安裝ICAgent前，請(qǐng)確保本地瀏覽器的時(shí)間、時(shí)區(qū)與主機(jī)的時(shí)間、時(shí)區(qū)一致。
網(wǎng)絡(luò)互通：
場景一：自建IDC或者第三方云廠商與華為云之間網(wǎng)絡(luò)互通的典型方式是 云專線 DC，如果沒有專線，您可以嘗試VPN/ 公網(wǎng)IP 方式。
場景二：華為云不同Region之間網(wǎng)絡(luò)互通典型的方式是 云連接 CC/云專線DC，您也可以使用VPN/公網(wǎng)IP方式。
跳板機(jī)
安裝在自建IDC/第三方云廠商/跨華為云Region的ICAgent無法直接訪問華為云管理面上報(bào)日志的網(wǎng)段，需要配置跳板機(jī)進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)；當(dāng)您在進(jìn)行POC測試，或者日志流量并不大的情況下，可以使用跳板機(jī)的方案。對(duì)于大流量的日志場景，如果您希望在生產(chǎn)環(huán)境中去掉跳板機(jī)，請(qǐng)提交工單給華為云網(wǎng)絡(luò)技術(shù)支持工程師幫您設(shè)計(jì)網(wǎng)絡(luò)直通的方案。
典型的跳板機(jī)配置是2vCPUs | 4GB，每臺(tái)跳板機(jī)可以支持約30MB/s的流量轉(zhuǎn)發(fā)，您可以根據(jù)自身的日志流量配置合理數(shù)量的跳板機(jī)，多臺(tái)跳板機(jī)配置ELB進(jìn)行流量分發(fā)。
本文將詳細(xì)介紹將阿里云主機(jī)日志采集到華為云LTS的操作步驟，客戶自建IDC和華為云上跨Region采集日志的操作方式與采集阿里云主機(jī)日志的方式類似。
以下將阿里云-華北二-北京局點(diǎn)的日志采集到華為云華東-上海一局點(diǎn)的LTS服務(wù)，云主機(jī)的操作系統(tǒng)為Linux環(huán)境。
資源規(guī)劃
|
區(qū)域 |
資源 |
資源說明 |
|---|---|---|
|
華東-上海一 |
彈性 云服務(wù)器 ECS |
推薦CentOS 6.5 64bit及其以上版本的 鏡像 ， 最低規(guī)格為1vCPUs | 1GB，推薦規(guī)格為2vCPUs | 4GB。 |
|
彈性負(fù)載均衡 ELB |
|
步驟一：在華為云華東-上海一購買ELB和云主機(jī)作為跳板機(jī)
- 登錄云服務(wù)控制臺(tái)，購買彈性云服務(wù)器 ECS。
非華為云上的服務(wù)器安裝ICAgent，需要先在華為云上購買一臺(tái)彈性云服務(wù)器作為跳板機(jī)。
- 購買彈性負(fù)載均衡 ELB，并添加TCP監(jiān)聽器和后端服務(wù)器組。
- 添加監(jiān)聽器。分別為端口30200、30201、8149、8923、8102添加監(jiān)聽器，具體請(qǐng)參見添加TCP監(jiān)聽器。
圖3 添加監(jiān)聽器
- 為后端服務(wù)器組添加跳板機(jī)，具體請(qǐng)參見添加后端服務(wù)器。
圖4 添加云服務(wù)器
- 添加監(jiān)聽器。分別為端口30200、30201、8149、8923、8102添加監(jiān)聽器，具體請(qǐng)參見添加TCP監(jiān)聽器。
- 配置跳板機(jī)安全組規(guī)則，并開通轉(zhuǎn)發(fā)端口。
- 修改跳板機(jī)ECS使用的安全組規(guī)則。
- 單擊ECS主機(jī)名稱進(jìn)入詳情頁。
- 在安全組頁簽，單擊具體的安全組名，進(jìn)入安全組詳情頁。
- 在該安全組詳情頁，選擇“入方向規(guī)則”頁簽，單擊“添加規(guī)則 ”。將安全組的入方向端口8149、8102、8923、30200、30201、80開啟，保證非華為云的VM到跳板機(jī)ECS的數(shù)據(jù)連通性。
圖5 修改安全組規(guī)則
- 在云日志服務(wù)控制臺(tái)，選擇“主機(jī)管理 > 主機(jī)”，單擊“安裝ICAgent”，進(jìn)入安裝ICAgent詳情頁面。按下圖配置，“跳板機(jī)私有IP”填入ECS私有IP，生成安裝命令。
圖6 安裝ICAgent
- 復(fù)制命令以root用戶登錄跳板機(jī)，執(zhí)行SSH Tunnel轉(zhuǎn)發(fā)命令，根據(jù)命令提示輸入root用戶密碼即可。
- 執(zhí)行netstat -lnp | grep ssh命令查看對(duì)應(yīng)端口是否被偵聽，如果返回結(jié)果如下圖所示，說明TCP端口已開通。
- 在瀏覽器地址欄里輸入“http://跳板機(jī)ECS的IP地址”。如果訪問成功，說明安全組規(guī)則已經(jīng)生效。
- 如果跳板機(jī)ECS掉電重啟，請(qǐng)重新執(zhí)行安裝ICAgent頁面生成的安裝命令。如果您在生產(chǎn)環(huán)境中使用，請(qǐng)將上述端口轉(zhuǎn)發(fā)命令配置為開機(jī)啟動(dòng)任務(wù)。
圖7 查看端口
- 修改跳板機(jī)ECS使用的安全組規(guī)則。
步驟二：在阿里云主機(jī)上安裝ICAgent
- 獲取AK/SK，請(qǐng)參考獲取華為賬號(hào)的AK/SK。
- 在云日志服務(wù)控制臺(tái)的“安裝ICAgent”頁面，輸入跳板機(jī)連接IP（注意需要填入ECS彈性公網(wǎng)IP），生成ICAgent安裝命令。
圖8 安裝ICAgent頁面
- 請(qǐng)確保替換正確的AK/SK，否則將無法安裝ICAgent。
- 跳板機(jī)連接IP：使用EIP方式連接，為跳板機(jī)彈性公網(wǎng)IP，使用云專線VPC對(duì)等連接方式，為跳板機(jī)VPC內(nèi)網(wǎng)IP。
- 復(fù)制命令root用戶登錄阿里云ECS，執(zhí)行ICAgent安裝命令進(jìn)行安裝，當(dāng)顯示“ICAgent install success”時(shí)，表示安裝成功。
如果是華為云跨Region采集日志，例如：將華為云華東-上海一局點(diǎn)采集日志到華為云華南-廣州局點(diǎn)，需要在華南-廣州局點(diǎn)購買ELB和跳板機(jī)ECS，然后將ICAgent的安裝命令在華東-上海一局點(diǎn)的跳板機(jī)ECS上執(zhí)行。
圖9 查看ICAgent安裝狀態(tài)
- 安裝成功后，在云日志服務(wù)左側(cè)導(dǎo)航欄中選擇“主機(jī)管理 > 主機(jī)”，查看該服務(wù)器中ICAgent狀態(tài)為“運(yùn)行”。
步驟三：將日志接入LTS
- 登錄華為云云日志服務(wù)控制臺(tái)，在左側(cè)導(dǎo)航欄中，選擇“主機(jī)管理 > 主機(jī)組”，單擊“新建主機(jī)組”，填寫“主機(jī)組名稱”并勾選主機(jī)，即可創(chuàng)建完成主機(jī)組。
- 配置日志接入規(guī)則。具體操作請(qǐng)參考ECS接入。
步驟四：查看日志流
在云日志服務(wù)（LTS）的日志管理頁面，單擊目標(biāo)日志流名稱進(jìn)入詳情頁面，查看有日志即可證明阿里云主機(jī)日志已成功上報(bào)到LTS。
