方案概述
云上用戶經(jīng)常會遇到多云或者跨Region采集日志的場景，典型場景有兩種，分別是：
場景一：將互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Data Center，以下簡稱IDC）或者第三方云廠商的日志采集到華為云 LTS 。
場景二：將華為云RegionA的日志采集到華為云RegionB的LTS。
對于場景一和場景二，您需要先打通網(wǎng)絡，再安裝ICAgent，最后按照日志接入向?qū)Ъ纯梢詫⑷罩静杉絃TS。
ICAgent：ICAgent是華為 云日志 服務的日志采集器，通過在主機上安裝ICAgent，您可以將日志采集到LTS。安裝ICAgent前，請確保本地瀏覽器的時間、時區(qū)與主機的時間、時區(qū)一致。
網(wǎng)絡互通：
場景一：自建IDC或者第三方云廠商與華為云之間網(wǎng)絡互通的典型方式是 云專線 DC，如果沒有專線，您可以嘗試VPN/ 公網(wǎng)IP 方式。
場景二：華為云不同Region之間網(wǎng)絡互通典型的方式是 云連接 CC/云專線DC，您也可以使用VPN/公網(wǎng)IP方式。
跳板機
安裝在自建IDC/第三方云廠商/跨華為云Region的ICAgent無法直接訪問華為云管理面上報日志的網(wǎng)段，需要配置跳板機進行數(shù)據(jù)轉(zhuǎn)發(fā)；當您在進行POC測試，或者日志流量并不大的情況下，可以使用跳板機的方案。對于大流量的日志場景，如果您希望在生產(chǎn)環(huán)境中去掉跳板機，請提交工單給華為云網(wǎng)絡技術支持工程師幫您設計網(wǎng)絡直通的方案。
典型的跳板機配置是2vCPUs | 4GB，每臺跳板機可以支持約30MB/s的流量轉(zhuǎn)發(fā)，您可以根據(jù)自身的日志流量配置合理數(shù)量的跳板機，多臺跳板機配置ELB進行流量分發(fā)。
本文將詳細介紹將阿里云主機日志采集到華為云LTS的操作步驟，客戶自建IDC和華為云上跨Region采集日志的操作方式與采集阿里云主機日志的方式類似。
以下將阿里云-華北二-北京局點的日志采集到華為云華東-上海一局點的LTS服務，云主機的操作系統(tǒng)為Linux環(huán)境。
資源規(guī)劃
|
區(qū)域 |
資源 |
資源說明 |
|---|---|---|
|
華東-上海一 |
彈性 云服務器 ECS |
推薦CentOS 6.5 64bit及其以上版本的 鏡像 ， 最低規(guī)格為1vCPUs | 1GB，推薦規(guī)格為2vCPUs | 4GB。 |
|
彈性負載均衡 ELB |
|
步驟一：在華為云華東-上海一購買ELB和云主機作為跳板機
- 登錄云服務控制臺，購買彈性云服務器 ECS。
非華為云上的服務器安裝ICAgent，需要先在華為云上購買一臺彈性云服務器作為跳板機。
- 購買彈性負載均衡 ELB，并添加TCP監(jiān)聽器和后端服務器組。
- 添加監(jiān)聽器。分別為端口30200、30201、8149、8923、8102添加監(jiān)聽器，具體請參見添加TCP監(jiān)聽器。
圖3 添加監(jiān)聽器
- 為后端服務器組添加跳板機，具體請參見添加后端服務器。
圖4 添加云服務器
- 添加監(jiān)聽器。分別為端口30200、30201、8149、8923、8102添加監(jiān)聽器，具體請參見添加TCP監(jiān)聽器。
- 配置跳板機安全組規(guī)則，并開通轉(zhuǎn)發(fā)端口。
- 修改跳板機ECS使用的安全組規(guī)則。
- 單擊ECS主機名稱進入詳情頁。
- 在安全組頁簽，單擊具體的安全組名，進入安全組詳情頁。
- 在該安全組詳情頁，選擇“入方向規(guī)則”頁簽，單擊“添加規(guī)則 ”。將安全組的入方向端口8149、8102、8923、30200、30201、80開啟，保證非華為云的VM到跳板機ECS的數(shù)據(jù)連通性。
圖5 修改安全組規(guī)則
- 在云日志服務控制臺，選擇“主機管理 > 主機”，單擊“安裝ICAgent”，進入安裝ICAgent詳情頁面。按下圖配置，“跳板機私有IP”填入ECS私有IP，生成安裝命令。
圖6 安裝ICAgent
- 復制命令以root用戶登錄跳板機，執(zhí)行SSH Tunnel轉(zhuǎn)發(fā)命令，根據(jù)命令提示輸入root用戶密碼即可。
- 執(zhí)行netstat -lnp | grep ssh命令查看對應端口是否被偵聽，如果返回結(jié)果如下圖所示，說明TCP端口已開通。
- 在瀏覽器地址欄里輸入“http://跳板機ECS的IP地址”。如果訪問成功，說明安全組規(guī)則已經(jīng)生效。
- 如果跳板機ECS掉電重啟，請重新執(zhí)行安裝ICAgent頁面生成的安裝命令。如果您在生產(chǎn)環(huán)境中使用，請將上述端口轉(zhuǎn)發(fā)命令配置為開機啟動任務。
圖7 查看端口
- 修改跳板機ECS使用的安全組規(guī)則。
步驟二：在阿里云主機上安裝ICAgent
- 獲取AK/SK，請參考獲取華為賬號的AK/SK。
- 在云日志服務控制臺的“安裝ICAgent”頁面，輸入跳板機連接IP（注意需要填入ECS彈性公網(wǎng)IP），生成ICAgent安裝命令。
圖8 安裝ICAgent頁面
- 請確保替換正確的AK/SK，否則將無法安裝ICAgent。
- 跳板機連接IP：使用EIP方式連接，為跳板機彈性公網(wǎng)IP，使用云專線VPC對等連接方式，為跳板機VPC內(nèi)網(wǎng)IP。
- 復制命令root用戶登錄阿里云ECS，執(zhí)行ICAgent安裝命令進行安裝，當顯示“ICAgent install success”時，表示安裝成功。
如果是華為云跨Region采集日志，例如：將華為云華東-上海一局點采集日志到華為云華南-廣州局點，需要在華南-廣州局點購買ELB和跳板機ECS，然后將ICAgent的安裝命令在華東-上海一局點的跳板機ECS上執(zhí)行。
圖9 查看ICAgent安裝狀態(tài)
- 安裝成功后，在云日志服務左側(cè)導航欄中選擇“主機管理 > 主機”，查看該服務器中ICAgent狀態(tài)為“運行”。
步驟三：將日志接入LTS
- 登錄華為云云日志服務控制臺，在左側(cè)導航欄中，選擇“主機管理 > 主機組”，單擊“新建主機組”，填寫“主機組名稱”并勾選主機，即可創(chuàng)建完成主機組。
- 配置日志接入規(guī)則。具體操作請參考ECS接入。
步驟四：查看日志流
在云日志服務（LTS）的日志管理頁面，單擊目標日志流名稱進入詳情頁面，查看有日志即可證明阿里云主機日志已成功上報到LTS。
