檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://m.cqfng.cn/intl/zh-cn
不再顯示此消息
lib=/usr/local/lib -Dbundle.zstd=true參數(shù)zstd.lib指向本地庫中zstd依賴，使用bundle.zstd表示開啟編譯zstd,如果本地zstd庫找不到，編譯會(huì)失敗。3. Hive orc格式設(shè)置ZSTD為默認(rèn)壓縮算法。ORC-363(https://jira
Hive支持ZSTD壓縮格式 ZSTD（全稱為Zstandard）是一種開源的無損數(shù)據(jù)壓縮算法，其壓縮性能和壓縮比均優(yōu)于當(dāng)前Hadoop支持的其他壓縮格式，本特性使得Hive支持ZSTD壓縮格式的表。Hive支持基于ZSTD壓縮的存儲(chǔ)格式有常見的ORC，RCFile，TextFi
檢查源路徑（文件）或目標(biāo)路徑（文件）是否存在。 檢查文件類型是否正確，確保文件以正確的壓縮格式結(jié)尾。 啟用sudo權(quán)限或修改目錄文件權(quán)限屬性。 父主題： 解壓文件
創(chuàng)建ZSTD壓縮格式的Hive表 操作場景 文件壓縮可以減少儲(chǔ)存文件的空間，并且提高數(shù)據(jù)從磁盤讀取和網(wǎng)絡(luò)傳輸?shù)乃俣龋琀ive支持創(chuàng)建表時(shí)配置SNAPPY、ZLIB、Gzip、Bzip2、ZSTD等壓縮格式。 ZSTD（全稱為Zstandard）是一種開源的無損數(shù)據(jù)壓縮算法，其壓縮
解壓文件 沒有找到解壓文件 原生命令Compress-Archive打包時(shí)包含反斜杠“\” 執(zhí)行“解壓文件”步驟，關(guān)于部署應(yīng)用中斷問題 執(zhí)行“解壓文件”步驟，關(guān)于權(quán)限不夠問題 執(zhí)行“解壓文件”步驟，關(guān)于參數(shù)含反斜杠“\”（特例）問題 執(zhí)行“解壓文件”步驟，日志提示“環(huán)境下沒有主機(jī)”怎樣處理？
zstd壓縮算法有什么優(yōu)勢？ 問： zstd壓縮算法有什么優(yōu)勢？ 答： ZSTD（全稱為Zstandard）是一種開源的無損數(shù)據(jù)壓縮算法，其壓縮性能和壓縮比均優(yōu)于當(dāng)前Hadoop支持的其他壓縮格式。 具體詳細(xì)請參考https://github.com/L-Angel/compress-demo。
使用ZSTD_JNI壓縮算法壓縮Hive ORC表 操作場景 ZSTD_JNI是ZSTD壓縮算法的native實(shí)現(xiàn)，相較于ZSTD而言，壓縮讀寫效率和壓縮率更優(yōu)，并允許用戶設(shè)置壓縮級別，以及對特定格式的數(shù)據(jù)列指定壓縮方式。 目前僅ORC格式的表支持ZSTD_JNI壓縮方式，而普通
-128。 環(huán)境 選擇當(dāng)前資源類型為主機(jī)集群的環(huán)境，作為部署對象。 解壓文件 指定待解壓文件的路徑和解壓目錄。 控制選項(xiàng) 配置是否啟用以下操作。 失敗后繼續(xù)運(yùn)行：當(dāng)前步驟部署失敗后，應(yīng)用繼續(xù)部署后續(xù)的步驟。 使用sudo權(quán)限執(zhí)行：配置使用sudo權(quán)限部署該步驟。 若在部署過程中遇
com/blogs/168931）已經(jīng)介紹了zstd算法，以及從源碼開始安裝zstd庫方式；這里介紹一種使用EulerOS 2.x/centos7運(yùn)行hadoop3/hbase2時(shí)，快速安裝zstd庫的方法。安裝直接從下面地址下載zstd庫的rpm文件https://download-ib01
使用LZC壓縮算法存儲(chǔ)HDFS文件 配置場景 文件壓縮可以減少存儲(chǔ)文件的空間，并且提高數(shù)據(jù)從磁盤讀取和網(wǎng)絡(luò)傳輸?shù)乃俣?。HDFS有Gzip和Snappy這兩種默認(rèn)壓縮格式。本章節(jié)為HDFS新增加的壓縮格式LZC（Lempel-Ziv Compression）提供配置方法。
使用LZC壓縮算法存儲(chǔ)HDFS文件 配置場景 文件壓縮可以減少存儲(chǔ)文件的空間，并且提高數(shù)據(jù)從磁盤讀取和網(wǎng)絡(luò)傳輸?shù)乃俣?。HDFS有Gzip和Snappy這兩種默認(rèn)壓縮格式。本章節(jié)為HDFS新增加的壓縮格式LZC（Lempel-Ziv Compression）提供配置方法。
文章目錄 簡介1. 文件的下載2. 將下載到文件保存到本地3. 文件壓縮4. 文件解壓5. 遞歸刪除文件6. 最終的測試 總結(jié) 簡介 文件的讀寫是日常開發(fā)中經(jīng)常碰到的需求，熟練掌握文件的讀寫是每個(gè)Java開發(fā)者的基本功。本文將主要介紹常見的文件讀寫操作。 之前寫過一篇Java
執(zhí)行“解壓文件”步驟，關(guān)于參數(shù)含反斜杠“\”（特例）問題 問題現(xiàn)象 當(dāng)部署主機(jī)相關(guān)的應(yīng)用時(shí)，出現(xiàn)如下日志： 以路徑為例，有以下幾種常見現(xiàn)象： 輸入的路徑參數(shù)有“\b”特殊字符導(dǎo)致部署報(bào)錯(cuò)，如下圖所示。 圖1 日志信息 輸入的路徑參數(shù)有“\f”特殊字符導(dǎo)致部署報(bào)錯(cuò)，如下圖所示。 圖2
執(zhí)行“解壓文件”步驟，關(guān)于權(quán)限不夠問題 問題現(xiàn)象 部署主機(jī)相關(guān)的應(yīng)用時(shí)，出現(xiàn)“權(quán)限不夠”日志提示時(shí)，說明當(dāng)前用戶對當(dāng)前文件或文件夾沒有操作權(quán)限。 原因分析 當(dāng)前用戶對當(dāng)前文件或文件夾沒有操作權(quán)限。 處理方法 采用對當(dāng)前用戶可以訪問的文件。 使用權(quán)限更高的用戶，如：root。 給當(dāng)
HiLens Studio中如何解壓縮文件？ HiLens Studio基于Linux系統(tǒng)，使用Linux解壓縮命令即可實(shí)現(xiàn)解壓縮文件。 父主題： HiLens Studio使用
執(zhí)行“解壓文件”步驟，路徑不合法問題 問題現(xiàn)象 日志信息提示非法路徑。 原因分析 輸入的路徑有誤。 處理方法 檢查輸入的路徑是否正確，路徑中不能出現(xiàn)“\”。 父主題： 解壓文件
執(zhí)行“解壓文件”步驟，關(guān)于使用sudo權(quán)限執(zhí)行報(bào)錯(cuò)問題 問題現(xiàn)象 部署主機(jī)相關(guān)應(yīng)用時(shí)，選擇“使用sudo權(quán)限執(zhí)行”，出現(xiàn)“需要密碼”報(bào)錯(cuò)。 原因分析 當(dāng)前用戶選擇了“使用sudo權(quán)限執(zhí)行”選項(xiàng)，但是在Linux系統(tǒng)的/etc/sudoers文件中并未對當(dāng)前用戶設(shè)置免密配置。 處理方法
執(zhí)行“解壓文件”步驟，日志提示“找不到環(huán)境”怎樣處理？ 問題現(xiàn)象 日志信息提示獲取環(huán)境失敗，找不到環(huán)境。 原因分析 引用的環(huán)境不存在或者被刪除。 處理方法 選擇目標(biāo)應(yīng)用，單擊圖標(biāo)，單擊“編輯”，進(jìn)入“部署步驟”頁面。 單擊“環(huán)境管理”，切換到“環(huán)境管理”頁面。 單擊“新建環(huán)境”，
執(zhí)行“解壓文件”步驟，關(guān)于windows主機(jī)部署應(yīng)用失敗問題 問題現(xiàn)象 日志信息提示如下圖所示。 圖1 日志信息 原因分析 由于windows主機(jī)連通性驗(yàn)證時(shí)，缺失指定補(bǔ)丁包導(dǎo)致。 處理方法 按照windows配置文檔重新進(jìn)行連通性驗(yàn)證 。 父主題： 解壓文件
執(zhí)行“解壓文件”步驟，日志提示“環(huán)境下沒有主機(jī)”怎樣處理？ 問題現(xiàn)象 日志信息提示獲取主機(jī)失敗，環(huán)境下沒有主機(jī)。 原因分析 環(huán)境里面沒有主機(jī)導(dǎo)致的錯(cuò)誤。 處理方法 選擇目標(biāo)應(yīng)用，單擊圖標(biāo)，單擊“編輯”，進(jìn)入“部署步驟”頁面。 單擊“環(huán)境管理”，切換到“環(huán)境管理”頁面。 單擊目標(biāo)環(huán)
執(zhí)行“解壓文件”步驟，關(guān)于部署應(yīng)用中斷問題 問題現(xiàn)象 當(dāng)部署主機(jī)相關(guān)的應(yīng)用時(shí)，出現(xiàn)如下日志： 問題分析 由于主機(jī)中 /etc/ssh/sshd_config 配置文件中對服務(wù)器與客戶端交互的活動(dòng)心跳時(shí)間做出了限制，所以在一個(gè)Ansible應(yīng)用中如果在“規(guī)定時(shí)間”中主機(jī)沒有任何響應(yīng)
上傳文件或文件夾 上傳文件操作可將本地文件或文件夾存儲(chǔ)至OBS，對象的存儲(chǔ)類別默認(rèn)與桶的存儲(chǔ)類別一致。 背景信息 OBS Browser+使用分段上傳功能上傳文件。通過分段上傳功能，OBS Browser+支持上傳最大為48.8TB的單個(gè)文件。 文件或文件夾名稱長度不能超過102
