飞象网 - 通信人每天必上的网站

首頁|必讀|視頻|專訪|運營|制造|監管|大數據|物聯網|量子|低空經濟|智能汽車|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯網|會展
首頁 >> 云計算 >> 正文

Cloudera Lakehouse Optimizer助力企業輕松交付高性能Iceberg表

2025年2月24日 14:57  CCTIME飛象網  作 者:Bill Zhang

Cloudera數據倉庫產品管理高級總監Bill Zhang

IDC調研中國數據顯示,在落地GenAI應用時,68%的企業認為需要梳理內部數據資產,66%的企業希望搭建數據湖等數據底座。開放式數據湖倉一體架構正迅速成為海量數據進行統一、多功能分析的標準架構。這種架構既融合了數據湖的靈活性和可擴展性,又具備數據倉庫的數據分析、治理和管理功能,為企業提供了強大的數據處理能力。開放表格式是這一架構的關鍵組成部分,它直接在數據湖存儲上提供了大量傳統數據倉庫的功能。目前,Apache Iceberg正迅速成為廠商和客戶的標準格式。

盡管Iceberg的諸多特性可大幅降低實現高性能數據視圖所需的工作量,但這些特性也帶來了額外的開銷,并且需要手動執行作業以優化性能和成本。為進一步簡化數據湖倉一體架構的管理,Cloudera推出了Cloudera Lakehouse Optimizer。該服務可智能化自動處理Iceberg表,使得許多維護作業能夠在后臺自動運行。下面,我們將詳細介紹Cloudera Lakehouse Optimizer的功能、優勢以及未來的發展方向。

Cloudera Lakehouse Optimizer的功能

Cloudera Lakehouse Optimizer根據用戶配置和Iceberg表統計數據,自動運行基于策略的Iceberg表優化任務。自動優化任務包括:

壓縮(Compaction):企業通常會通過微批處理(MicroBatching)或流式攝取(StreamingIngestion)等方式接收大量小文件,而讀取這些小文件會嚴重影響查詢性能。壓縮是將小文件合并為大文件以提升性能的過程。Cloudera Lakehouse Optimizer能夠自主判斷自動壓縮數據文件的最佳時機,確保用戶的表始終保持最佳性能。該服務還會根據使用模式優先優化高價值的表,確保每次優化都能帶來實際的投資回報。

表清理(Table Cleanup):隨著表的增長,往往會積累大量不再使用的數據文件、清單文件和快照。用戶通常需要執行表維護功能,例如清除過期快照、移除舊元數據文件以及清理孤立文件,以優化存儲利用率并提升性能。Cloudera Lakehouse Optimizer能夠自主判斷維護任務的最佳時機,確保表的存儲利用率最大化。

除了優化措施和基于策略的控制措施,Cloudera Lakehouse Optimizer還提供了優化任務的可觀測性,以幫助數據團隊清晰了解策略對表和存儲健康狀況及性能的影響。

Cloudera Lakehouse Optimizer的優勢

Cloudera Lakehouse Optimizer為使用Iceberg表的企業帶來了諸多優勢:

·通過優化存儲占用空間和減少查詢運行時間,降低總體擁有成本(TCO)。

·通過減少查詢中需要讀取的文件數量,提供高性能的數據視圖。

·通過自動執行一些繁瑣的湖倉維護任務,減少數據管理工作和開銷。

Cloudera內部基準測試表明,使用Cloudera Lakehouse Optimizer維護Iceberg表可顯著節約成本。實際效果因使用場景不同可能有所差異。

未來方向

對于想要轉向開放式數據湖倉一體架構的企業,Cloudera Lakehouse Optimizer當前推出的功能為他們解決了兩個重要難題。Cloudera的愿景是讓提供高性能的數據視圖變得更加容易,而這僅僅是實現這一愿景所邁出的第一步。未來,我們計劃增加對更多優化功能的支持,包括通過分區重組解決影響查詢性能的數據分布問題和查詢優化。

我們的目標是確保Cloudera成為管理和訪問Iceberg表的最佳平臺之一,同時讓企業更輕松地采用開放式數據湖倉一體架構。

編 輯:魏德齡
飛象網版權及免責聲明:
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
vivo胡柏山:手機行業是最典型的新質生產力代表
精彩專題
低空經濟2025:助力中國經濟騰飛,成就高質量發展
2024通信業年終盤點
2024數字科技生態大會
2024年度中國光電纜優質供應商評選活動
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
主站蜘蛛池模板: 密封无忧网 _ 专业的密封产品行业信息网| 一路商机网-品牌招商加盟优选平台-加盟店排行榜平台 | 棕刚玉-白刚玉厂家价格_巩义市东翔净水材料厂| 酵素生产厂家_酵素OEM_酵素加盟_酵素ODM_酵素原料厂家_厦门益力康 | NMRV减速机|铝合金减速机|蜗轮蜗杆减速机|NMRV减速机厂家-东莞市台机减速机有限公司 | 淘气堡_室内儿童乐园_户外无动力儿童游乐设备-高乐迪(北京) | 印刷人才网 印刷、包装、造纸,中国80%的印刷企业人才招聘选印刷人才网! | 数显恒温油浴-电砂浴-高温油浴振荡器-常州迈科诺仪器有限公司 | 低压载波电能表-单相导轨式电能表-华邦电力科技股份有限公司-智能物联网综合管理平台 | 定制奶茶纸杯_定制豆浆杯_广东纸杯厂_[绿保佳]一家专业生产纸杯碗的厂家 | 浙江红酒库-冰雕库-气调库-茶叶库安装-医药疫苗冷库-食品物流恒温恒湿车间-杭州领顺实业有限公司 | 螺杆泵_中成泵业| 济南展厅设计施工_数字化展厅策划设计施工公司_山东锐尚文化传播有限公司 | 建筑工程资质合作-工程资质加盟分公司-建筑资质加盟 | 煤矿支护网片_矿用勾花菱形网_缝管式_管缝式锚杆-邯郸市永年区志涛工矿配件有限公司 | 楼承板-开闭口楼承板-无锡海逵楼承板 | 长沙中央空调维修,中央空调清洗维保,空气能热水工程,价格,公司就找维小保-湖南维小保环保科技有限公司 | 昆明网络公司|云南网络公司|昆明网站建设公司|昆明网页设计|云南网站制作|新媒体运营公司|APP开发|小程序研发|尽在昆明奥远科技有限公司 | 剪刃_纵剪机刀片_分条机刀片-南京雷德机械有限公司 | 雨燕360体育免费直播_雨燕360免费NBA直播_NBA篮球高清直播无插件-雨燕360体育直播 | 气动隔膜泵-电动隔膜泵-循环热水泵-液下排污/螺杆/管道/化工泵「厂家」浙江绿邦 | 超声波分散机-均质机-萃取仪-超声波涂料分散设备-杭州精浩 | 东莞市海宝机械有限公司-不锈钢分选机-硅胶橡胶-生活垃圾-涡电流-静电-金属-矿石分选机 | 鑫达滑石-辽宁鑫达滑石集团| 塑钢课桌椅、学生课桌椅、课桌椅厂家-学仕教育设备首页 | 淘气堡_室内儿童乐园_户外无动力儿童游乐设备-高乐迪(北京) | AR开发公司_AR增强现实_AR工业_AR巡检|上海集英科技 | 衬塑管道_衬四氟管道厂家-淄博恒固化工设备有限公司 | 台式低速离心机-脱泡离心机-菌种摇床-常州市万丰仪器制造有限公司 | 仿清水混凝土_清水混凝土装修_施工_修饰_保护剂_修补_清水混凝土修复-德州忠岭建筑装饰工程 | 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库 | 活性炭厂家-蜂窝活性炭-粉状/柱状/果壳/椰壳活性炭-大千净化-活性炭 | 天长市晶耀仪表有限公司| 水篦子|雨篦子|镀锌格栅雨水篦子|不锈钢排水篦子|地下车库水箅子—安平县云航丝网制品厂 | 电缆故障测试仪_电缆故障定位仪_探测仪_检测仪器_陕西意联电气厂家 | 过跨车_过跨电瓶车_过跨转运车_横移电动平车_厂区转运车_无轨转运车 | 【甲方装饰】合肥工装公司-合肥装修设计公司,专业从事安徽办公室、店面、售楼部、餐饮店、厂房装修设计服务 | 天津市能谱科技有限公司-专业的红外光谱仪_红外测油仪_紫外测油仪_红外制样附件_傅里叶红外光谱技术生产服务厂商 | 锌合金压铸-铝合金压铸厂-压铸模具-冷挤压-誉格精密压铸 | 上海防爆真空干燥箱-上海防爆冷库-上海防爆冷柜?-上海浦下防爆设备厂家? | 成都办公室装修-办公室设计-写字楼装修设计-厂房装修-四川和信建筑装饰工程有限公司 |