飞象网 - 通信人每天必上的网站

首頁|必讀|視頻|專訪|運營|制造|監管|大數據|物聯網|量子|低空經濟|智能汽車|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯網|會展
首頁 >> 云計算 >> 正文

Cloudera Lakehouse Optimizer助力企業輕松交付高性能Iceberg表

2025年2月24日 14:57  CCTIME飛象網  作 者:Bill Zhang

Cloudera數據倉庫產品管理高級總監Bill Zhang

IDC調研中國數據顯示,在落地GenAI應用時,68%的企業認為需要梳理內部數據資產,66%的企業希望搭建數據湖等數據底座。開放式數據湖倉一體架構正迅速成為海量數據進行統一、多功能分析的標準架構。這種架構既融合了數據湖的靈活性和可擴展性,又具備數據倉庫的數據分析、治理和管理功能,為企業提供了強大的數據處理能力。開放表格式是這一架構的關鍵組成部分,它直接在數據湖存儲上提供了大量傳統數據倉庫的功能。目前,Apache Iceberg正迅速成為廠商和客戶的標準格式。

盡管Iceberg的諸多特性可大幅降低實現高性能數據視圖所需的工作量,但這些特性也帶來了額外的開銷,并且需要手動執行作業以優化性能和成本。為進一步簡化數據湖倉一體架構的管理,Cloudera推出了Cloudera Lakehouse Optimizer。該服務可智能化自動處理Iceberg表,使得許多維護作業能夠在后臺自動運行。下面,我們將詳細介紹Cloudera Lakehouse Optimizer的功能、優勢以及未來的發展方向。

Cloudera Lakehouse Optimizer的功能

Cloudera Lakehouse Optimizer根據用戶配置和Iceberg表統計數據,自動運行基于策略的Iceberg表優化任務。自動優化任務包括:

壓縮(Compaction):企業通常會通過微批處理(MicroBatching)或流式攝取(StreamingIngestion)等方式接收大量小文件,而讀取這些小文件會嚴重影響查詢性能。壓縮是將小文件合并為大文件以提升性能的過程。Cloudera Lakehouse Optimizer能夠自主判斷自動壓縮數據文件的最佳時機,確保用戶的表始終保持最佳性能。該服務還會根據使用模式優先優化高價值的表,確保每次優化都能帶來實際的投資回報。

表清理(Table Cleanup):隨著表的增長,往往會積累大量不再使用的數據文件、清單文件和快照。用戶通常需要執行表維護功能,例如清除過期快照、移除舊元數據文件以及清理孤立文件,以優化存儲利用率并提升性能。Cloudera Lakehouse Optimizer能夠自主判斷維護任務的最佳時機,確保表的存儲利用率最大化。

除了優化措施和基于策略的控制措施,Cloudera Lakehouse Optimizer還提供了優化任務的可觀測性,以幫助數據團隊清晰了解策略對表和存儲健康狀況及性能的影響。

Cloudera Lakehouse Optimizer的優勢

Cloudera Lakehouse Optimizer為使用Iceberg表的企業帶來了諸多優勢:

·通過優化存儲占用空間和減少查詢運行時間,降低總體擁有成本(TCO)。

·通過減少查詢中需要讀取的文件數量,提供高性能的數據視圖。

·通過自動執行一些繁瑣的湖倉維護任務,減少數據管理工作和開銷。

Cloudera內部基準測試表明,使用Cloudera Lakehouse Optimizer維護Iceberg表可顯著節約成本。實際效果因使用場景不同可能有所差異。

未來方向

對于想要轉向開放式數據湖倉一體架構的企業,Cloudera Lakehouse Optimizer當前推出的功能為他們解決了兩個重要難題。Cloudera的愿景是讓提供高性能的數據視圖變得更加容易,而這僅僅是實現這一愿景所邁出的第一步。未來,我們計劃增加對更多優化功能的支持,包括通過分區重組解決影響查詢性能的數據分布問題和查詢優化。

我們的目標是確保Cloudera成為管理和訪問Iceberg表的最佳平臺之一,同時讓企業更輕松地采用開放式數據湖倉一體架構。

編 輯:魏德齡
飛象網版權及免責聲明:
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
vivo胡柏山:手機行業是最典型的新質生產力代表
精彩專題
低空經濟2025:助力中國經濟騰飛,成就高質量發展
2024通信業年終盤點
2024數字科技生態大會
2024年度中國光電纜優質供應商評選活動
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
主站蜘蛛池模板: 磁力链接搜索神器_BT磁力狗_CILIMAO磁力猫_高效磁力搜索引擎2024 | 成都租车_成都租车公司_成都租车网_众行宝| 重庆LED显示屏_显示屏安装公司_重庆LED显示屏批发-彩光科技公司 重庆钣金加工厂家首页-专业定做监控电视墙_操作台 | UV-1800紫外光度计-紫外可见光度计厂家-翱艺仪器(上海)有限公司 | 质检报告_CE认证_FCC认证_SRRC认证_PSE认证_第三方检测机构-深圳市环测威检测技术有限公司 | 不锈钢水管-不锈钢燃气管-卫生级不锈钢管件-不锈钢食品级水管-广东双兴新材料集团有限公司 | 大型果蔬切片机-水果冬瓜削皮机-洗菜机切菜机-肇庆市凤翔餐饮设备有限公司 | 橡胶膜片,夹布膜片,橡胶隔膜密封,泵阀设备密封膜片-衡水汉丰橡塑科技公司网站 | 干法制粒机_智能干法制粒机_张家港市开创机械制造有限公司 | 塑料撕碎机_编织袋撕碎机_废纸撕碎机_生活垃圾撕碎机_废铁破碎机_河南鑫世昌机械制造有限公司 | 并网柜,汇流箱,电控设备,中高低压开关柜,电气电力成套设备,PLC控制设备订制厂家,江苏昌伟业新能源科技有限公司 | 茶叶百科网-茶叶知识与茶文化探讨分享平台 | 高铝轻质保温砖_刚玉莫来石砖厂家_轻质耐火砖价格 | 冲锋衣滑雪服厂家-冲锋衣定制工厂-滑雪服加工厂-广东睿牛户外(S-GERT) | 深圳市源和塑胶电子有限公司-首页| 运动木地板价格,篮球馆体育运动木地板生产厂家_欧氏地板 | 远程会诊系统-手术示教系统【林之硕】医院远程医疗平台 | 房在线-免费房产管理系统软件-二手房中介房屋房源管理系统软件 | 冰晶石|碱性嫩黄闪蒸干燥机-有机垃圾烘干设备-草酸钙盘式干燥机-常州市宝康干燥 | 河南橡胶接头厂家,河南波纹补偿器厂家,河南可曲挠橡胶软连接,河南套筒补偿器厂家-河南正大阀门 | 高低温万能试验机_拉力试验机_拉伸试验机-馥勒仪器科技(上海)有限公司 | nalgene洗瓶,nalgene量筒,nalgene窄口瓶,nalgene放水口大瓶,浙江省nalgene代理-杭州雷琪实验器材有限公司 | 送料机_高速冲床送料机_NC伺服滚轮送料机厂家-东莞市久谐自动化设备有限公司 | 真空乳化机-灌装封尾机-首页-温州精灌| 冷藏车厂家|冷藏车价格|小型冷藏车|散装饲料车厂家|程力专用汽车股份有限公司销售十二分公司 | 电主轴,车床电磨头,变频制动电机-博山鸿达特种电机 | 东莞市海宝机械有限公司-不锈钢分选机-硅胶橡胶-生活垃圾-涡电流-静电-金属-矿石分选机 | 高效节能电机_伺服主轴电机_铜转子电机_交流感应伺服电机_图片_型号_江苏智马科技有限公司 | 智能气瓶柜(大型气瓶储存柜)百科 | 北京中创汇安科贸有限公司 | 今日扫码_溯源二维码_产品防伪一物一码_红包墙营销方案 | 欧洲MV日韩MV国产_人妻无码一区二区三区免费_少妇被 到高潮喷出白浆av_精品少妇自慰到喷水AV网站 | 油缸定制-液压油缸厂家-无锡大鸿液压气动成套有限公司 | 高压贴片电容|贴片安规电容|三端滤波器|风华电容代理南京南山 | 浙江宝泉阀门有限公司| 雨水收集系统厂家-雨水收集利用-模块雨水收集池-徐州博智环保科技有限公司 | 掺铥光纤放大器-C/L波段光纤放大器-小信号光纤放大器-合肥脉锐光电技术有限公司 | 武汉EPS线条_EPS装饰线条_EPS构件_湖北博欧EPS线条厂家 | 讲师宝经纪-专业培训机构师资供应商_培训机构找讲师、培训师、讲师经纪就上讲师宝经纪 | 整合营销推广|营销网络推广公司|石家庄网站优化推广公司|智营销 好物生环保网、环保论坛 - 环保人的学习交流平台 | 全国国际化学校_国际高中招生_一站式升学择校服务-国际学校网 |