飞象网 - 通信人每天必上的网站

首頁|必讀|視頻|專訪|運營|制造|監管|大數據|物聯網|量子|元宇宙|博客|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯網|會展
首頁 >> 互聯網 >> 正文

我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數據平臺!

2024年4月26日 10:26  CCTIME飛象網  

導語:市場上首個 K8s 上的大數據平臺,開源了!

智領云自主研發的首個完全基于Kubernetes的容器化大數據平臺

Kubernetes Data Platform (簡稱KDP)

開源啦!

開發者只要準備好命令行工具,一鍵部署

Hadoop,Hive,Spark,Kafka, Flink, MinIO ...

就可以創建以前要花幾十萬甚至幾百萬才可以買到的大數據平臺

無需再花大量的時間和經費去做重復的研發

高度集成,單機即可體驗大數據平臺

在高級安裝模式下

用戶可在現有的K8s集群上集成運行大數據組件

不用額外單獨建設大數據集群

項目地址:

https://github.com/linktimecloud/kubernetes-data-platform

辛辛苦苦研究出來的成果,為什么要開源?

這波格局開大,老板有話說

問題1:我們為什么要開源?

我們的產品一直是基于大數據開源生態體系建設的。之前就一直有開源回饋社區的計劃,但是因為之前Kubernetes對于大數據組件的支持還不夠成熟,我們也一直在迭代與Kubernetes的適配。現在我們的企業版已經在很多頭部客戶落地并且在生產環境下高效運行,覺得這個版本已經可以達到大部分生產級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數據組件的門檻,讓更多Kuberenetes和big data社區的同行們可以使用。

問題2:開源版本的KDP,能干啥?

KDP可以很方便的在Kubenetes上安裝和管理常用的大數據組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去適配,可以直接開始使用。然后KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會將一個大數據組件的所有負載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負載。

問題3:最大的亮點是?

只要你已經在使用Kubernetes,那么在現有集群上十幾分鐘就可以啟動一個完整的大數據集群,馬上開始使用,極大的降低了大數據平臺的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機環境下也都能啟動(例如使用單機kind虛擬集群都可以),所以在測試和實驗環境下都可以高效使用。當然,啟動之后Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。

KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數據平臺。

將多套大數據組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數據平臺。企業級KDP更是支持在同一個Kubernetes集群中同時運行多個大數據平臺以及多租戶管理的能力,充分發揮Kubernetes云原生體系的優勢。

KDP,通過對開源大數據組件的擴展和集成,實現了傳統大數據平臺到K8s大數據平臺的平穩遷移。

作為市場上首個可完全在Kubernetes上部署的容器化云原生大數據平臺,智領云自主研發的KDP,深度整合云原生架構優勢,將大數據組件、數據應用及資源調度混排,納入Kubernetes管理體系,從而帶你真正玩轉云原生!

總體框架

簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數據組件,并把它們作為一個整體管理起來。

在Kubernetes上運行大數據平臺有三個好處:

第一,更高效的大數據組件集成:KDP提供標準化自動化的大數據組件部署和配置,極大地縮短了大數據項目開發和上線時間;

第二,更高效的大數據集群運管:KDP通過大數據組件與K8s的集成,在K8s之上搭建了一個大數據組件管理抽象層,標準化大數據組件生命周期管理,并提供UI界面進一步提升了部署、升級等操作的效率;

第三,更高的集群資源利用率:利用K8s的資源管理和配額機制,與其它系統共享K8s資源池,精細化資源管理,對比傳統大數據平臺約30%左右的資源利用率,KDP可大幅提升至60%以上。

社區

我們期待您的貢獻和建議!最簡單的貢獻方式是參與Github議題/討論的討論。 如果您有任何問題,請與我們聯系,我們將確保盡快為您解答。

微信群:添加小助手微信拉您進入交流群

釘釘群:搜索公開群組號 82250000662

貢獻

參考開發者指南,了解如何開發及貢獻 KDP。

https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html

編 輯:路金娣
聲明:刊載本文目的在于傳播更多行業信息,本站只提供參考并不構成任何投資及應用建議。如網站內容涉及作品版權和其它問題,請在30日內與本網聯系,我們將在第一時間刪除內容。本站聯系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
聞庫:全球6G發展需要統一的思路、方向和目標
精彩專題
CES 2024國際消費電子展
2023年信息通信產業盤點暨頒獎禮
飛象網2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
主站蜘蛛池模板: 电脑刺绣_绣花厂家_绣花章仔_织唛厂家-[源欣刺绣]潮牌刺绣打版定制绣花加工厂家 | 北京租车公司_汽车/客车/班车/大巴车租赁_商务会议/展会用车/旅游大巴出租_北京桐顺创业租车公司 | 上海律师事务所_上海刑事律师免费咨询平台-煊宏律师事务所 | 北京浩云律师事务所-法律顾问_企业法务_律师顾问_公司顾问 | 交流伺服电机|直流伺服|伺服驱动器|伺服电机-深圳市华科星电气有限公司 | 皮带式输送机械|链板式输送机|不锈钢输送机|网带输送机械设备——青岛鸿儒机械有限公司 | 预制直埋蒸汽保温管-直埋管道-聚氨酯发泡保温管厂家 - 唐山市吉祥保温工贸有限公司 | 净化车间装修_合肥厂房无尘室设计_合肥工厂洁净工程装修公司-安徽盛世和居装饰 | 一体化预制泵站-一体化提升泵站-一体化泵站厂家-山东康威环保 | 衬塑管道_衬四氟管道厂家-淄博恒固化工设备有限公司 | 健身器材-健身器材厂家专卖-上海七诚健身器材有限公司 | 【365公司转让网】公司求购|转让|资质买卖_股权转让交易平台 | 东风体检车厂家_公共卫生体检车_医院体检车_移动体检车-锦沅科贸 | lcd条形屏-液晶长条屏-户外广告屏-条形智能显示屏-深圳市条形智能电子有限公司 | 丹佛斯压力传感器,WISE温度传感器,WISE压力开关,丹佛斯温度开关-上海力笙工业设备有限公司 | 除尘器布袋骨架,除尘器滤袋,除尘器骨架,电磁脉冲阀膜片,卸灰阀,螺旋输送机-泊头市天润环保机械设备有限公司 | 螺杆泵_中成泵业| 量子管通环-自清洗过滤器-全自动反冲洗过滤器-沼河浸过滤器 | 断桥铝破碎机_铝合金破碎机_废铁金属破碎机-河南鑫世昌机械制造有限公司 | 一体化净水器_一体化净水设备_一体化水处理设备-江苏旭浩鑫环保科技有限公司 | 深圳市八百通智能技术有限公司官方网站 | 铝镁锰板_铝镁锰合金板_铝镁锰板厂家_铝镁锰金属屋面板_安徽建科 | 硫化罐-胶管硫化罐-山东鑫泰鑫智能装备有限公司 | 航拍_专业的无人机航拍摄影门户社区网站_航拍网 | PTFE接头|聚四氟乙烯螺丝|阀门|薄膜|消解罐|聚四氟乙烯球-嘉兴市方圆氟塑制品有限公司 | 耐火砖厂家,异形耐火砖-山东瑞耐耐火材料厂 | 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库-首页-东莞市傲马网络科技有限公司 | POS机办理_个人POS机免费领取 - 银联POS机申请首页 | 广州网站建设_小程序开发_番禺网站建设_佛山网站建设_粤联网络 | 托盘租赁_塑料托盘租赁_托盘出租_栈板出租_青岛托盘租赁-优胜必达 | 氧化锆陶瓷_氧化锆陶瓷加工_氧化锆陶瓷生产厂家-康柏工业陶瓷有限公司 | 开平机_纵剪机厂家_开平机生产厂家|诚信互赢-泰安瑞烨精工机械制造有限公司 | 蓝莓施肥机,智能施肥机,自动施肥机,水肥一体化项目,水肥一体机厂家,小型施肥机,圣大节水,滴灌施工方案,山东圣大节水科技有限公司官网17864474793 | 等离子表面处理机-等离子表面活化机-真空等离子清洗机-深圳市东信高科自动化设备有限公司 | 数码听觉统合训练系统-儿童感觉-早期言语评估与训练系统-北京鑫泰盛世科技发展有限公司 | 闪电优家-卫生间防水补漏_酒店漏水渗水维修_防水堵漏公司 | 鲁网 - 山东省重点新闻网站,山东第一财经门户 | 英思科GTD-3000EX(美国英思科气体检测仪MX4MX6)百科-北京嘉华众信科技有限公司 | 济宁工业提升门|济宁电动防火门|济宁快速堆积门-济宁市统一电动门有限公司 | 沧州友城管业有限公司-内外涂塑钢管-大口径螺旋钢管-涂塑螺旋管-保温钢管生产厂家 | PE拉伸缠绕膜,拉伸缠绕膜厂家,纳米缠绕膜-山东凯祥包装 |