Warning: Undefined global variable $debug in /var/www/ourcoders/tiny4cocoa/application/controllers/baseController.php on line 124
InfoQ 2019-12-30 00:00:00 发布的技术动态 - OurCoders (我们程序员)
InfoQ
2019-12-30 00:00:00 发布
OLAP、数据仓库以及大数据计算、分析相关的从业人员请注意,来咯~教你如何基于 Apache Hudi 构建企业级数据湖:网页链接

你还不知道Hudi?Apache Hudi 是由 Uber 开源的在分布式文件系统上提供对大型分析数据集的摄取、管理以及查询的数据湖框架。2019 年 1 月加入 Apache 孵化器进行孵化,加入孵化器大半年,发布第一个 Apache 版本后就快速被 AWS EMR 团队集成进 EMR 5.28.0 发布版,它也是 Amazon EMR 集成的开源项目里唯一一个还处于孵化阶段的项目。Hudi 在 Uber 从 2016 年开始研发到 2017 年上线生产环境,已构建超过 10PB 的数据湖、单表 1000 个 Pipeline、每天处理 100TB 的数据规模。