Cloudera 企业版5.7版本支持Hive-on-Spark提高了数据处理,为多租户使用提供了可见度
加利福尼亚州帕罗奥图市,2016年4月7日 - Cloudera在全球范围内提供基于Apache Hadoop和最新开源科技的最快速、最便捷以及最安全的数据管理及分析平台。Cloudera今天宣布Cloudera 企业版 5.7面市。这一新发布为关键工作负载提供了卓越的性能表现 - 包括在Hive-on-Spark支持下数据处理速度平均提升3倍,以及用最新版本的Apache Impala (孵化中)为商业智能分析带来平均2倍的提升。
此外,这一新版本对工作负载中的多租户使用增加了可见度,提升了管理效率与资源优化。Cloudera 企业版 5.7 对于Hadoop来说是另外一次巨大的跃进,以支持新的以及不断变化中的用例,Cloudera的领导地位可以确保现代企业在整个业务中完全采纳这一平台。
“在过去10年中,Hadoop实现了显著的革新。随着每一次提升,我们不仅在现有的基础之上有所改进,而且还能看到新应用和用例的潜力”,Cloudera产品部门的副总裁Charles Zedlewski说。“在数据工程和Hive-on-Spark架构下ETL发展的进步,是这一进化中的里程碑 – 进一步夯实了Spark作为Hadoop标准数据处理引擎的地位。虽然数据工程现在只是大数据产业的一个部分,但随着5.7版本的发布,我们的客户可以通过这一平台支持更广泛范围内的用户,同时保持高效表现、轻松管理和合规性的安全保障。”
对于Hadoop来说,ETL发展和批处理是最常见的用例之一。尽管传统意义上来说MapReduce是底下的执行引擎,但是Apache Hive长期以来在这些工作负载上扮演了关键角色。然而,相比于MapReduce, Apache Spark的简易开发和更高效性能,使其重要性日益增加,并且已准备好替代MapReduce来完成这些工作量。去年Cloudera启动了“统一平台计划”,作为完成从MapReduce向Spark转变的路线图,更好地促进Spark与Hadoop的集成 – 保证即使在最大规模的生产负载下,Spark也可以满足企业的要求。通过Hive-on-Spark在Cloudera 5.7中的发布,它让Spark离目标更近一步。现在开发者可以在利用Spark强大数据处理能力的同时,继续使用他们所熟悉的Hive,并且实现平均3倍于往常的性能表现。Hive-on-Spark是一个社区驱动的计划,由Cloudera,IBM,Intel,MapR等企业所发布,并且包括了来自广告、金融服务、保险业以及其他领域内的用户,这些用户是参与早期试用项目,以帮助进一步的研发。
为了保证进一步的持续性,Cloudera已与超过2300个伙伴生态系统合作,以保证客户可以继续使用领先的数据集成和Hive-on-Spark架构下的准备工具,从而不影响企业运行。合伙生态系统比如:BMC, ClearStory Data, Elastic, NGDATA, Solix, Trillium Software, Zementis,以及其他与Cloudera一起合作来认证无缝对接的技术。(请看下面的相关证言)
可以在一个单一集群内的共享数据中支持多个用例,这是Hadoop的一个关键优势。通过Cloudera 企业版, 管理者可以轻松提供给用户和应用程序正确的资源来运行并且满足关键SLAs。通过这一最新发布,管理员可以查看用户、租户和应用程序的历史使用记录和效率情况。这一内置于Cloudera Manager的集群使用报告新功能,保证了不同群组与工作类型之间的有效运行和合理资源配置;帮助SLAs标准的实现;以及提供了对工作和性能询问问题的简单诊断检修。
Cloudera 5.7的其他功能还包括:
Ø BI分析取得2倍的性能提升:Impala继续通过动态分区修剪、更快的查询启动、运行时过滤等功能保持了它作为最快速SQL分析引擎的领先地位。
Ø 简化的生产路径:Cloudera Manager包括了集群模板,它提供了一个简单的工作流,可以轻松地将配置需求复制到新的集群上面,使其能够跨地区从调整好的测试环境迁移到可扩展的生产环境。或者在问题产生的时候,能快速恢复到一个已知的良好配置环境。
Ø 优化的数据监管:Cloudera Navigator通过简化的数据沿袭为企业用户开拓了数据管理和监管的新模式,建立数据信任和来源机制,为改善跨系统的探索性和持续性增加了管理的元数据。
Cloudera 5.7现在可以通过访问www.cloudera.com/downloads下载
Cloudera 5.7的其他资源
l 在Cloudera工程博客上了解更多
l 注册Cloudera 5.7 在线课程系列
l 下载Cloudera 5.7
l 阅读发布说明
Cloudera 5.7合作伙伴的证言
BMC
“Cloudera在Hive-on-Spark上的投资对于现有的Hive技术和用户具有非常重要的价值。我们很高兴与行业领先的Control-M来支持Hadoop的这一革新。除了Hive-on-Spark的工作安排,Control-M的客户还获得了来自Spark SQL, Spark Streaming, Shell Scripting以及其他方面的支持。我们与Cloudera的合作关系将继续为世界范围内的Hadoop用户带来新的价值”
——Tim Eusterman, BMC工作自动化解决方案市场部的高级总监
ClearStory Data
“有了Hive-on-Spark支持我们的云基础数据分析解决方案,我们很高兴进一步巩固与Spark的合作关系。当大规模数据在进行混合和集成的时候,为了提升商业洞察能力,Hive与Spark执行引擎集成,为快速循环分析实现了无缝的数据导入、查询与推理。”
——Tim Howes, 首席技术官
Elastic
“Elastic为最新的Cloudera 企业版创新提供了一个实时的搜索选择:Cloudera的Hive-on-Spark,使希望使用Elastic搜索的用户从MapReduce过渡到Spark, 并从中受益。这一得到认证的集成延伸了Elastic和Cloudera之间的现有合作,使其服务于Elastic搜索、Hadoop以及Spark部署”
——Costin Leau, Elastic首席工程师
NGDATA
“NDDATA为客户分析和CX最优化提供了一完全的解决方案,推进了服务于银行、媒体公司和电信行业的下一最佳建议。正如我们的NBO渠道基于客户行为数据实时执行而设计和优化的,企业经理也对点对点报告有类似的表现期望。多亏Hive-on-Spark,他们现在可以体验报告速度上的卓越提升,几乎不需要任何的重新配置。我们很高兴与Cloudera一起推进Spark在生态系统中的采用,因为它为我们的客户提供了切实的商业益处:。
——Steven Noels, 首席技术官与联合创始人
Solix
“对Cloudera 5.7的认证,意味着Solix大数据客户可以获得在表现和可用性上的提升。有了Hive-on-Spark,大部分的结构化数据工作量现在都可以在Apache Hadoop上运行”。
——Sai Gundavelli, 首席执行官
Trillium Software
“随着企业日益依赖于Hadoop来处理大容量的复杂数据,他们也希望能加速数据驱动计划。Cloudera 企业版 5.7的发布表明了Cloudera在提供创新解决方案上的决心。他们将优化数据移动和集成的速度和效率,并且制度化Hadoop的数据处理,并同时简化Hadoop管理和监督。有了Hive-on-Spark支持Trillium Refine™,企业可以加速数据准备和处理过程,提升数据分析,加速驱动成长的企业决策过程”。
——Keith Kohl, 产品管理副总裁
Zementis
“通过增加Hive-on-Spark对Hadoop生态系统的支持,Cloduera使用户可以更有效地运用数据科学。现在数据科学正变成智能企业应用程序的关键差异化因素,我们很自豪地Cloudera一起为实现Zementis的UPPI而努力,使其成为一个共有的标准化执行引擎,操作化机器学习和Hvie、Spark和Storm架构下的先进预测式分析。”
——Michael Zeller博士, CEO