Cloudera迎来又一春，Hadoop依然现在时
发布时间：2021-12-06 13:04:39 所属栏目：动态 来源：互联网
导读：大数据在今天已经成为了新石油，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。越来越多的企业开始试图通过数据智能掌控数据炼油厂。数据智能也因为能够重塑传统的商业分析或商业智能，而成为一个有魔力的领域。 在这个充满魔力
|
大数据在今天已经成为了“新石油”，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。越来越多的企业开始试图通过“数据智能”掌控“数据炼油厂”。数据智能也因为能够重塑传统的商业分析或商业智能，而成为一个有魔力的领域。 在这个充满魔力的领域里，还有一家神奇的公司，Cloudera。数据智能技术一直与Hadoop相伴而生，但Cloudera在与另一家Hadoop领域的巨头Hortonworks合并之后，却推出了业界首个企业数据云平台Cloudera Data Platform（CDP），而弱化Hadoop品牌。这不禁让人开始猜想：Cloudera究竟想做什么？ 推倒重来的品牌 Hadoop生态的产品起源于开源社区，开源社区的产品常常会有社区版和商业发行版两个版本。关于这两个版本之间的关系，一位开源界专业人士曾做了这样的解释：社区版集结了开源社区中多人的智慧，但这样的产品就如同存在于自然界的水一样。我们无法直接饮用自然界的水，而必须经过一系列的处理，让自然界的水变成自来水，才适合饮用。而对于有更高饮用标准的人来说，可能还需要进一步将自来水提纯为纯净水。 事实上，企业级应用需要更高的稳定性和安全性，也会提出一些个性化要求。因此这就如同需要饮用纯净水的人群一样，很多企业级用户选择采用商业发行版。这样，开源产品与自然界中的水一样，虽然本身是免费的，但加工成纯净水的服务是要收费的。 Cloudera的情况与此相类似。作为开源Hadoop生态的代表，其组件全都是免费的，但将这些组件整合成一个最稳定的发行版CDP，并且提供一系列服务之后，CDP是需要收费的。 并且，Cloudera做出了一个重大的改变：Cloudera的社区版是CDH，但明年3月份开始，Cloudera将只为发行版CDP提供支持服务。 Cloudera大中华区技术总监刘隶放 Cloudera大中华区技术总监刘隶放介绍说：“Cloudera还会高举开源大旗，让Hadoop社区更好地运维下去，社区版的软件也会持续推出新版本。我们的发行版是Cloudera公司上千人的开发团队调优后的成果，我们的测试结果表明采用社区版运维，用户会需要二、三十人的团队来做和我们开发团队同样的事情。所以，我们更希望社区版的用户转向我们，让我们为他们提供服务。” 据了解，Cloudera做出这样的升级选择是出于几方面考虑。首先是从技术先进性的角度考虑，Hadoop将演进至Hadoop3.0。新版的CDP将能更好地适用于任何云，用户可以借助它管理、分析和试验从本地到混合云、私有云及多个公有云环境中的数据。其次是出于安全考虑，CDH中许多安全漏洞补丁是基于CDH5这个版本，于2014年开始开发的。时至今日，某些第三方库甚至已经没法维护了。因此完成向大版本的CDP升级，才可以避开CVE安全漏洞代码。而据已经采用CDP的用户反馈，采用CDP之后还将能带来极大的性能提升。 从中我们不难得出一个信号：与初期气吞万里如虎的气势相比，Hadoop生态曾遭遇了一些挫折。其中重要的原因，是Hadoop供应商更看重与数据中心息息相关的工程师，而非已转向向云端寻求自由的开发人员。反过来看，CDP却已经用对多云的支持，以及与云厂商共生的生态，告诉业界一个事实：Hadoop生态正在迎来另一个春天。 名气与实力的错位 Cloudera之所以被看作是一家神奇的公司，还在于它在非技术圈的知名度与其业务实力并不匹配。从Cloudera已有的客户来看，全球最大的10家银行中有8家采用了Cloudera的产品，全球最大的10家电信运营商都采用了Cloudera的产品，全球最大的10家汽车制造商都采用了Cloudera的产品，其中也包括了国内在各个行业的头部企业。 通过了解，我们发现出于客户保密的原则，Cloudera隐藏了太多的成功案例，而用户选择Cloudera，更多是因为其产品的技术先进性。 安全是大数据应用的基础。Cloudera公司于2008年成立，到了2021年就有大批银行成为Cloudera的客户。银行支持Cloudera的原因，就在于Cloudera产品的高安全性。 在安全与治理方面，CDP显然延续了这种高安全性。CDP中包含了共享数据体验（SDX）技术，能够实现不同云上企业数据安全、隐私和合规的一致性。有了SDX技术之后，创建一个安全数据湖的时间从数周缩短到数小时，只需简单的设置而无需冗长的脚本，非常便捷。 刘隶放解释说：“Cloudera设计了包含数据安全体系和软件安全防护体系在内的一整套流程。由于软件会用到第三方库，就可能存在安全漏洞，所以经达长期积累之后，我们完全有能力避开第三方库中的安全漏洞。我们的数据安全体系包含了四个层面，认证用户、分配用户权限、审计数据如何被利用、数据在存储和传输中的加密。这个完整的体系对用户很重要，比如对金融用户来说，应用这个体系就可以保证不同部门之间都不能看到别人的数据。” 具体来说，刘隶放强调：“我们用体系保证安全，而不是采用流程保障安全。打个比喻，用流程保障安全，就像是在深宅大院里养孩子，完全不让别人看见这孩子。而我们的方法是让孩子自由活动，但同时派几名全副武装的保镖跟随。” 大数据应用的价值，直接来源于它为用户业务所创造的价值。从这个角度来看，如果无法从数据中提取出知识和信息并加以有效利用，数据本身就不能驱动和引领数字化转型取得成功。因此围绕着数据智能，出现了一批又一批的流行技术。 谈起CDP与当前流行的数据中台、数据湖的异同，刘隶放解释道：“这三个是融为一体的。我们特别喜欢“数据中台”这个概念，它让用户开始重视数据治理，而不再是把数据往你面前一扔了事。数据湖同样非常重要，它的理论是把数据从外边‘捞’进库里，它是原生态的。我们跟国内几家厂商合作，他们做上层工具的管控，然后我们提供底层的产品能力。所以我们会根据用户的应用需求，提供相应的产品，与用户实现共同成长。” 相比较而言，Cloudera具备极强的数据治理能力。刘隶放表示：“我们理解透了数据中台，会发现它就是在做数据治理。但我们还会做一个业务中台，通过‘业务源’将数据映射成‘数据源’数据，进而加以治理。这里边有产品思想方法论的问题，也有产品能力的问题。Cloudera有能力完成‘源数据’，所以很多用户做大数据平台上面的‘数据中台’时，都来找我们合作。在CDP平台上有源数据治理的工具，能够加速客户去做数据治理的工作。” 谈起CDP的综合优势，刘隶放做了一个总结：“现在用户谈得较多的是计算引擎，但很少有人会去关注下面的调度功能，所以我们跟用户聊的多是Spark、Flink这样的组件。但其实在我们的平台上，从存储到文件格式，资源调度，计算都有相应的组件，同时这些组件也都有自己的优势和强项。” 深耕渠道的布局 Cloudera有着深厚的产品和技术积累，在抓住了大批核心用户的同时，今天的Cloudera也正通过渠道拓展占据更多市场份额。 2021年7月，Cloudera宣布与阿里云签署合作协议，CDP在大中华区入驻阿里云。原先政府、电商、游戏、互联网公司、泛互联网金融、教培、文旅，这些Cloudera并不擅长的行业，因为与阿里云的合作，现在Cloudera都有渠道进行覆盖了。特别是游戏公司，对于Cloudera的技术表现出了浓厚的兴趣。 Cloudera大中华区区域副总裁王刚 以此为契机，Cloudera开始了更多市场合作。Cloudera大中华区区域副总裁王刚介绍说：“之前我们的代理商很多，但他们的问题在于知识陈旧，都在基于老的CDH。因此我们希望加大具有CDP认证能力的代理商加入进来。此外我们以前没有搞ISV的合作，而明年我们会重点投入，与汽车、金融等行业的垂直ISV合作起来。我们希望他们有能力提供整套的解决方案给用户。我们对于ISV的入门门槛也很低，只要他们有两名接受过CDP培训的技术人员就可以。” 对于CDP的未来市场预期，王刚做了这样的解读：“我们以前服务了许多头部企业用户，现在与阿里云合作之后，CDP上了公有云之后，门槛变低了。我们也看到国内业务增长迅速的企业对CDP表现出浓厚的兴趣，我们也进入了许多新兴行业。接下来我们要依靠生态的力量，抓住这些契机，将市场预期落到实处。” 回到Hadoop这个问题，就在业界以为Hadoop将要衰落之时，Spark、Flink以及其他技术的兴起，又让用户眼前一亮。Hadoop从来不是一个具体的产品，你可以把它理解为一个“项目”或“一组项目”，但其实它更像是一场运动，是管理和分析数据的现代化体系结构的发展。 CDP包含多达39个开源项目，涵盖存储、计算平台（例如YARN，以及未来的Kubernetes）、批处理/实时计算框架（Spark、Flink等）、编排、SQL、NoSQL、ML、安全/管理等等，它的演化也从来没有停止过。而有了丰厚的技术底蕴之后，Cloudera也正在另一个领域延续着这场演化。Hadoop，依然是现在时，而非过去时。 （编辑：孝感站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
