屈指算来，Hadoop 现已诞生 13 年了。它最早诞生于 2006 年，并在 2008 年成为 Apache 尖端项目。诞生后没过多久就成为了互联网职业大数据核算的规范装备，一起也成了 Apache 软件基金会的金牌项目之一。但从 2016 年开端，国内外就开端呈现唱衰 Hadoop 的声响，以 Hadoop 为代表的开源大数据的未来何去何从？

　　十年前，三家资金雄厚的草创公司 Cloudera、Hortonworks 和 MapR 开端环绕 Hadoop 开源生态体系中的产品和服务进行商业化。有关 Hadoop 的炒作在 2014 年头达到了巅峰。其时，Cloudrea 筹措了大约 9 亿美元的巨额融资，估值为 41 亿美元。

　　“最近 Cloudrea 和 MapR 的争端上了许多媒体的头条，不由让大众想知道这场争端对大数据的未来意味着什么。”Unravel Data 首席执行官 Kunal Aganwal 表明。“企业对数据的爱好是正在削弱吗？彻底没有的事。仅仅因为大数据向共用云快速转型，导致这些公司步履蹒跚，这些专为本地布置而规划的渠道现已没有什么增加潜力了。因为大数据关于高弹性核算的需求，它天然更适合云核算。此外，现代数据体系正变得越来越杂乱，它们在本地办理要比在云端办理愈加困难。跟着新的数据栈横空出世，Hadoop 不再是威望的大数据技术了：像 Spark 和 Kafka 这样的技术正在鼓起，以支撑运用人工智能和机器学习的现代数据使用。Hadoop 不会消失，也不是一切的数据作业负载都会迁移到云端，但公有云和 Spark 等技术将越来越多地界说大数据，任何不积极支撑它们的供货商将会持续蒙受损失。”

　　Hortonworks 于 2014 年面市，Cloudera 紧随其后，于 2017 年上市。但跟着商场竞争的加重，客户开端敏捷转向云端，两家公司的股价都呈现了暴降。上一年秋季，Cloudrea 和 HortonWorks 兼并，但兼并后的公司股票持续跌落，市值缩水了一半。MapR 在四年多前就宣告了上市方案，但从未贯彻执行，而是挑选在 2016 年和 2017 年再筹措两轮风险投资。最近有音讯称，假如 MapR 不能取得更多资金，或许会减少多达 122 个作业岗位，并封闭坐落加利福尼亚州圣克拉拉的总部。

　　“最近关于 Cloudrea 和 MapR 的新闻引发了关于 Hadoop 未来何去何从的争辩，以及一切用于办理大数据作业负载的开源结构。”Clairvoiant 公司的首席执行官 Chandra Ambadipudi 评论道。“一个重要的要素是，Hadoop 在办理和使用它所需的资源方面被商场大大轻视了。Hadoop 的确完成了它作为低成本、可弹性且强健的开源处理方案的许诺。但办理其杂乱性所需的人才和数据工程师的数量，以及他们的缺少，都现已达到了极点。”

　　现在，Cloudrea 成为仅有重要的 Hadoop 公司，在阅历 MapR 新闻风云之后，以下是关于开源大数据渠道未来从本地到云端（以及 Microsoft、AWS、Google 等云核算巨子）的一些见地和主意。

　　Hadoop 的可行性饱尝质疑，并非因为它是一种槽糕的技术（实际上，Hadoop 技术非常好），而是因为将 Hadoop 作为开源产品来办理过分杂乱导致面对人才瓶颈。与炒作比较，所需的资源水平被大大轻视了。

　　问题是，云核算巨子是否会彻底占有这个范畴？Databricks 和 Snowflake 正在着手处理与大数据完成方面的技术距离。

　　生态体系中仍然会呈现整合行为（就像 Microsoft 收买 MapR 相同），只要时刻才干告知咱们，这一切对生态体系是否有利（厂商确定）。

　　与此相似，正在兴起的其他大数据渠道如 Apache Kafka，也或许面对开源处理方案的应战（就像 Cloudrea 作为开源 Hadoop 的发行商面对的应战相同）。

　　“跟着云核算巨子持续‘吞噬国际’，像 Snowflake 和 DataBricks 这样的渠道也在兴起，开端测验弥合大数据人才和技术的距离，”Ambadipudi 弥补道，“假如商场呈现进一步的整合，比方有某些云核算公司收买了 MapR 和其他 Hadoop 公司，我将不会感到惊奇。因为低推迟和可弹性性，Kafka 越来越受欢迎，并得到了广泛的选用。但就像 Cloudera 使用 Hadoop 相同，Confluent 的 Kafka 企业版做的也是相同的工作，所以他们也或许面对与开源渠道相同的应战。不管选用哪一种大数据完成方法，现在所需的技术都是缺少的，并且对专家办理服务的需求仍将居高不下。”英文原文：