本篇文章4799字，读完约12分钟
在这篇论文中，大数据景观地图是作者在linkedin上分享的，这引起了很多转发和评论。截至本周，已获得6700张类似图片、3800张共享图片和400多条评论。作者也觉得很神奇。在这里，我想向从事大数据或投资的朋友们推荐它。最初的作者是创投创始人马克·特克，他提出了这个创投，主要投资于早期科技公司的风险投资机构，包括新兴媒体、广告、游戏、教育、云计算、分析和基础设备。人人都熟悉的Airbnb、pinterest和shopify都有各自的投资数字。
以技术为基础的高科技初创企业喜欢闪亮的新事物，但与三年前的流行程度相比，“大数据”有点可怜。尽管hadoop成立于2006年，但“大数据”的概念在2011年至2014年间达到了狂热的程度。当时，大数据在媒体和行业面前是“黑金油”。但是现在有一种高原感。在2015年的数据世界里，时髦的年轻人喜欢转向人工智能的相关概念，他们的爱好变成:机器智能、深度学习等等。
大数据在2016年仍是一个“问题”吗？让我们深入挖掘。
企业技术=努力工作
事实上，大数据的有趣之处在于它不是可以直接炒作的东西。
能够获得广泛兴趣的产品和服务通常是人们能够触摸和感觉到的，例如移动应用、社交网络、可穿戴设备、虚拟现实等等。
但大数据从根本上说是一条“管道”。当然，大数据支持许多消费者或企业用户体验，但其核心是企业技术:数据库、分析等。，而且几乎没人能看到它后面的东西在跑。
如果每个真正工作过的人都知道，在企业中改造新技术不可能在一夜之间实现。
早期，大数据出现在大型互联网公司(尤其是谷歌、雅虎、脸书、推特、领英等)。)，大量使用和推广大数据技术。这些公司突然面临前所未有的数据量，没有以前的基础设施，并且可以招聘一些最好的工程师，所以他们基本上是从零开始构建他们需要的技术。开源的趋势正在迅速蔓延，大量的新技术正在与更广泛的世界共享。随着时间的推移，一些工程师离开了大型网络公司，开始了自己的大数据创业。其他“数字本土”公司，包括许多独角兽公司，正开始面临与大型互联网公司相同的需求，它们是这些大数据技术的早期采用者，不管它们是否有基础设施。早期的成功会带来更多的企业家精神和风险资本。
几年过去了，我们现在有了一个更大、更困难的机会:数据技术已经跨越了从中型企业到超大型跨国公司的更大范围。不同的是，“数字本土”公司不必从头开始。他们也有很多损失:在大多数公司，现有的技术基础设施是“足够的”。这些组织也明白进化是迟早需要的，但是他们不会在一夜之间淘汰和替换任务关键型系统。任何发展都需要过程、预算、项目管理、导航、部门部署、全面安全审计等等。大型企业会小心翼翼地让年轻的初创企业处理基础设施的关键部分。此外，一些(大多数？企业家根本不想将他们的数据迁移到云，至少不是公共云。
(大数据分析基本流程图)
从另一个关键点来看，我们可以理解大数据的成功不是一小部分技术(如hadoop或任何其他技术)，而是需要整合在一起的技术、人员和流程的管道。您需要收集、存储、清理、查询、分析和可视化数据。这将由产品来完成，有些由人力来完成。一切都需要无缝集成。归根结底，对于所有这些工作，整个公司，从高级经理开始，需要致力于建立一种数据驱动的文化。大数据不是一件小事，而是一件全球性的事情。
换句话说:这是一项艰巨的工作。
部署阶段
以上解释了为什么几年后，尽管许多高知名度的创业公司上线并获得了引人注目的风险资本，但它们只达到了大数据部署和早期成熟的阶段。
从2011年到2013年，更多有远见的大公司(在传统技术采用周期中被称为“早期采用者”)开始试验大数据技术，并推出hadoop系统，或尝试单点解决方案。他们招募了各种各样的人，他们的职称以前可能不存在(比如“数据科学家”或“首席数据官”)。通过各种努力，包括将所有数据倾倒在中央存储库或“数据湖”，他们有时希望魔法会随之而来(通常不会)。他们逐渐建立内部竞争力，尝试与不同的制造商合作，在网上部署他们，并讨论在企业内的实施和推广。在许多情况下，他们不知道下一个重要的转折点在哪里。经过几年的大数据基础设施建设，从业务用户的角度来看，没有什么可以展示的。但是已经做了很多吃力不讨好的工作，部署在核心架构上的应用程序将再次开始工作。
下一批大公司(在传统技术采用周期中被称为“早期大众”)一直在观望，仍在困惑地看着整个大数据。直到最近，他们希望大供应商(如ibm)提供一站式解决方案，但他们知道这不会很快实现。他们在大数据全球地图上看起来很糟糕，所以他们真的很想知道他们是否想和那些经常念同样的单词并想出解决方案的初创公司合作。他们试图弄清楚他们是否应该循序渐进地工作，首先构建基础设施，然后分析应用层，或者同时做所有事情，或者等待更容易做的事情。
生态系统正在成熟
与此同时，就初创企业/供应商而言，第一波大数据公司(成立于2009年至2013年的公司)已经筹集了多轮资金，扩大了规模，在早期部署中积累了成功和失败的经验教训，并提供了更加成熟和久经考验的产品。目前，少数是上市公司(包括hortonworks和new relic，其上市时间是2014年12月)，其他公司(cloudera、mongodb等)。)已经筹集了数亿美元。
风险投资仍然充满活力。在2016年的前几周，我们看到了一些拥有巨额融资的大数据初创公司:data dog(9.4亿)、bloom reach(5.6亿)、qubole(3亿)、place IQ(2.5亿)。这些大数据初创公司在2015年获得了66.4亿美元的风险资本，占高科技投资总额的11%
M&A的活动仍然很少(35次)。
随着创业活动和资金的不断涌入，一些优秀的资本已经撤出，越来越活跃的高科技巨头(亚马逊、谷歌和ibm)的数量也在不断增加。以下是2016年大数据的全景:
2016年2月12日修订，(本文最有价值的图片，大图可以回复大数据下载的微信号)
显然，这里有很多公司。从基本趋势来看，动态(创新、推出新产品和新公司)已经逐渐从左向右移动，从基础设施层(开发人员/工程师)到分析层(数据科学家和分析师的世界)再到应用层(商业用户和消费者)，其中“大数据的本地应用”已经迅速出现——这是我们预期的模式。
大数据基础设施:仍有许多创新
正是因为十年前谷歌的mapreduce和bigtable论文以及doug cutting和mike cafarella开发并创建了hadoop，大数据的基础设施层才得以成熟并解决了一些关键问题。
然而，基础设施领域的持续创新和蓬勃发展是通过大量开源活动实现的。
(hadoop的火花飞逝)
2015年无疑是apache spark最热的一年，这是一个使用内存进行处理的开源框架。这引起了很多争论。自从我们发布前一个版本以来，spark已经被不同的对手所采用，ibm和cloudera已经给予了它相当大的支持。spark的意义在于它有效地解决了hadoop使用速度慢的一些关键问题:速度快得多(基准测试显示spark比hadoop的mapreduce快10到100倍)，更容易编写，非常适合机器学习。
其他令人兴奋的框架不断涌现并获得新的动力，如flink、ignite、samza、kudu等。一些思想领袖认为，mesos的出现(一个“像单一资源库一样规划数据中心”的框架)并不需要完整的hadoop。即使在数据库领域，似乎也有更多的neo4j玩家保持着市场的运行，许多令人兴奋的事情正在发生，从成熟的图形数据库(二级)、专业数据库(时间序列数据库influxdb)、cockroachdb(受谷歌扳手的启发，声称提供了最好的sql和nosql)到数据仓库的演变(雪花)。
大数据分析:当前人工智能
在过去几个月的大趋势中，大数据分析越来越重视人工智能(各种形式和界面)，以帮助分析海量数据并获得预测洞察力。
人工智能最近的复兴就像大数据学生的孩子。深度学习(从人工智能中获得最多关注)背后的算法大多是几十年前的事了，但直到它们可以应用到大量廉价而快速的数据中，才能充分发挥它们的潜力(Facebook深度学习研究员Yann Lecun主任)。人工智能和大数据之间的关系如此密切，以至于一些行业专家现在认为人工智能已经可悲地“爱上了大数据”。
反过来，人工智能现在正在帮助大数据实现其承诺。人工智能/机器学习的分析焦点成为大数据进化逻辑的下一步:现在我有了这些数据，我如何从它们中提取什么样的见解？当然，数据科学家——从一开始，他们的作用就是实现机器学习和制作有意义的数据模型。但是渐渐地，机器智能通过获取数据来帮助数据科学家。新兴产品可以提取数学公式(上下文相关)或自动构建和建议数据的科学模型，这可能产生最佳结果(数据机器人)。新的人工智能公司提供复杂实体的自动识别(metamind、clarifai、右旋)或强大的预测分析(hyperscience)。
由于无监督学习产品的传播和推广，我们有兴趣知道人工智能和数据科学家之间的关系是如何演变的——朋友还是敌人？人工智能在短期内肯定不会取代数据科学家，但希望看到数据科学家通常执行的简单任务变得越来越自动化，最终生产率将大大提高。
无论如何，人工智能/机器学习不是大数据分析的唯一趋势。令人兴奋的趋势是大数据商业智能平台的成熟及其不断增强的实时能力(sisense，arcadia)
大数据应用:真正的加速
随着一些核心基础设施问题的解决，大数据的应用层正在迅速建立。
在企业内部，已经出现了各种工具来帮助企业用户操作核心功能。例如，大数据通过大量内部和外部数据实时更新数据，这有助于销售和营销部门找出哪些客户最有可能购买。客户服务应用程序可以帮助个性化服务；人力资源应用可以帮助找到如何吸引和留住最好的员工；等待
专业的大数据应用在几乎所有的垂直领域都非常出色，从医疗保健(尤其是基因组学和药物研究)，到金融、时尚和司法(mark43)。
两种趋势值得关注。
首先，这些应用程序中有许多都是“大数据伙伴”，因为它们建立在最新的大数据技术之上，代表了一种有效的方式，让客户无需部署底层的大数据技术就可以充分利用大数据，因为这些应用程序已经“在一个盒子里”，至少对于那些特定的功能而言是如此——例如，actioniq建立在spark之上，因此其客户可以充分利用其营销部门spark的力量，而无需实际部署spark本身
其次，人工智能在应用层面也很有吸引力。例如，在猫和老鼠的游戏中，人工智能被广泛应用于安全领域。它可以识别黑客并攻击网络攻击。“人工智能”对冲基金也开始出现。人工智能驱动的数字助理行业已经在去年出现，从自动安排会议(x.ai)任务到购物为你带来一切。这些解决方案在很大程度上依赖于人工智能，从接近100%的自动化到人工智能增强的个人能力--然而，趋势是明显的。
结论
在许多方面，我们仍处于大数据的早期阶段。尽管它已经发展了几年，但构建存储和数据的过程只是基础架构的第一阶段。人工智能/机器学习出现在大数据的应用层。大数据和人工智能的结合将促进几乎每个行业的创新，这是不可思议的。从这个角度来看，大数据的机会可能比人们想象的还要大。
随着大数据的不断成熟，这个词本身可能会消失或过时，没有人会使用它。它通过技术获得了成功，变得非常普遍、无处不在，最后变得不可见。
http://matt sourck/2016/02/01/big-data-landscape/
如果您仍然对大数据感兴趣，您可以参考我的“后hadoop时代的大数据架构”
原文作者:董老师，如有转载，请注明出处
“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”
