一、大数据炒作来临？
今天有两只股票涨停，一只是中昌数据，一只是海量数据。同花顺软件给出的涨停原因是大数据。
马云说过：“数据将取代石油，成为未来制造业最大的能源。”；
张亚勤说过：“云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。”
云计算大家分析得都比较多了，大数据相对较少的。本周放三天假，准备梳理下大数据行业。
按照我们的老规矩，从基本概括、产业链分析，市场规模，竞争格局，最后是分析具体公司这个脉络相继呈现。
二、产业分析
大数据基本概况
1. 定义：大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2. 变现链条：数据→信息→知识→决策。
大数据发展历程
1. 探索期（2009-2011）：大数据产业在中国出现，并且逐步受到市场关注，典型大数据产品及服务相继上线，互联网企业率先将大数据应用落地。
2. 市场启动期（2012-2013）：
a. 初期，大数据概念普及，企业用户不断提升，资本市场高度关注，大数据企业上市，具有数据资产的企业谋求转型；
b. 中期，由于大数据市场技术成熟度不足，市场开始第一轮洗牌，同质化较强、技术成熟度弱、商业模式不清晰的大数据产品及服务经营困难，市场认可度低；
c. 后期，大数据市场持续出现新商业模式、新产品、新服务，但效果不明显，仍待市场检验，细分市场开始出现。
3. 高速发展期（2014-至今）：大数据市场几种典型的商业模式得到市场印证，新产品、新服务具有稳定的刚性市场，细分市场逐渐走向差异化竞争。
大数据产业结构（从数据源到数据应用的完整生态链）
1. 上下游组成：
a. 上游：数据来源提供商、存储、计算和分析设及的硬件厂商及软件厂商；
b. 下游：垂直应用行业、互联网、运营商等。
2. 产业特点：
a. 数据源：数据类型包括结构化、半结构化、非结构化数据；数据来源包括销售、营销等企业、从事数据整合的第三方机构和组织；
b. 数据处理：主要包括数据的ETL（抽取、转化、加载）、存储、计算、分析等过程，涉及数据的切割、融合等动作，大量中小企业通过推出特定的插件模块、基础工具等不断推动整个技术生态的繁荣；
c. 数据应用：该领域既包括传统的IT信息企业、统计分析企业，也包括新兴的大数据公司，比如Palantir、Inrix等，这些企业针对不同的行业、应用场景纷纷推出相应的大数据解决方案。
3. 产业应用：电力、交通、环保、政府、金融、银行、电信、医疗、IT等行业。
大数据产业模块（专业服务模块表现优异）
1. 基础硬件：计算、存储两个子模块显示出强劲的增长动力，且整体份额占比极高，显示出云计算和大数据两个子产业较强的相互拉动作用。
2. 基础软件：主要由Hadoop计算框架和数据管理两个子模块构成，整体规模非常有限，且增长平缓，整个数据管理模块的收入包括传统的数据软件产品收入（ORACLE、DB2等）和NoSQL商业化产品收入。
3. 专业服务：为增长最快速、份额占比最高的子模块，整体持续保持高速增长。
大数据应用场景
1. 大数据的典型行业应用包括：电力、交通、环保、银行、电信等；
2. 互联网厂商是大数据时代的先锋，也是DT时代最大的玩家，其中，各方面都处于领先地位的毋庸质疑是BAT三家；
3. 传统行业加速拥抱大数据，其中，房产、汽车、医疗等应用首当其冲；
4. 大数据使用率每提升10%，对零售、咨询服务和航空业的效益提升最大。
数据源演进趋势：连接+融合
1. 大数据价值最大化需要数据的连接、融合：
a. 在数据类型上，更强调结构化、半结构化、非结构化等多类别数据的采集和存储，例如音视频等；
b. 在数据场景上，同时注重线上、线下数据的可获得性；
c. 在数据来源上，除了依赖于资深的企业内部数据，更需要不断融合第三方数据；
d. 在数据关联性上，要消除数据孤岛，实现数据在可控范围内的自用流动和融合；
2. 单纯数据源企业出现：当前阶段数据源环节仍和数据分析等环节紧密绑定，但未来从事单纯数据源业务的企业可能逐步出现。
数据分析演进趋势：技术变革
1. 传统数据分析时代：通过ORACLE、DB2等数据库集中存储形成结构化数据，再通过BI工具和借助传统的数据挖掘算法进行分析和展现；
2. 大数据时代：
a. 数据量大、结构化数据占比低，传统的IT架构及分析算法难以满足需求；
b. 2003-2004年间，Google提出GFS(Google File System)和MapReduce，奠定了分布式文件存储系统及分布式计算模型的理论基础；
c. 2006年提出分布式计算和存储框架Hadoop项目并不断发展生态，云计算的成熟也为大数据奠定了基础。
数据分析演进趋势：分析方法
1. 普适化分析：即提供一个门槛较低的通用软件，例如，美股大数据龙头Tableau 开发的桌面系统，它没有强迫用户编写自定义代码，新的控制台也可完全自定义配置，从而为各行业提供简单的行业数据模板及网络共享平台；
2. 结合行业分析：向咨询、管理工具的方向发展，利用自身多年在各行业里面积累的深刻经验并配合自身的大数据实力，在已有的数据中帮助企业挖掘更多的价值，例如，分析工具领域最成功的的新兴企业Splunk 。Splunk公司开发的基于机器数据的搜索引擎，可收集所有应用程序、服务器和移动设备（包括物理、虚拟和云端）产生的数据并生成索引，实现从一个位置快速搜索并分析所有实时数据和历史数据；
3. 未来分析方式：未来大数据应用的集中爆发将导致数据分析需求的多样化和定制化，因此，结合具体应用场景深入行业分析的大数据分析工具相较于通用分析工具在未来将更具有优势。
数据安全
1. 大数据安全分析技术：信息安全问题已变成一个大数据分析问题，大规模的安全数据需要有效地关联、分析和挖掘；未来将出现专门的安全分析平台，及“安全分析师”或“安全数据分析师”等岗位；
2. 隐私保护技术：需技术+立法双管齐下。消费者的个人购买偏好、健康和财务情况等海量数据被收集，人们对隐私的担忧也在增大，美国奥巴马辩解说：“你不能在拥有100%安全的情况下，同时拥有100%隐私和100%便利”。现IBM、微软、柯达、花旗、Facebook、宝洁、360等企业都已经设有“首席隐私官”职位来保护用户隐私；
3. 数据脱敏技术：在保存数据原始特征的同时改变它的数值，从而保护敏感数据免于未经授权的访问，同时又可以进行相关的数据处理的一种技术。借助数据脱敏，信息依旧可以被使用并与业务相关联，不会违反相关规定，而且也避免了数据泄露的风险。
三、市场分析
大数据市场规模：数据规模爆发式增长
◼ 在互联网快速普及、物联网加速渗透的背景下，PC、手机、传感设备等全面兴起，推动全球数据呈现倍数增长、海量集聚的特点，为大数据产业发展奠定了庞大的数据基础：
a. 数据规模巨大，增长极快。根据IDC统计，2010年全球创建和复制的数据总量为1.23ZB，2016年这一规模为11.8ZB，预计2020年将达到44ZB，在其《数据时代2025》白皮书中，更是预测到2025年，全球创建和复制的数据总量将扩展至163ZB（1ZB等于1万亿GB）;
b. 互联网与IoT带来巨大数据基础。互联网创造了大量的线上数据，同时互联网和传统行业的融合，以及IoT时代的到来，数据的可获得途径正在被持续拓宽，互联网加速了数据间的流动和融合。
大数据市场规模
1. 全球市场规模
a. 近几年，美国、欧盟、日本等主要发达经济体都积极推进各自的大数据战略。2009年，美国科学家委员会（NSTC）就发布了《开发数字数据的威力》报告;
b. 参考《大数据白皮书》、IDC、Wikibon等咨询机构分析，2016年全球大数据核心产业规模约为300亿美元，预计2020年有望达到近600亿美元。
2. 中国市场规模
a. 根据信通院数据，2017年中国大数据产业规模（包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务）为4700亿元人民币，同比增长30%，且预计2020年这一规模有望赶超1万亿，年均复合增速近30%;
b. 大数据核心产业规模（大数据直接相关的软件、硬件及专业服务）2017年为234亿元，同比增长39%，预计2018年为329亿;
c. 从行业来看，中国大数据应用在金融行业占比最大达到16%，其次是通信行业15.6%，零售行业占比13.9%，政府占比12.7%。
大数据竞争格局
◼ 开源技术逐步降低了企业进军大数据领域的门槛，加之数据量的规模化增长和应用场景的越发丰富，越来越多的企业加入大数据掘金浪潮，创业企业不断涌现，互联网巨头和传统IT 厂商加速投资并购以争夺市场领袖地位;
◼ 数据显示，全球大数据主要由IBM、SAP、Oracle、Palantir、HPE、Splunk、Accenture、Teradata、Dell、Microsoft等占据主要市场，2016年前十大厂商份额合计占到34%，预计2020年将达到40%以上。
四、大数据企业分析
Splunk（机器数据收集分析服务商）
1. 公司概述：成立于2003年，从机器日志分析产品起步，经历近10年的发展，逐渐成为机器日志处理、分析领域的全球领先企业，并通过持续的并购和外部合作，不断拓展自身技术，并围绕机器日志分析丰富公司产品组合；
2. 主要产品：IT运营、应用管理、安全合规、网络智能与商业分析等；
3. 业务模式：软件license+运维服务。Splunk软件平台可以实时对任何APP、服务器或网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表，并以此基础帮助客户避免服务性能降低或中断，逐渐形成软件许可证售卖和运维服务两种主要模式；
4. 财务数据：2018年营收18亿美元，净利润-2.7亿美元，产品毛利率80%，市值170亿美元。
Palantir（数据聚合分析服务商）
1. 公司概述：成立于2003年，由彼得蒂尔创立，发展初期主要面向政府机构提供数据分析服务，后借助政府订单背书，逐步将业务扩展至民用领域；2010年摩根大通成为其首批非政府客户，2011年帮助美军击毙本拉登。
2. 主要产品：主要产品有Gotham（政府）、Foundry（企业）、Metropolis（金融），都具有开放性、可延展性和可规模性，可以数周甚至数天内完成部署、发挥作用，可以快速迭代以反映用户反馈。
3. 业务模式：整合海量的数据源形成全方位的可视化输出，运用公司设计的相应算法进行联想、定位、分析的形式来分析单一个体或特定场景，提供解决方案。
4. 财务数据：预计2018年营收7.5亿美元，估值410亿美元，目前有70%以上业务来源于非政府客户。
Informatica（智能数据集成治理平台提供商）
1. 公司概况：1993年创立于美国加利福尼亚州，并于1999年4月在纳斯达克上市,帮助世界各地组织为其首要业务提供及时、相关和可信的数据，从而在当今全球信息经济中获得竞争优势，2005年进入中国市场。
2. 主要产品：最初产品数据集成软件，包括Power Center和Power Exchange，目前已经建立起了从智能数据平台到数据管理解决方案，从数据集成到数据质量管理、大数据管理、云数据管理等的完整的数据管理框架和产品线。
3. 财务数据：2015年，微软、Salesforce等公司联合对Informatica进行私有化。2015年营业收入11亿美元，净利润1.1亿美元，估值50亿美元。
五、研究总结
研究总结
1. 数据来源丰富多样，数据规模增长显著，大数据行业仍处于高速发展阶段，未来差异化竞争将越发突出
2. 互联网厂商掌握C端数据（消费互联），传统行业掌握B端数据（产业互联），相互融合互生将是大势所趋
3. 数据应用是数据产业链中成长空间最大的细分行业
4. 数据安全保护问题将是未来行业发展的重中之重
5.大数据产业迎来新机遇，自主可控是长期趋势，国产化推进势在必行
投资建议
1. 关注企业内部数据化建设核心团队，比如数据治理、数据中台建设到智能决策平台，以及从中衍生而来的多种SAAS工具
2. 关注企业间数据源多维度互联互通，比如工业的采集、智能运维、交通的智能调度管理、政务舆情、金融风控等
关注微信