为什么大数据和数据中台“落寞”了？
现在却很少被提及的话题——大数据和数据中台。记得几年前，这两个词可是IT圈的宠儿，但现在似乎有点“落寞”了。那么，为啥现在大家都不怎么讨论它们了呢?未来数据的发展方向又在哪儿?
01 “大数据”为何谈的越来越少？
在最近做数字化项目的过程中，不管是和客户交流还是看一些项目的技术方案，都发现有一个曾经很火的概念，突然很少出现了。
不错，这个概念就是“大数据”(Big Data)。
大数据这个词曾经引领了数字化转型的第一波潮流，让人们觉得数据中蕴含着大量的宝藏。对于数据来说，the more, the better，几乎成为行业铁律。
暂且不谈那个经典的“啤酒尿布”的例子，光5V这个概念就已经成为千万数字化厂商的坚定价值信条。
于是，很多技术创业项目开始沉迷于对海量数据进行收集和开发，大规模地投入到建设算力中心，建设存储中心，打造监测平台等事项中。
然而，在实践过程中，人们发现“大数据”的价值远远没有达到预期的水平，就像互联网出现的早期一样，人们开始满怀期待，但是并不知道如何变现 ...
仅仅追求数据的规模，并不会让人们从中得到更多的“实惠”。
同时，由于数据质量良莠不齐，与业务相关性差，导致“大浪淘金”的数据分析模式，浪费了大量的人力物力。
“大数据中，蕴含了跨业务、跨场景的用户商业洞察，有利于精准决策和业务创新。” 这句话虽然是大数据精神的内核，但是并不好落地。
绝大多数企业，只掌握供应链上的一个环节，很难做到跨域关联。
如果想通过整合厂商的数据资源来开拓新场景，数据服务成本以及和数据服务关联的商务成本，都是不可低估的。
因此，大数据的实践思路一般只适合互联网原生企业，因为这些企业更容易从平台侧逐渐辐射到供应链的两端。
从数据量的角度，平台侧数据量更大，在关于数据融合需求的博弈方面，具有更强的话语权。
反之，对于绝大多数企业，都是非平台型企业。要么只负责生产，要么只负责销售。
想要实现跨域的大数据场景，既缺乏专业能力，也缺乏资金方面的有效保障。
当前，还有一种思路是基于开源的大数据来进行“数据场景”强化。这个思路后来验证也行不通，或者说“投入产出比”不高。
开源的大数据在数据质量上很低，同时与业务的相关性差，这就意味着单位数据投入产出的业务价值非常有限——数据价值密度低。
尽管在学界一直对于开源大数据的建模和分析比较痴迷，营造了一种开源数据价值含量更高的假象，其主要原因还是在于“拿不到”产业数据。
在这种情况下，更多的传统企业开始反思，应该聚焦于将数据挖深、做透，而不是单纯地追求数据规模的大。
如果大数据不能带来直接有效的价值，那么对于企业来说是负债，而不是资产。
基于上述的这些讨论，并不是说大数据不重要，而是说大数据并不适合每一个数字化企业对数据资产的投资。
数据的获取渠道，已有数据和所需数据的比例，数据的治理效率和开发效率，都是应该慎重考虑的决策门槛。
与其盲目拓展新的数据，去探索难以得到验证的未知规律，还不如在现有的业务架构中把现有的数据资源规整、加工、治理，先满足当下的业务需求。
换句话说，大数据是一个数字化企业发展到比较高级阶段的任务，对于数字化基础还不够强的传统企业或中小企业，还是应该以传统数据分析任务为中心开展数据方面工作。
02 数据中台即将“”消亡？
在新发布的“中国数据分析和人工智能技术成熟度曲线图”中，Gartner 认为，“数据中台(Data Middle Office)”即将消亡，取而代之的是“数智基建”(Data Infrastructure)。
在上图中，数据中台处于幻灭的深渊(Trough of Disillusionment);而数智基建则处于技术萌芽期(Innovation Trigger)。
1、数据中台面临的挑战
Gartner的分析指出，随着技术的发展和企业需求的变化，数据中台可能面临消亡的风险。这一观点引发了业界的广泛讨论和思考。
数据中台消亡论主要基于以下几点：技术迭代速度加快，新的数据处理和分析工具不断涌现;企业对数据中台的依赖可能限制了创新能力的发展;数据中台的建设和维护成本高昂，部分企业可能难以承受。
数据中台的建设初衷是支撑企业战略，实现数据的资产化和服务复用，但在实际操作中，很多企业却出现了功能与战略的错位现象。一方面，部分企业在建设数据中台时过分强调技术功能，而忽视了与企业战略的紧密结合。这种“为技术而技术”的做法，导致数据中台无法有效支持企业的核心业务，也无法为企业创造实际价值。
据调查，约有60%的企业在数据中台建设中存在战略定位不清晰的问题。这些企业往往将数据中台视为一个简单的数据存储和处理工具，而没有将其作为企业战略的一部分来规划和实施。结果，数据中台成为了一个昂贵的“数据仓库”，而非企业战略的有力支撑。
数据中台的建设不仅需要强大的技术支持，更需要企业具备相应的组织能力和数据能力。然而，现实情况是，许多企业在这方面存在明显不足。
首先，数据中台的建设需要企业进行组织架构的调整，建立专门的数据管理和运营团队。但根据行业调研，约有40%的企业在组织架构调整上面临困难，难以形成有效的数据管理和运营机制。其次，数据中台的建设需要企业具备强大的数据治理能力，包括数据标准制定、数据质量管理、数据安全保障等方面。然而，数据显示，超过50%的企业在数据治理方面能力不足，无法确保数据中台的高效运行和数据资产的保值增值。
此外，数据中台的建设还需要企业员工具备一定的数据思维和数据操作能力。但遗憾的是，许多企业在员工培训和数据文化建设上投入不足，导致员工对数据中台的接受度和使用率不高，数据中台的潜在价值无法得到充分发挥。
总的来说，数据中台建设的挑战与失败因素主要集中在功能与战略的错位、组织能力与数据能力的不足等方面。要解决这些问题，企业需要从战略层面重新审视数据中台的定位，加强组织架构和数据治理能力的建设，并加大对员工培训和数据文化的投入，以确保数据中台能够真正成为企业数字化转型的有力支撑。
数据中台的建设涉及到众多技术选型和架构设计问题，这对于企业的技术团队提出了较高要求。然而，由于缺乏统一的标准和成熟的经验，企业在技术选型和架构设计上往往面临较大的不确定性和风险。
综上所述，大数据和数据中台概念的“落寞”并非意味着它们的价值消失，而是市场对于这些技术和概念的认识更加成熟和理性。未来，随着数字化转型的不断深入，数据中台将在企业中扮演更加重要的角色，但其发展也将更加注重实际应用和价值创造。
2、Gartner分析要点
数据中台，一度被视为企业数字化转型的加速器，如今却面临被Gartner预言的消亡。这一转变并非无迹可循，其背后有着深刻的市场和技术逻辑。
技术迭代速度：在人工智能和大数据技术的快速发展下，数据中台的传统架构和技术可能迅速变得过时。企业需要更快地适应新技术，而数据中台的更新换代速度可能跟不上市场需求。
成本与效益：数据中台的建设和维护需要巨大的成本投入，但随着时间的推移，其带来的效益增长可能会放缓，甚至出现边际效益递减的现象。
灵活性与扩展性：数据中台往往被设计为一个集中式的平台，这在一定程度上限制了其应对快速变化市场的能力。企业可能需要更加灵活和可扩展的解决方案来应对不断变化的业务需求。
数据治理挑战：随着数据安全和隐私保护法规的日益严格，数据中台需要满足更高的数据治理标准，这可能会增加企业的合规成本和运营复杂性。
生态系统脱钩：Gartner预测，许多现有的数据中台将因为与生态系统脱钩而过时。这意味着，如果数据中台不能有效整合新兴技术和市场趋势，就可能被边缘化。
在数据中台逐渐显露出局限性的同时，Gartner提出了“数智基建”（Data Infrastructure）作为替代概念。数智基建代表了一种全新的企业数据管理和应用模式，它具有以下特点：
云原生：数智基建强调云原生技术的应用，支持企业在多云或混合云环境中灵活部署和管理数据。
技术生态合作：与数据中台依赖单一供应商不同，数智基建倡导通过多个供应商的密切合作，构建一个开放、可扩展的技术生态系统。
持续迭代与优化：数智基建被视为一种持续的服务，而不是一次性的交付项目。它能够不断迭代和优化，以适应不断变化的技术和业务需求。
数据与智能的深度融合：数智基建不仅仅是数据存储和处理的平台，更是数据智能和分析能力深度融合的场所，支持企业实现更深层次的数据洞察和业务创新。
业务场景驱动：数智基建更加注重与具体业务场景的结合，能够根据不同业务需求提供定制化的数据分析和智能应用。
数据治理与安全：在数智基建中，数据治理和安全是核心考虑因素，确保企业在享受数据带来的便利和价值的同时，也能保障数据的合规使用和安全防护。
随着数据中台的局限性逐渐暴露，企业需要重新思考其数据管理和应用策略。数智基建作为新兴的概念，为企业提供了一种更为灵活、可持续的解决方案，有望成为企业数字化转型的新引擎。
03 数据领域未来发展的方向
虽然“大数据”这个概念似乎不再那么热门，但这并不意味着数据处理和分析的需求减弱了。相反，随着数字化转型的深入，数据基础设施的现代化成为了企业发展的关键。
数据基础设施现代化的核心在于提升数据处理的效率和安全性。据《数字中国发展报告》显示，我国数字经济规模已超过50万亿元，占GDP比重达到41.5%，这背后是对数据基础设施现代化需求的直接体现。企业需要更加强大的数据存储、处理和分析能力，以支撑日益增长的数据量和复杂的数据分析需求。
现代化的数据基础设施还包括对数据的实时处理能力。例如，5G技术的推广使得物联网设备能够产生并传输更多的实时数据，这要求数据基础设施能够快速响应和处理这些数据，以支持企业的实时决策需求。
数据资产化是将数据转化为企业资产的过程，这涉及到数据的标准化、确权、估值和交易等多个环节。随着数据安全法、个人信息保护法等法律法规的出台，数据资产化的法律框架逐渐完善，为企业数据资产的合法合规交易提供了基础。
数据资产化的目的是将数据的价值量化，使其能够在市场上自由流通和交易。据《2023中国数据资产化发展趋势白皮书》预测，到2025年，我国数据要素市场规模将超过9000亿元。这一趋势表明，数据资产化将成为企业数字化转型的重要方向，数据将作为一种重要的生产要素参与到市场经济中。
数据市场化的推进需要建立完善的数据交易平台和服务体系。这包括数据的登记、评估、交易撮合等一系列服务，以及数据流通和交易的监管体系。随着数据交易市场的成熟，数据资产将更容易被量化和货币化，企业可以更加灵活地利用数据资产进行融资、投资和经营活动。
总的来说，虽然“大数据”和“数据中台”这些概念可能不再频繁出现在我们的日常讨论中，但这并不代表数据的重要性有所减弱。相反，数据领域正在朝着更加深入和广泛的方向发展，数据基础设施的现代化和数据资产化将成为推动数字经济发展的新引擎。
04 企业应对策略
面对数据中台的未来发展趋势，企业需要制定相应的应对策略，以确保在数字化转型的道路上保持竞争力。
1）明确战略规划
企业应明确数据中台的战略目标和价值，制定相应的战略规划，包括确定关键业务需求、技术要求和组织变革，以及明确投资和ROI预期。
2）构建灵活的数据架构
企业需要建立一个灵活、可扩展和安全的数据架构，以支持数据的收集、存储、处理和分析。这可能涉及数据集成、数据湖、数据仓库和数据治理等技术和工具。
3）强化数据治理与质量管理
数据中台需要有效的数据治理和质量管理机制，以确保数据的准确性、一致性和可信度。这包括建立数据质量标准、数据清洗、数据标准化和数据安全等方面。
4）推动文化和组织变革
数据中台的建设需要伴随着文化和组织的变革。企业需要培养数据驱动的文化，推动数据共享和合作，并培训员工以提高数据素养和分析能力。
5）持续优化与迭代企业应确保
数据中台紧密围绕业务需求进行设计，并引入自动化工具提升数据治理效率。同时，建立持续优化机制，迭代创新数据中台，真正实现数据赋能业务，助力企业高质量发展。
6）探索数据中台与AI技术的结合
随着AI技术的快速发展，企业应积极探索数据中台与AI技术的结合，利用大模型等AI技术提升数据中台的数据处理能力和智能化水平，为企业带来更大的业务价值。
7）关注数据安全与合规性
在数据驱动的商业环境中，企业必须重视数据安全与合规性，采取充分措施确保数据中台的数据安全，严格遵守地区法规，以维护其数字化战略。
8）构建开放性架构
数据中台应构建开放性架构，便于对第三方工具的集成，促进企业内外部数据的共享与协作。通过采用标准化API、微服务、容器技术等，数据中台能够迅速整合更先进的新兴技术，加速数据处理和分析的创新。
9）积极参与数据要素市场化
企业应积极参与数据要素市场化进程，探索数据定价、收益分配、数据安全和隐私保护等技术与制度障碍的解决方案，以实现数据要素的价值创造和实现。
通过上述策略，企业不仅能够应对数据中台的未来发展，更能在数字化转型的浪潮中把握先机，实现持续的业务创新和增长。
本文参考：
1、指令者，《为什么大数据和数据中台“落寞”了?》
2、 大话数字化转型，《为什么这两年，“大数据”谈得越来越少了 ...》
3、 松哥聊汽车数字化，《Gartner分析：数据中台即将消亡》
