以战略目标为导向，实现数据现代化.pdf
联合出品数据战略和数据现代化规划不符合总体商业战略，或过于狭隘地专注于人工智能，会导致大量商业价值付诸东流。以战略目标为导向，实现数据现代化前言“以战略目标为导向，实现数据现代化”是由Thoughtworks赞助出品的麻省理工科技评论洞察报告。为了撰写本报告，麻省理工科技评论洞察对各个国家/地区各行业的企业高管开展了一次全球性调查。此外，本报告还参考了对数据战略和数据现代化专家进行的深度访谈。本报告作者是DenisMcCauley，编辑是TeresaElsey，制作人是NicolaCrepaldi。本报告中的研究内容具有编辑独立性，所表达的观点仅代表麻省理工科技评论洞察的立场。在此，感谢下列企业高管抽出宝贵时间与我们分享其真知灼见：HeathBland，埃克森美孚上游数据办公室经理JamesMorgan，英国皇家财产局首席数据官ConradPozsgai，Payback公司总经理、首席信息官兼首席运营官DaniloSato，Thoughtworks数据与人工智能事业部全球技术主管JohnSpens，Thoughtworks北美地区数据与人工智能事业部总经理关于此次调查麻省理工科技评论洞察于2024年1月至2月开展此次调查，为编制本报告奠定了基础。此次调查样本包括350名资深数据和技术主管。受访者分别任职于美国、英国、德国、新加坡和澳大利亚的企业，样本涵盖了以下八个行业：金融服务、能源、医疗保健和生命科学、制造、公共部门、出版和媒体、零售以及旅游和运输。所有受访者均就职于年收入5亿美元或以上的企业，近一半（47%）就职于年收入100亿美元或以上的企业。2 《麻省理工科技评论》洞察3《麻省理工科技评论》洞察如今，数据日益成为企业成功的关键。一些领先的数字企业能够及时做出明智决策，为客户提供量身定制的体验，并快速发现新机遇，从而脱颖而出。最近，随着人工智能的关注度突飞猛进，对数据的需求也与日俱增。无论企业希望实现什么目标，如果无法随时获得高质量数据，就不可能取得成功。尽管科技在不断发展，但对于大多数企业而言，获取企业数据并将其转化为可用资产仍是一项巨大的挑战。虽然提高数据质量和实现有效治理等诸多挑战存在了几十年，但本报告表明，当今的技术领军人物正在探索克服这些挑战的新方法。单靠新技术可能无法解决问题，不过技术型企业可以借助基于云的、现代化的数据和分析解决方案，采用现代化数据工程实践、打造产品导向型团队并实施更全面的数据管理方法。本报告的调查结果揭示了为何数据管理者们必须跳出现有系统的范围，采用各种流程、实践和思维方式来帮助其企业以可重复、可扩展的方式解决长期存在的数据挑战。Thoughtworks拥有丰富的数据现代化经验，熟悉各种曾引发软件工程变革的现代工程实践（例如数据即产品，构建演进式架构，采用CI/CD和DataOps等实践，发展团队和治理结构），深知如何充分利用这些实践并将其应用于数据标准，从而帮助企业在数据方面做好充分准备，并长期保持这种状态。有了上述各要素，无论治理要求和数据需求如何变化，企业都始终能快速从数据中获取大量价值。随着人工智能的发展，越来越多的企业将数据现代化作为核心要务，因此愈加重要的是确保数据战略与更广泛的商业战略紧密结合，同时确保数据管理者们能够清晰阐述各种数据和分析技术可以如何帮助企业业务部门实现其目标。这不仅可以保证数据现代化的变革获得关键的支持，还可以让企业为实现其目标做出更充足的准备，为持续改进、发展和创造价值奠定坚实的基础。KalyanasisBanerjeeThoughtworks数据与人工智能事业部全球主管引言4 《麻省理工科技评论》洞察0101目录1.执行摘要...52.数据愿景...7数据战略的制定...7数据战略与业务战略不一致的问题..83.数据现代化的目标....10实现数据现代化所面临的障碍..11为企业带来的各种好处..13不成熟的数据能力....144.质量管理.17数据质量和时效性改进..18组织结构和数据团队195.结论...215《麻省理工科技评论》洞察0101执行摘要数据现代化已明确列入很多企业的议程。我们对350名资深数据和技术高管进行了调查，有一半以上的受访者表示，他们所在的企业在过去两年中已经实施或正在实施数据现代化项目。此外，有四分之一的企业计划在未来两年内实施此类项目。其他研究也一致表明，企业纷纷加大了对数据资产现代化的投资力度。1无独有偶，随着人们对提升数据能力的关注度激增，他们对人工智能（特别是生成式人工智能）的兴趣也愈发浓厚。实际上，为开发人工智能模型提供支持是本次受访企业致力于实施数据能力现代化改革的首要原因之一。不过，人工智能并非改革的唯一原因，甚至不是主要原因。本报告旨在阐述企业数据现代化项目的目标，以及相关举措的实施方式。为此，本报告对各行业的资深数据和技术高管展开了调查。研究发现，许多企业在数据现代化方面进行了大量投资，并取得了实质性进展。然而，在许多企业中，数据战略与数据现代化目标似乎还远未达成统一，导致企业的数据和技术团队与其他部门之间出现脱节。数据和技术高管及其团队还可以开展更多工作，了解同事们的数据需求，并就如何满足这些需求积极征求他们的意见。以下是主要研究结果：•人工智能并不是企业推进数据现代化的唯一原因。实现更明智的决策是数据现代化的首要目标，近一半（46%）的高管将此列为三大驱动因素之一。支持人工智能模型（40%）和脱碳（38%）也是推进数据现代化的主要驱动因素，此外其他驱动因素还包括增强监管合规性（33%）和提高运营效率（32%）。•数据战略往往与商业战略脱节。几乎所有受访企业都认识到了数据战略的重要性。仅有22%的企业表示，他们缺乏完善的数据战略。然而，当被问及他们的数据战略是否完全契合关键商业目标时，只有39%的企业给出了肯定的回答。数据团队还可以采取更多措施，让其他业务部门和职能部门参与战略讨论：42%的受访企业表示，他们的数据战略完全由数据或技术团队制定。•数据战略为数据现代化铺平道路。在过去两年中开始进行数据现代化的大多数企业（71%）在此之前早已制定好数据战略，这可能并非巧合。数据现代化目标的实现离不开业务的支持，实施决策需要战略指导，以免增加复杂性或重复工作。6 《麻省理工科技评论》洞察0202•数据方面的最大痛点是数据质量和时效性。高管们指出，数据不达标（41%）和交付不及时（33%）是其数据运营中最需要改进的方面。数据不完整或不准确会导致企业用户质疑数据的可信度。这就解释了为什么在过去两年中，受访企业最普遍采取的数据现代化措施是加强数据治理（45%）。•跨职能团队和DataOps（数据运维）是提高数据质量的关键手段。许多企业正在落实现代化数据工程实践。近一半（48%）的企业授权跨职能数据团队执行数据质量标准，47%的企业将实施DataOps作为重点工作。这些实践与已经成为软件工程领域标准的敏捷方法和产品思维不谋而合，但它们在数据领域才刚刚崭露头角。•合规性和安全性问题往往会阻碍数据现代化进程。合规性和安全性问题是数据现代化面临的主要障碍，各有44%的受访企业提到这两大问题。能源、公共部门、运输和金融服务等领域的受访企业尤其经常提到监管合规性问题。高成本是受访企业经常提
