bittern.cn
16

系统的未来

数据系统往何处去

阅读量：2 · 预计 21 分钟读完

Lambda架构状态机复制伦理可持续性
关联层级：L7 应用抽象
阅读进度4%

第十六章 系统的未来 - 数据系统往何处去

导读

数据系统正在以前所未有的速度演化。从关系型数据库到 NoSQL，从批处理到流处理，从单体应用到微服务，从本地部署到云原生——每一次变革都带来了新的可能性和挑战。

站在当前时间节点，我们可以观察到几个重要的趋势：AI 正在重塑数据系统的每一个层面；数据与计算的边界日益模糊；实时性成为几乎所有系统的默认要求；数据治理和合规性变得前所未有的重要。

本章将展望数据系统的未来发展方向：AI 原生的数据系统、实时 everywhere、数据网格与去中心化、隐私增强技术、以及可持续计算。这些趋势将定义未来十年数据系统的面貌。

核心概念详解

16.1 AI 原生的数据系统

16.1.1 从"数据支撑 AI"到"AI 重塑数据"

过去十年，数据系统主要为 AI 提供基础设施——存储训练数据、提供特征、服务模型。未来十年，AI 将反过来重塑数据系统本身。

AI 驱动的数据管理：

  • 自动索引：AI 根据查询模式自动选择和创建索引，取代 DBA 的手动调优。
  • 自动分区：AI 根据数据分布和访问模式自动调整分区策略。
  • 查询优化：AI 学习查询模式，优化执行计划，超越传统的基于规则的优化器。
  • 异常检测：AI 自动检测数据异常、性能异常、安全威胁。

代表产品：

  • Oracle Autonomous Database：自动调优、自动补丁、自动安全。
  • AWS DevOps Guru：AI 驱动的运维洞察。
  • Planetscale：AI 辅助的 Schema 设计和查询优化。

16.1.2 向量数据库与 AI 的融合

向量数据库已经从独立的组件演变为数据系统的标准能力。

趋势一：向量搜索成为数据库的一等公民

  • PostgreSQL 通过 pgvector 扩展支持向量搜索。
  • Elasticsearch 8.0 原生支持向量搜索。
  • Redis 通过 RediSearch 模块支持向量搜索。

趋势二：多模态数据管理

  • 未来的数据库将同时管理结构化数据、文本、图像、音频、视频。
  • 向量嵌入与传统数据存储在同一个系统中。
  • 支持跨模态的查询（如"找到与这张图片相似的产品"）。

趋势三：嵌入式 AI

  • 数据库内置 AI 能力，如自动分类、实体提取、情感分析。
  • 用户可以直接在 SQL 中调用 AI 函数：SELECT ai_classify(text) FROM documents。
  • 减少数据移动，提高处理效率。

16.1.3 LLM 与数据系统的交互

大语言模型正在改变人与数据系统的交互方式。

自然语言查询：

  • 用户用自然语言描述需求，LLM 将其转换为 SQL 或其他查询语言。
  • 降低数据访问的门槛，非技术人员也能查询数据。
  • 代表：OpenAI 的 Function Calling、LangChain 的 SQL Agent。

智能数据集成：

  • LLM 自动理解不同数据源的 Schema，生成数据映射和转换逻辑。
  • 减少数据集成的开发工作量。
  • 自动处理 Schema 演化和数据质量问题。

自动化数据治理：

  • LLM 自动生成数据文档、数据字典。
  • 自动检测数据血缘关系。
  • 自动识别敏感数据和合规风险。

16.2 实时 Everywhere

16.2.1 从批处理到实时

"实时"正在从差异化优势变为基本要求。

实时分析：

  • 传统的 T+1 报表正在被实时仪表板取代。
  • 数据从产生到可查询的延迟从小时级降到秒级。
  • 代表技术：ClickHouse、Apache Druid、Apache Pinot。

实时 ETL：

  • 传统的批处理 ETL 正在被流式 ETL 取代。
  • 数据变更通过 CDC 实时捕获和转换。
  • 代表技术：Flink、Materialize、RisingWave。

实时机器学习：

  • 模型训练从定期批处理变为持续学习。
  • 特征计算从离线批处理变为实时流处理。
  • 代表技术：Flink ML、Spark Streaming ML。

16.2.2 物化视图的复兴

物化视图（Materialized View）是实时数据系统的核心技术。

传统物化视图的局限：

  • 只能基于单个表或简单查询。
  • 更新策略有限（全量刷新或增量刷新）。
  • 维护成本高。

现代物化视图的进化：

  • 增量维护：只处理变更的数据，而非全量重算。
  • 流式物化视图：基于事件流维护的物化视图，实时更新。
  • 多级物化视图：物化视图可以基于其他物化视图构建，形成依赖图。

代表产品：

  • Materialize：基于增量计算引擎的流式数据库。
  • RisingWave：开源的流式物化视图数据库。
  • Databend：云原生数据仓库，支持实时物化视图。

16.2.3 实时数据网格

数据网格（Data Mesh）的实时化是一个重要趋势。

传统的 Data Mesh 通常采用批处理模式——领域团队定期将数据发布到共享平台。

实时的 Data Mesh：

  • 领域团队通过事件流实时发布数据变更。
  • 消费者实时订阅和消费数据。
  • 数据产品提供实时的 SLA（如延迟 < 1 秒）。

实现实时 Data Mesh 的技术栈：

  • 事件流平台：Kafka、Pulsar、Redpanda。
  • CDC 工具：Debezium、Materialize。
  • 流处理引擎：Flink、RisingWave。
  • 数据目录：DataHub、OpenMetadata。

16.3 数据网格与去中心化

16.3.1 Data Mesh 的深化

Data Mesh 从概念走向实践，正在深刻改变数据组织的运作方式。

Data Mesh 的核心原则：

领域所有权（Domain Ownership）：每个业务领域负责自己的数据产品。

数据即产品（Data as a Product）：数据被当作产品来设计、开发和维护。

自助平台（Self-serve Platform）：数据平台团队提供基础设施和工具。

联邦治理（Federated Governance）：全局标准与领域自治的平衡。

Data Mesh 的演化方向：

从数据产品到决策产品：

  • 数据产品不仅提供数据，还提供基于数据的决策建议。
  • 集成 AI/ML 能力，自动分析数据并生成洞察。

从领域自治到协作网络：

  • 领域团队之间通过标准化的接口协作。
  • 数据产品之间可以组合和编排，形成更复杂的数据服务。

从技术平台到业务平台：

  • 数据平台不仅提供技术能力，还提供业务语义。
  • 数据产品包含业务上下文、使用指南、SLA 承诺。

16.3.2 去中心化身份与数据主权

去中心化身份（Decentralized Identity）和数据主权（Data Sovereignty）是未来数据系统的重要方向。

去中心化身份：

  • 用户拥有和控制自己的数字身份，不依赖中心化平台。
  • 基于区块链或分布式账本技术。
  • 代表标准：W3C DID（Decentralized Identifiers）、Verifiable Credentials。

数据主权：

  • 用户对自己的数据拥有控制权——谁可以访问、如何使用、何时删除。
  • 技术实现：数据访问控制、加密、审计日志。
  • 法规驱动：GDPR、CCPA 等隐私法规推动数据主权的实现。

自主主权身份（SSI）：

  • 结合去中心化身份和数据主权。
  • 用户可以安全地分享自己的数据，而不需要信任中心化平台。
  • 代表项目：Hyperledger Aries、Indy、Aries Framework JavaScript。

16.3.3 联邦学习与隐私计算

联邦学习（Federated Learning）是一种分布式机器学习技术，允许多个参与方在不共享原始数据的情况下协作训练模型。

联邦学习的原理：

  • 每个参与方在本地数据上训练模型。
  • 只共享模型参数（梯度），不共享原始数据。
  • 中央服务器聚合所有参与方的模型参数，更新全局模型。

联邦学习的应用场景：

  • 医疗：多家医院协作训练诊断模型，但不共享患者数据。
  • 金融：多家银行协作训练风控模型，但不共享客户数据。
  • 移动设备：手机在本地训练个性化模型，只上传模型参数。

隐私增强技术（Privacy-Enhancing Technologies, PETs）：

  • 差分隐私（Differential Privacy）：在数据中添加噪声，保证单个记录的隐私。
  • 安全多方计算（Secure Multi-Party Computation, MPC）：多个参与方协作计算，任何一方都无法看到其他方的输入。
  • 同态加密（Homomorphic Encryption）：在加密数据上直接进行计算，不需要解密。
  • 可信执行环境（Trusted Execution Environment, TEE）：在硬件隔离的环境中处理敏感数据。

16.4 可持续计算

16.4.1 绿色数据系统

数据中心的能源消耗和碳排放日益受到关注。可持续计算（Sustainable Computing）正在成为数据系统设计的重要考量。

数据中心的能耗：

  • 全球数据中心的能耗约占全球总用电量的 1-2%。
  • 随着 AI 和云计算的增长，这一比例还在上升。
  • GPU 密集型工作负载（如 LLM 训练）的能耗尤其高。

绿色数据系统的策略：

硬件层面：

  • 使用能效更高的处理器（如 ARM 架构）。
  • 使用液冷技术降低冷却能耗。
  • 使用可再生能源（太阳能、风能）供电。

软件层面：

  • 优化算法，减少计算量。
  • 使用高效的数据格式和压缩算法，减少 I/O。
  • 合理配置资源，避免过度配置。

架构层面：

  • 将工作负载调度到可再生能源丰富的数据中心。
  • 使用 Serverless 架构，按需使用资源，减少闲置。
  • 数据分层存储，冷数据使用低功耗存储。

16.4.2 碳感知计算

碳感知计算（Carbon-Aware Computing）是一种根据电网碳强度调整计算行为的策略。

原理：

  • 电网的碳强度随时间变化——可再生能源充足时碳强度低，化石能源为主时碳强度高。
  • 碳感知计算将可延迟的工作负载调度到碳强度低的时段执行。

应用场景：

  • 批处理作业：将非紧急的批处理作业调度到碳强度低的时段。
  • 模型训练：将 LLM 训练调度到可再生能源充足的时段。
  • 数据复制：将跨区域数据复制调度到碳强度低的时段。

代表项目：

  • Green Software Foundation：推动绿色软件开发的开源基金会。
  • Carbon Aware SDK：微软开源的碳感知开发工具包。

16.4.3 效率优先的设计

未来的数据系统设计将更加注重效率：

计算效率：

  • 使用向量化执行引擎，充分利用 CPU 的 SIMD 指令。
  • 使用 GPU 加速计算密集型操作。
  • 使用近似算法，用精度换取速度。

存储效率：

  • 使用高效的压缩算法（如 Zstd、LZ4）。
  • 使用列式格式，减少冗余数据。
  • 使用数据去重和增量存储。

网络效率：

  • 使用数据压缩减少网络传输。
  • 使用数据本地性减少跨网络访问。
  • 使用边缘计算减少数据传输距离。

16.5 新兴技术趋势

16.5.1 WebAssembly（Wasm）在数据系统中的应用

WebAssembly最初是为浏览器设计的高性能字节码格式，正在扩展到服务端和数据库领域。

Wasm 在数据系统中的应用：

  • 安全沙箱：在数据库中运行用户自定义函数（UDF），保证安全性和隔离性。
  • 插件系统：数据库通过 Wasm 插件扩展功能，不需要修改核心代码。
  • 边缘计算：Wasm 模块轻量、启动快，适合边缘设备。
  • 可移植性：Wasm 模块可以在任何支持 Wasm 的平台上运行。

代表项目：

  • SingleStore：支持 Wasm UDF。
  • Cloudflare Workers：基于 Wasm 的边缘计算平台。
  • Extism：通用的 Wasm 插件框架。

16.5.2 量子计算与数据系统

量子计算虽然仍处于早期阶段，但未来可能对数据系统产生深远影响。

潜在影响：

  • 密码学：量子计算机可能破解当前的加密算法（如 RSA、ECC），需要迁移到抗量子密码算法。
  • 优化问题：量子计算可能加速某些优化问题（如物流优化、投资组合优化）。
  • 搜索：Grover 算法可以在 O(√N) 时间内搜索未排序的数据库。

当前状态：

  • 量子计算机仍然处于"含噪声的中等规模量子（NISQ）"阶段。
  • 实用的量子计算还需要多年发展。
  • 数据系统需要开始准备"抗量子"迁移。

16.5.3 边缘数据系统

随着 IoT 和 5G 的普及，边缘计算变得越来越重要。

边缘数据系统的特点：

  • 低延迟：数据在本地处理，不需要传输到云端。
  • 带宽节省：只将必要的结果传输到云端。
  • 离线能力：在网络断开时仍然可以工作。
  • 隐私保护：敏感数据在本地处理，不离开设备。

边缘数据系统的挑战：

  • 资源受限：边缘设备的 CPU、内存、存储有限。
  • 网络不稳定：边缘设备可能频繁断网。
  • 管理复杂：需要管理大量分散的边缘节点。

代表技术：

  • SQLite：轻量级嵌入式数据库，适合边缘设备。
  • EdgeDB：支持边缘部署的图关系数据库。
  • Cloudflare D1：边缘部署的 SQLite 数据库。
  • ElectricSQL：支持离线优先的同步数据库。

重要知识点

知识点 1：数据系统的演化趋势

数据系统的演化呈现出几个明显的趋势：

从专用到通用：

  • 早期的数据库为特定应用定制（如 ERP、CRM）。
  • 通用关系数据库统治了数十年。
  • NoSQL 为特定场景优化。
  • 现在趋向于"多模型"数据库，一个系统支持多种数据模型。

从本地到云到边缘：

  • 本地部署 → 云托管 → 云原生 → 边缘计算。
  • 计算越来越接近数据源和用户。
  • 云边协同成为新的架构模式。

从批处理到实时到智能：

  • 批处理 → 微批处理 → 流处理 → 实时处理。
  • AI 融入数据处理的每个环节。
  • 数据系统从被动响应到主动预测。

从中心化到去中心化到联邦化：

  • 集中式数据库 → 分布式数据库 → 去中心化数据库。
  • Data Mesh 推动组织层面的去中心化。
  • 联邦学习和隐私计算推动技术层面的联邦化。

知识点 2：数据系统的挑战

未来数据系统面临的主要挑战：

规模挑战：

  • 数据量继续指数增长，从 PB 到 ZB。
  • 需要更高效存储和计算技术。
  • 需要可持续的能源解决方案。

复杂性挑战：

  • 数据系统越来越复杂，运维难度增加。
  • 需要 AI 辅助的自动化运维。
  • 需要更好的抽象和工具降低复杂性。

安全与隐私挑战：

  • 数据泄露和隐私侵犯事件频发。
  • 需要更强的安全技术和更严格的合规要求。
  • 隐私增强技术需要走向成熟和实用。

人才挑战：

  • 数据系统需要跨领域的知识（数据库、分布式系统、AI、安全）。
  • 人才培养跟不上技术发展的速度。
  • 需要更好的教育和培训体系。

知识点 3：数据系统的机遇

未来数据系统也面临巨大的机遇：

AI 带来的机遇：

  • AI 可以自动化数据管理的很多工作，降低运维成本。
  • AI 可以发现数据中的模式和洞察，创造新的业务价值。
  • AI 可以改善用户体验，降低数据访问门槛。

云原生带来的机遇：

  • 云原生降低了数据系统的部署和运维成本。
  • 云原生使得数据系统可以更灵活地扩展。
  • 云原生促进了数据系统的创新和竞争。

开源带来的机遇：

  • 开源降低了数据系统的使用门槛。
  • 开源促进了技术的快速迭代和创新。
  • 开源培养了庞大的开发者社区。

知识点 4：数据系统的伦理考量

随着数据系统的能力增强，伦理考量变得越来越重要：

公平性：

  • AI 模型可能放大训练数据中的偏见。
  • 数据系统需要保证公平性，避免歧视。

透明性：

  • 数据系统的决策过程应该是可解释的。
  • 用户有权知道数据如何被使用。

责任性：

  • 数据系统的开发者和运营者需要对系统的行为负责。
  • 需要建立问责机制和救济渠道。

可持续性：

  • 数据系统的环境影响需要被认真考虑。
  • 需要在性能和可持续性之间做出权衡。

常见误区

误区 1："AI 会取代 DBA 和数据工程师"

纠正：AI 会自动化很多重复性的工作（如索引调优、查询优化），但不会取代人类。数据系统的设计、架构决策、业务理解仍然需要人类的判断和创造力。AI 是工具，不是替代品。未来的 DBA 和数据工程师需要学会使用 AI 工具，而不是被 AI 取代。

误区 2："实时处理可以完全替代批处理"

纠正：实时处理和批处理有不同的适用场景。实时处理适合低延迟、持续更新的工作负载；批处理适合大规模、复杂计算的工作负载。很多系统同时使用两种模式（Lambda 架构或 Kappa 架构），互为补充。

误区 3："去中心化总是比中心化好"

纠正：去中心化和中心化各有优劣。去中心化提高了抗审查性和容错性，但可能牺牲性能和一致性。中心化提高了性能和一致性，但可能存在单点故障和权力集中。选择应该基于具体场景和需求，而不是意识形态。

误区 4："隐私和安全可以事后添加"

纠正：隐私和安全必须在系统设计之初就考虑，而不是事后添加。事后添加安全措施的代价远高于从一开始就设计安全的系统。"Security by Design"和"Privacy by Design"应该是数据系统的基本原则。

误区 5："新技术总是比旧技术好"

纠正：新技术通常解决了旧技术的某些痛点，但也引入了新的问题和复杂性。选择技术应该基于实际需求，而不是追逐潮流。成熟稳定的技术往往比最新最酷的技术更适合生产环境。"Boring technology"（无聊的技术）通常是更好的选择。

实践应用

实践 1：为 AI 时代准备数据系统

为 AI 时代准备数据系统的策略：

向量搜索能力：为数据库添加向量搜索能力（如 pgvector、Elasticsearch 向量搜索）。

特征存储：部署特征存储平台，管理 ML 特征。

数据质量：建立数据质量管理体系，保证 AI 训练数据的质量。

数据治理：建立数据治理框架，保证数据的安全、合规和可追溯。

AI 辅助运维：引入 AI 辅助的数据库调优和运维工具。

实践 2：构建实时数据平台

构建实时数据平台的步骤：

事件流平台：部署 Kafka 或 Pulsar 作为事件流骨干。

CDC 工具：使用 Debezium 捕获数据库变更。

流处理引擎：使用 Flink 或 RisingWave 进行实时数据处理。

物化视图：使用 Materialize 或 RisingWave 维护实时物化视图。

实时分析：使用 ClickHouse 或 Druid 提供实时分析查询。

监控：监控数据管道的延迟、吞吐量、数据质量。

实践 3：实施 Data Mesh

实施 Data Mesh 的建议：

从小规模开始：选择一个业务领域作为试点，验证 Data Mesh 的可行性。

建设自助平台：数据平台团队提供基础设施和工具，降低领域团队的门槛。

定义数据产品标准：建立数据产品的质量标准、接口规范、SLA 承诺。

建立联邦治理：制定全局的数据治理标准，同时允许领域自治。

培养数据文化：推动组织从"数据是 IT 的事"转变为"数据是每个人的事"。

实践 4：可持续数据系统

构建可持续数据系统的策略：

资源优化：合理配置资源，避免过度配置。使用自动扩缩容。

存储分层：热数据使用高性能存储，冷数据迁移到低成本、低功耗存储。

碳感知调度：将可延迟的工作负载调度到碳强度低的时段。

能效监控：监控数据中心的 PUE（Power Usage Effectiveness）和碳排放。

绿色采购：优先选择使用可再生能源的云提供商和硬件供应商。

本章小结

本章展望了数据系统的未来发展方向：

AI 原生的数据系统：

- AI 驱动的数据管理：自动索引、自动分区、查询优化。

- 向量搜索成为数据库的标准能力。

- LLM 改变人与数据系统的交互方式。

实时 Everywhere：

- 从批处理到实时分析、实时 ETL、实时机器学习。

- 物化视图技术的复兴和进化。

- 实时 Data Mesh 的实现。

数据网格与去中心化：

- Data Mesh 从概念走向实践，改变数据组织的运作方式。

- 去中心化身份和数据主权保护用户权益。

- 联邦学习和隐私计算实现数据协作而不共享原始数据。

可持续计算：

- 数据中心的能耗和碳排放需要被认真考虑。

- 碳感知计算将工作负载调度到低碳时段。

- 效率优先的设计减少资源消耗。

新兴技术：

- WebAssembly 在数据库插件和边缘计算中的应用。

- 量子计算对密码学和优化问题的潜在影响。

- 边缘数据系统满足低延迟和离线需求。

数据系统的未来是令人兴奋的，也是充满挑战的。AI、实时性、去中心化、可持续性——这些趋势将共同塑造未来十年的数据系统。作为数据系统的从业者和使用者，我们需要保持学习的心态，拥抱变化，同时坚守数据系统的基本原则：可靠性、可扩展性、可维护性。

正如 Martin Kleppmann 在《数据密集型应用系统设计》中所说："没有一种技术可以解决所有问题。"未来的数据系统不会是某一种技术的天下，而是多种技术的融合——AI + 数据库、实时 + 批处理、中心化 + 去中心化、性能 + 可持续性。理解这些趋势和权衡，才能在快速变化的技术 landscape 中做出明智的决策。

数据系统的故事还远没有结束。最好的系统永远是下一个。