数据密集型软件

数据密集型应用是系统的大部分功能都与数据相关的应用——数据量、数据复杂度、数据变化速度是主要挑战。核心子系统包括：存储引擎（B+树 vs LSM-Tree，OLTP vs OLAP）、复制（单主/多主/无主，同步/异步）、分区（按范围/哈希/二级索引）、事务（ACID、隔离级别、MVCC）、一致性模型（线性一致、顺序一致、因果一致、最终一致）。典型组件：关系数据库（PostgreSQL、MySQL）、NoSQL（Redis、MongoDB、Cassandra）、消息队列（Kafka、RabbitMQ）、搜索引擎（Elasticsearch）、缓存（Memcached、Redis）。

单机存储和计算能力有限。当数据量超过单机内存/磁盘容量，或 QPS 超过单机处理能力时，必须将数据分布到多台机器。这引入了新问题：数据如何在节点间复制？如何保证一致性？如何处理节点故障？如何跨节点查询？存储引擎的选择（B+树适合读多写少，LSM-Tree 适合写多读少）直接影响系统性能。一致性模型的选择（强一致 vs 最终一致）影响系统的可用性和延迟。

程序员通过数据库驱动/客户端库与存储系统交互。SQL 用于关系数据库，REST/gRPC 用于 NoSQL。理解数据密集型系统有助于理解：为什么选择 PostgreSQL 而不是 MongoDB（数据模型决定）；为什么缓存层能提升性能（减少数据库压力）；为什么消息队列解耦服务（异步通信）；为什么分布式事务如此复杂（跨节点一致性）。Martin Kleppmann 的《DDIA》是该领域的经典参考。