定义

低延迟缓存是一个高速数据存储层，旨在将频繁访问的数据存储在更靠近应用程序或最终用户的位置。它的主要功能是从这个快速的本地存储中提供数据请求，而不是查询数据库或远程 API 等较慢的主要数据源。在这种情况下，低延迟指的是从发出请求到返回数据之间的时间延迟最小化。

为什么它很重要

在现代、高流量的应用中，数据库查询可能会引入重大的瓶颈。对于用户满意度和运营效率而言，每一毫秒都很重要。通过实施低延迟缓存，组织可以大幅减轻后端数据库的负载，从而降低运营成本并为最终用户提供显著更快的响应时间。

工作原理

该过程通常遵循“缓存旁路”（cache-aside）模式。当应用程序需要数据时，它首先检查缓存。如果数据存在（“缓存命中”），则会立即返回。如果数据缺失（“缓存未命中”），应用程序会从主数据库中获取数据，将副本存储在缓存中以供将来使用，然后将数据返回给用户。

常见用例

低延迟缓存在多个领域至关重要：

• 会话管理： 存储用户会话数据，以实现在分布式服务之间快速进行身份验证检查。
• API 响应缓存： 存储昂贵或频繁调用的 API 端点的结果。
• 数据库查询结果： 缓存复杂连接或聚合查询的结果。
• 内容分发网络 (CDN)： 将静态资源和频繁访问的动态内容缓存到更靠近用户的地理位置。

主要优势

• 降低延迟： 最直接的好处；请求以毫秒而不是数十或数百毫秒的速度得到响应。
• 可扩展性： 卸载数据库读取操作，使主数据库能够更有效地处理写入和复杂事务。
• 成本效益： 降低数据库负载可以直接转化为更低的云计算和数据库许可成本。
• 提高吞吐量： 系统可以处理更高数量的并发请求。

挑战

• 缓存失效： 确保缓存数据与“真相来源”保持一致是最复杂的挑战。过时的数据会破坏缓存的全部目的。
• 复杂性： 实施和调整分布式缓存层需要专业的工程知识。
• 内存开销： 缓存会消耗系统内存，这必须得到有效管理。

相关概念

相关概念包括生存时间 (TTL) 策略、写穿透缓存 (Write-Through Caching)、读穿透缓存 (Read-Through Caching) 和最终一致性。