系列回顾

这是限流器架构三部分系列文章的最后一部分。在本篇总结中，我们将讨论限流器客户端的身份、协作机制、优先级管理以及约束问题。

客户端标识

我们重点关注异步任务、批量任务，以及大型操作，例如 ETL、数据导入和模式变更。这些操作的执行组件是限流器的客户端。这些客户端需要将任务分解为合理的小子任务，并周期性地向限流器检查是否有权限继续执行。这是一种协作模型，客户端主动请求许可。
然而，客户端标识对观察和操作同样重要：

  1. 分析目的：例如，你希望知道哪些操作在某时间段内受限流器阻止。比如，某 ETL 日常聚合任务大部分时间在 07:00 至 07:25 被限流，或者中午时限流器处理了多个客户端的请求，包括数据导入、针对 “customers” 表的模式迁移，以及一次每小时的清理任务。
  2. 操作目的：明确客户端身份后，可以对客户端请求进行优先级控制，例如提升某任务优先级，或暂停某任务。甚至可以对客户端类别进行整体优先级调整。

优先级调整的风险：豁免和资源饥饿

在协作模型中，客户端请求限流器的许可。然而，某个”异常”客户端可能绕过限流器，直接将任务负载发送至系统。或者，限流器可能有机制允许豁免某客户端的请求。这种豁免可能导致：

  1. 该客户端资源使用过度，超出阈值，比如复制延迟变成数分钟，显著超过限流器阈值。其他客户端请求会持续被拒绝，进入饥饿状态。
  2. 系统性能显著下降，与限流器设计初衷背道而驰。

尽管豁免机制存在风险，在一些特殊情况下它仍有用武之地，我们将在后续讨论。

优先级配置

一种更安全的方法是遵循规则，通过优先级配置实现更灵活的资源管理，例如**去优先化**机制：

  • 客户端请求限流器许可，限流器可以选择以一定比例拒绝。例如，限流器随机百分比（如 1 或 2）拒绝请求，而非直接检查系统指标。
  • 被拒绝的客户端会进入休眠，随后重新尝试请求。这样数据库负载会减少，同时推迟部分客户端操作。
  • 目标是通过为某些客户端设定更高的拒绝比例，让其他客户端优先处理自己的任务——以减少资源饥饿的可能性。

限流基于不同指标

是否应该为不同的客户端基于不同的系统指标进行限流？例如：

  1. 某客户端根据复制延迟限流；
  2. 另一客户端根据复制延迟和系统平均负载（load average）同时限流。

这种情况下，第一个客户端被豁免了 load average 指标的检查。如果第一个客户端导致系统负载过高，第二个客户端可能陷入饥饿状态。虽然这看似有风险，但实际使用中可以因操作性质差异而灵活处理：

  • 不同操作对系统的影响不同，例如复制数据的任务与清理数据的任务对系统消耗完全不同。
  • 工程师或管理员自然能根据特定任务的要求选择适合的指标进行限流检查。

豁免机制的应用场景

尽管豁免机制有风险，但在以下场景中是合理的：

  1. 短时间饥饿影响可接受：例如某任务运行时间为 12 小时，饥饿 10 分钟对整体影响不大；
  2. 修复紧急问题：某任务必须执行，即使资源暂时超出正常负载；
  3. 轻量任务：某些系统内核任务并不涉及大规模数据变化，但由于设计需通过限流器检查，因此可以完全豁免。

客户端身份分级和分类

客户端可以明确分级身份。例如，在 Vitess 中，客户端可能被标识为 d666bbfc_169e_11ef_b0b3_0a43f95f28a3:vcopier:vreplication:online-ddl，其中：

  • 该任务是 vreplication 作业；
  • 其对应 ID 为 d666bbfc_169e_11ef_b0b3_0a43f95f28a3；
  • 其正运行 “vcopier” 流，并属在线 DDL 模式迁移的一部分。

借助这种身份标识，可以实现分类操作，例如：

  • 对所有在线 DDL 作业设置优先级；
  • 单独调整某任务的优先级；
  • 或完全豁免所有 “vcopier” 流操作。

动态管理与规则时限

限流器的规则配置应支持动态管理，特别是对任务的分类或豁免。建议为这些规则设置有效期限，确保在特定时间段或紧急事件时可以调整资源，但事后恢复正常。例如：在高峰期可暂时对所有任务去优先化以应对短期负载问题。

协作 vs 强制执行

我们讨论了协作模式可能出现的客户端绕过限流器检查的情况。替代设计是通过**强制限流机制**来解决：

  • 强制限流器运行在客户端和系统之间，作为代理直接拦截请求。
  • Vitess 的事务限流器便是一例，它在系统性能下降时可主动延迟查询执行。

这种设计限制了客户端绕过限流器的可能性，但也增加了识别客户端的复杂性。

总结

虽然本文讨论的大部分内容针对数据库系统限流器，但这些原则同样适用于其他系统和服务的限流机制。在生产环境中动态控制限流器、优先化或推迟特定请求及任务的能力至关重要。通过细化限流器的规则，系统既能保持高效运行，又能灵活应对突发需求。


窥探限流器架构：第三部分插图

关注公众号：程序新视界，一个让你软实力、硬技术同步提升的平台

除非注明，否则均为程序新视界原创文章，转载必须以链接形式标明本文链接

本文链接：http://folen.top/2025/09/14/anatomy-of-a-throttler-part-3/