【死磕 Redis】—— 理解 pipeline 管道

在前面博客中小编提到过 Redis 性能瓶颈主要是网络，主要原因就在于 Redis 执行命令的时间通常在微妙级别。正常情况下，我们执行一条 Redis 命令流程要经过如下几个步骤：

客户端发送 Redis 命令，阻塞等待 Redis 应答
Redis 接收到命令，执行命令
应答，客户端收到响应信息

其中 1 、3 称之为一次 RTT（Round Trip Time）。在这种情况下，如果同时执行大量命令，那当前命令需要等待上一条命令应答完成后才会执行，这个过程不仅仅只有多次 RTT，还有频繁的调用系统 IO，发送网络请求，如下图：

把大量的时间消耗在来回路上，真正办事的时间就只有一点点，这种做法是非常不明智且低效的，为了解决这种低效的做法，pipeline 出现了，它允许客户端一次性发送多条命令，减少 RTT 和 IO 的调用次数（IO 调用涉及到用户态到内核态之间的切换）。如下图：

实现原理

要支持 pipeline，除了需要 Redis 服务端支持，也需要各个客户端的支持，例如 jedis 就对 pipeline 提供了很好的支持。对于服务端来说，所需要的就是能够处理客户端通过一个 TCP 连接发送的多个命令，对多个命令进行排队，执行。而客户端，则需要将多个命令缓存起来，待缓冲区满了就发送，同时还需要处理 Redis 的应答。

pipeline 不是什么新鲜技术，很多技术都使用过，它能提供性能的核心就在于：它能将一组 Redis 命令进行组装，通过一次 RTT 传输给 Redis，同时再将这组命令的执行结果按照顺序返回给客户端。将原来一组命令多次 RTT 以及 IO 交互变成了一组 RTT 和 IO 交互，大大减少了网络传输时间和 IO 调用的时间。

下图是一次请求交互的流程（图片来自：《Redis 深度历险：核心原理与应用实践》）:

需要注意的是，在使用 pipeline 的过程中需要控制其中命令的大小，如果一次组装的命令过多，则会增加造成一定的网络阻塞，也会增加客户端的等待时间。

性能压测

Redis 提供了一个压测工具 redis-benchmark，该工具可以进行 pipeline 测试。如下：

-P 参数：它表示单个管道内并行的请求数量

与批量的比较

pipeline 的批次提交命令与 Redis 的批量命令有很多相似之处，可以利用 pipeline 模拟出批次的效果，但是他们还是存在一些不同之处：

pipeline 可以一次性发送多个不同的命令，例如 set、get、而批量这是一次一个命令，只不过这一次对应的是多个 key 而已。
pipeline 只是将多个命令一起发出去而已，不保证这些命令的执行是原则性，而批量则是原子性的，他需要保证整个操作的正确性，避免中途出错而导致最后产生的数据不一致。

与单个命令的性能测试

public static void main(String[] args) throws IOException {
     Jedis jedis = new Jedis("127.0.0.1");

     Pipeline pipeline = jedis.pipelined();

     long pipelineBegin = System.currentTimeMillis();
     for(int i = 0 ; i < 100000 ; i++){
         pipeline.set("pipeline:test_"+i,i + "");
     }
     //获取所有的 response
     pipeline.sync();

     long pipelineEnd = System.currentTimeMillis();

     System.out.println("the pipeline is :" + (pipelineEnd - pipelineBegin));

     long start = System.currentTimeMillis();
     for (int i = 0; i < 100000; i++) {
         jedis.set("jedis:test_"+i,i + "");
     }
     long end = System.currentTimeMillis();
     System.out.println("the jedis is:" + (end - start));
 }

从图中可以看出，普通的方式与 pipeline 性能相差 10 倍，从这里可以看出 pipeline 的性能之强悍。

参考

付磊：《Redis 开发与运维》
掘金小册子：Redis 深度历险：核心原理与应用实践

Java 面试宝典是大明哥全力打造的 Java 精品面试题，它是一份靠谱、强大、详细、经典的 Java 后端面试宝典。它不仅仅只是一道道面试题，而是一套完整的 Java 知识体系，一套你 Java 知识点的扫盲贴。

它的内容包括：

大厂真题：Java 面试宝典里面的题目都是最近几年的高频的大厂面试真题。
原创内容：Java 面试宝典内容全部都是大明哥原创，内容全面且通俗易懂，回答部分可以直接作为面试回答内容。
持续更新：一次购买，永久有效。大明哥会持续更新 3+ 年，累计更新 1000+，宝典会不断迭代更新，保证最新、最全面。
覆盖全面：本宝典累计更新 1000+，从 Java 入门到 Java 架构的高频面试题，实现 360° 全覆盖。
不止面试：内容包含面试题解析、内容详解、知识扩展，它不仅仅只是一份面试题，更是一套完整的 Java 知识体系。
宝典详情：https://www.yuque.com/chenssy/sike-java/xvlo920axlp7sf4k
宝典总览：https://www.yuque.com/chenssy/sike-java/yogsehzntzgp4ly1
宝典进展：https://www.yuque.com/chenssy/sike-java/en9ned7loo47z5aw

目前 Java 面试宝典累计更新 400+ 道，总字数 42w+。大明哥还在持续更新中，下图是大明哥在 2024-12 月份的更新情况：

想了解详情的小伙伴，扫描下面二维码加大明哥微信【daming091】咨询

同时，大明哥也整理一套目前市面最常见的热点面试题。微信搜[大明哥聊 Java]或扫描下方二维码关注大明哥的原创公众号[大明哥聊 Java] ，回复【面试题】即可免费领取。

阅读全文