为什么 RocketMQ 一个 CommitLog文件就能抗住百万QPS

Corey2026/3/4大约 5 分钟面试题面试题

来源：为什么 RocketMQ 一个 CommitLog文件就能抗住百万QPS

很多初学者觉得不可思议：磁盘 IO 那么慢，数据库插入几万条都费劲，RocketMQ 凭什么往一个文件里写数据能抗住百万 QPS？

秘密在于它把 "磁盘" 当 "内存" 用。

RocketMQ 的核心设计哲学是：顺序写盘（Sequential Write） + 零拷贝（Zero Copy） + 内存映射（mmap）。

我们分四个层级，像剥洋葱一样为你揭秘。

第一层：架构设计——“一种文件存所有”

RocketMQ 与 Kafka 最大的不同在于：

Kafka：每个 Topic 的每个 Partition 一个文件。如果有 1000 个 Topic，写磁盘就是 1000 个文件的随机 IO。
RocketMQ：无论你有多少 Topic，所有消息全部写入同一个逻辑文件，叫做 CommitLog。

为什么要这么做？
为了把随机 IO 强制转换为 顺序 IO。

随机 IO (Random I/O)：磁头在盘面上疯狂跳动，寻道时间极长（最慢）。
顺序 IO (Sequential I/O)：磁头几乎不动，一直往后写。

性能数据对比：
在机械硬盘（HDD）上，顺序写的速度可以达到 600MB/s，这甚至比随机写内存还要快！

我为你生成了一张架构图，直观对比这两种模式：

这图左边是普通 MQ 的噩梦，右边是 RocketMQ 的“单行道”策略。所有消息不分 Topic，全部排队进入 CommitLog，这就保证了极致的写性能。

第二层：底层实现—— MappedFile 与 mmap

即使是顺序写，如果每次写都要发生 用户态内核态 的切换，性能也会崩。

RocketMQ 使用了 JDK 的 MappedByteBuffer，也就是操作系统的 mmap (Memory Mapped Files) 技术。

1. 什么是 mmap？

它将磁盘文件直接映射到内存（PageCache）。

写数据：直接写入内存映射区，操作系统会在后台异步刷盘到磁盘。
读数据：直接从内存读，如果内存没有，操作系统利用缺页中断加载。

2. Java 代码实现原理

在 RocketMQ 源码中，MappedFile 类是核心。每个 MappedFile 固定大小 1GB。

import java.io.File;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class MappedFileDemo {

// 1G 大小
public static final int FILE_SIZE = 1024 * 1024 * 1024; 

public static void main(String[] args) throws Exception {
    File file = new File("00000000000000000000"); // 文件名通常是偏移量
    
    // 1. 获取 FileChannel
    FileChannel fileChannel = new RandomAccessFile(file, "rw").getChannel();
    
    // 2. 关键：执行 mmap 映射
    // MapMode.READ_WRITE: 读写模式
    // 0: 映射起始位置
    // FILE_SIZE: 映射大小
    MappedByteBuffer mappedByteBuffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, FILE_SIZE);
    
    // 3. 写入数据 (这一步就像写内存 byte[] 一样快，完全没有磁盘 IO 阻塞)
    String msg = "Hello RocketMQ High Performance!";
    mappedByteBuffer.put(msg.getBytes());
    
    // 4. 刷盘 (由后台线程定期执行，不阻塞写入主线程)
    // mappedByteBuffer.force(); 
}

}

代码深度解析：

fileChannel.map 是系统调用。它返回的 MappedByteBuffer 对象，让你操作文件就像操作内存里的 byte[] 数组一样。
零拷贝 (Zero Copy)：
传统写：磁盘 -> 内核 Buffer -> 用户 Buffer -> Socket Buffer -> 网卡。
mmap 写：用户 Buffer 直接映射到内核 PageCache。数据少拷贝了一次。