Day 75: std.compression模块：内置压缩算法

1. 引言：内置的数据压缩

数据压缩在现代计算中无处不在，从减小文件大小以便存储和传输，到加速网络通信。Zig的标准库通过std.compression模块，为一些最常用的压缩算法提供了内置支持。

这个模块提供了流式（streaming）API，允许你以块（chunk）的方式处理数据，而无需将所有内容一次性加载到内存中。这对于处理大文件或网络流非常高效。

2. Deflate：核心算法

Deflate是一种结合了LZ77算法和哈夫曼编码的无损数据压缩算法。它是许多其他压缩格式（如Gzip, Zlib, PNG）的核心。

std.compression.deflate提供了一个Writer，你可以像使用其他Writer一样向其写入未压缩的数据，它会自动将压缩后的数据写入其底层的Writer。

const std = @import("std");
const deflate = std.compression.deflate;

pub fn main() !void {
    const input_data = "hello hello hello, this is a test of deflate";
    var compressed_buffer = std.ArrayList(u8).init(std.testing.allocator);
    defer compressed_buffer.deinit();

    var compressor = deflate.writeStream(compressed_buffer.writer());
    try compressor.writeAll(input_data);
    try compressor.end(); // 必须调用end()来刷新所有剩余的压缩数据

    std.debug.print("Original size: {d}, Compressed size: {d}\n", .{
        input_data.len,
        compressed_buffer.items.len
    });
}

解压缩则通过deflate.readStream来完成。

3. Gzip：文件压缩标准

Gzip是一种广泛用于文件压缩的格式，它在Deflate数据流的基础上添加了一个头部（包含魔数和元数据）和一个尾部（包含CRC-32校验和）。

std.compression.gzip提供了与deflate类似的流式API。

gzip.writeStream(writer): 创建一个Gzip压缩流。
gzip.readStream(reader): 创建一个Gzip解压缩流。

4. 示例：压缩和解压缩文件

下面是一个完整的例子，展示了如何使用Gzip来压缩一个文件，然后再将其解压缩回来。

const std = @import("std");
const gzip = std.compression.gzip;

pub fn main() !void {
    const allocator = std.testing.allocator;

    // 1. 创建一个源文件
    const source_file = "source.txt";
    const compressed_file = "source.txt.gz";
    const decompressed_file = "source_decompressed.txt";
    const content = "Zig's standard library makes compression easy!" ** 10;
    try std.fs.cwd().writeFile(source_file, content);

    // 2. 压缩文件
    {
        var in_file = try std.fs.cwd().openFile(source_file, .{});
        defer in_file.close();
        var out_file = try std.fs.cwd().createFile(compressed_file, .{});
        defer out_file.close();

        var compressor = gzip.writeStream(out_file.writer());
        try std.io.copy(in_file.reader(), compressor.writer());
        try compressor.end();
    }

    // 3. 解压缩文件
    {
        var in_file = try std.fs.cwd().openFile(compressed_file, .{});
        defer in_file.close();
        var out_file = try std.fs.cwd().createFile(decompressed_file, .{});
        defer out_file.close();

        var decompressor = gzip.readStream(in_file.reader());
        try std.io.copy(decompressor.reader(), out_file.writer());
    }

    std.debug.print("Compression and decompression complete.\n", .{});
}

5. 实践练习：实现HTTP内容压缩

如果你正在编写一个HTTP服务器，客户端通常会通过Accept-Encoding头（如gzip, deflate）来表示它们支持的压缩算法。修改你的HTTP服务器，使其能够：

检查Accept-Encoding头。
如果客户端支持gzip，则使用gzip.writeStream来压缩响应体。
同时，添加Content-Encoding: gzip响应头。

6. 常见问题

压缩字典 对于许多相似的小数据块，使用预共享的“字典”可以显著提高压缩率。Deflate和Zstandard（另一个Zig支持的算法）都支持使用字典。
CRC校验和 Gzip和Zlib格式都包含CRC-32校验和，用于在解压缩时验证数据的完整性。std.compression模块会自动处理这些校验和的计算与验证。
多线程压缩 某些现代压缩算法（如Zstandard）原生支持多线程压缩以提高速度。Zig的std.compression模块的API设计也考虑了与多线程的集成。

7. 总结：与Zlib的兼容性

Zig的std.compression模块提供的Deflate、Gzip和Zlib实现，旨在与广泛使用的zlib库完全兼容。这意味着你可以用Zig创建可以被其他语言和工具（如标准的gzip命令行工具）正确解压的文件，反之亦然。

通过将这些核心压缩算法直接内置到标准库中，Zig为开发者提供了开箱即用的工具来优化数据存储和网络传输，而无需依赖任何外部C库。