Linux 壓縮工具完全指南：gzip、bzip2、xz、zstd、7z 效能全面比較

# 壓縮檔案（原檔案會被刪除）
gzip file.txt
# 產生 file.txt.gz

# 保留原檔案
gzip -k file.txt

# 最高壓縮率（-9）
gzip -9 file.txt

# 解壓縮
gunzip file.txt.gz
# 或
gzip -d file.txt.gz

# 壓縮測試
time gzip -9 -k my_DB_backup.sql

# macOS
brew install pigz

# Ubuntu/Debian
sudo apt install pigz

# 使用（語法與 gzip 相同）
pigz -9 -k file.txt

# 指定執行緒數量
pigz -9 -p 10 file.txt  # 使用 10 個核心

time pigz -9 -k -p 10 my_DB_backup.sql

# 壓縮
bzip2 -9 file.txt
# 產生 file.txt.bz2

# 保留原檔案
bzip2 -9 -k file.txt

# 解壓縮
bunzip2 file.txt.bz2

time bzip2 -9 -k my_DB_backup.sql

# 壓縮
xz -9 file.txt
# 產生 file.txt.xz

# 極致壓縮模式
xz -9e file.txt

# 多執行緒壓縮
xz -9e -T10 file.txt

# 解壓縮
unxz file.txt.xz
# 或
xz -d file.txt.xz

time xz -9e -T10 -k my_DB_backup.sql

# 壓縮等級 0-9
xz -0  # 最快，壓縮率最低
xz -6  # 預設等級
xz -9  # 最高壓縮率

# 極致模式（-e）
xz -9e  # 比 -9 更高的壓縮率，但速度更慢

# Linux 核心原始碼打包
tar -cJf linux-6.6.tar.xz linux-6.6/
# 使用 xz 壓縮，檔案大小通常比 .tar.gz 小 30-40%

# 資料庫備份
pg_dump mydb | xz -9e -T$(nproc) > mydb_backup.sql.xz

# macOS
brew install zstd

# Ubuntu/Debian
sudo apt install zstd

# 基本壓縮
zstd file.txt
# 產生 file.txt.zst

# 指定壓縮等級（1-22，預設為 3）
zstd -19 file.txt  # 高壓縮率
zstd -1 file.txt   # 快速壓縮

# 多執行緒
zstd -19 -T10 file.txt

# 解壓縮
unzstd file.txt.zst

time zstd -19 -T10 my_DB_backup.sql

# 不同等級的壓縮測試（174 MB 檔案）
zstd -1  # 5秒,  30MB  (83% 壓縮率)
zstd -3  # 8秒,  27MB  (84.5% 壓縮率，預設)
zstd -10 # 25秒, 23MB  (86.8% 壓縮率)
zstd -19 # 45秒, 21MB  (87.9% 壓縮率)
zstd -22 # 90秒, 20MB  (88.5% 壓縮率，最高）

# Docker image 儲存（節省空間與載入時間）
docker save myimage | zstd -19 > myimage.tar.zst

# 日誌即時壓縮
tail -f /var/log/app.log | zstd -3 > app.log.zst

# Rsync 與 zstd 結合
rsync -av --compress-level=0 src/ dest/ | zstd -3 > sync.log.zst

# macOS
brew install p7zip

# Ubuntu/Debian
sudo apt install p7zip-full

# 基本壓縮
7z a archive.7z file.txt

# 極致壓縮（LZMA2）
7z a -t7z -m0=lzma2 -mx=9 archive.7z file.txt

# 加密壓縮
7z a -p'MyPassword' -mhe=on archive.7z file.txt
# -p: 設定密碼
# -mhe=on: 加密檔案名稱

# 多執行緒
7z a -mmt=10 archive.7z file.txt

# 解壓縮
7z x archive.7z

time 7z a -t7z -m0=lzma2 -mx=9 -mmt=10 backup.7z my_DB_backup.sql

# AES-256 加密
7z a -p'StrongPassword123' -mhe=on -mx=9 secure.7z sensitive_data.sql

# 驗證加密
7z l secure.7z  # 無法看到檔案列表（因為 -mhe=on）

# 解壓縮（需要密碼）
7z x secure.7z
# Enter password: ****

# 7z 可以解壓多種格式
7z x file.zip
7z x file.rar
7z x file.tar.gz
7z x file.tar.xz
7z x file.iso

# tar + gzip (最常用)
tar -czf archive.tar.gz directory/
tar -xzf archive.tar.gz

# tar + bzip2
tar -cjf archive.tar.bz2 directory/
tar -xjf archive.tar.bz2

# tar + xz (極致壓縮)
tar -cJf archive.tar.xz directory/
tar -xJf archive.tar.xz

# tar + zstd (現代化選擇)
tar -c directory/ | zstd -19 > archive.tar.zst
zstd -dc archive.tar.zst | tar -x

# 常用參數
-c  # create (建立)
-x  # extract (解壓)
-t  # list (列出內容)
-v  # verbose (顯示詳細資訊)
-f  # file (指定檔案名稱)
-z  # gzip
-j  # bzip2
-J  # xz

# 範例
tar -czvf backup.tar.gz /var/www/
# c: 建立
# z: 使用 gzip
# v: 顯示過程
# f: 檔案名稱為 backup.tar.gz

# 排除特定檔案
tar -czf backup.tar.gz --exclude='*.log' --exclude='node_modules' project/

# 保留權限
tar -czpf backup.tar.gz directory/
# p: 保留檔案權限

# 分卷壓縮（大檔案分割）
tar -czf - large_directory/ | split -b 1G - backup.tar.gz.part
# 合併解壓
cat backup.tar.gz.part* | tar -xzf -

# 使用 pigz 加速
tar -c directory/ | pigz -9 -p 10 > archive.tar.gz

# 透過 SSH 遠端備份
tar -czf - /var/www/ | ssh user@remote 'cat > backup.tar.gz'

#!/bin/bash
# 資料庫備份腳本
BACKUP_DIR="/backup/$(date +%Y%m%d)"
mkdir -p $BACKUP_DIR

# 匯出並壓縮
pg_dump mydb | xz -9e -T$(nproc) > $BACKUP_DIR/mydb_$(date +%Y%m%d_%H%M%S).sql.xz

# 清理 30 天前的備份
find /backup -type f -mtime +30 -delete

# GitLab CI/CD 範例
build-and-save:
  stage: build
  script:
    - docker build -t myapp:$CI_COMMIT_SHA .
    - docker save myapp:$CI_COMMIT_SHA | zstd -10 -T$(nproc) > myapp.tar.zst
  artifacts:
    paths:
      - myapp.tar.zst
    expire_in: 7 days

deploy:
  stage: deploy
  script:
    - zstd -dc myapp.tar.zst | docker load
    - docker run -d myapp:$CI_COMMIT_SHA

# logrotate 配置
/var/log/myapp/*.log {
    daily
    rotate 90
    compress
    compresscmd /usr/bin/pigz
    compressoptions -9 -p 4
    compressext .gz
    delaycompress
    missingok
    notifempty
}

# 原始碼歸檔（無加密）
tar -cJf project_archive_$(date +%Y%m%d).tar.xz \
    --exclude='node_modules' \
    --exclude='.git' \
    project/

# 敏感檔案歸檔（加密）
7z a -t7z -m0=lzma2 -mx=9 -mhe=on -p'StrongPassword' \
    sensitive_archive.7z \
    ./sensitive_data/

# Nginx 配置
http {
    # 即時壓縮
    gzip on;
    gzip_vary on;
    gzip_types text/plain text/css application/json application/javascript;
    gzip_min_length 1000;

    # 預壓縮檔案（需要預先產生 .gz 檔案）
    gzip_static on;
}

# 預壓縮腳本
find /var/www/html -type f \( -name '*.js' -o -name '*.css' \) \
    -exec gzip -9 -k {} \;

# 遠端備份腳本
#!/bin/bash
SOURCE="/data/backup/"
DEST="user@remote:/backup/"

# 使用 zstd 壓縮，透過 rsync 傳輸
tar -c $SOURCE | zstd -10 -T$(nproc) | \
    ssh user@remote "cat > /backup/backup_$(date +%Y%m%d).tar.zst"

# 或使用 rsync 的內建壓縮
rsync -avz --compress-level=0 $SOURCE $DEST
# 注意：rsync 的 -z 使用 zlib，效率不如 zstd

# 檢查檔案類型（某些檔案已經壓縮過）
file myfile.jpg  # JPEG images are already compressed
file myfile.mp4  # Video files are already compressed
file myfile.pdf  # PDFs may be compressed

# 已壓縮的檔案再壓縮效果不佳
gzip video.mp4  # 幾乎沒有壓縮效果，反而浪費時間

# 直接壓縮 pg_dump 輸出（不產生中間檔案）
pg_dump mydb | xz -9e -T$(nproc) > backup.sql.xz

# 遠端備份一步到位
tar -c /var/www | zstd -19 | ssh user@backup 'cat > www_backup.tar.zst'

# 分卷壓縮大檔案
tar -c large_directory/ | xz -9 | split -b 1G - backup.tar.xz.part

# gzip
gzip -t file.gz

# xz
xz -t file.xz

# 7z
7z t archive.7z

# 壓縮時產生校驗碼
xz -9 file.txt
sha256sum file.txt.xz > file.txt.xz.sha256

# 恢復前驗證
sha256sum -c file.txt.xz.sha256

# 降低壓縮等級以減少記憶體使用
xz -6 large_file.txt  # 而非 -9

# 或使用記憶體友善的工具
gzip -9 large_file.txt  # gzip 記憶體使用量低

#!/bin/bash
# 智慧壓縮腳本：根據檔案大小選擇工具

FILE=$1
SIZE=$(stat -f%z "$FILE")  # macOS
# SIZE=$(stat -c%s "$FILE")  # Linux

if [ $SIZE -lt 10485760 ]; then
    # < 10MB: 使用 gzip（快速）
    echo "Small file, using gzip..."
    gzip -9 "$FILE"
elif [ $SIZE -lt 104857600 ]; then
    # 10-100MB: 使用 zstd（平衡）
    echo "Medium file, using zstd..."
    zstd -19 "$FILE"
else
    # > 100MB: 使用 xz（極致壓縮）
    echo "Large file, using xz..."
    xz -9e -T$(nproc) "$FILE"
fi

# 用 pigz 壓縮
pigz -9 file.txt

# 用 gzip 解壓（沒問題）
gunzip file.txt.gz

# 不要這樣做
gzip image.jpg  # JPEG 已經壓縮，再壓縮幾乎沒效果
xz video.mp4    # MP4 已經壓縮，浪費時間

# 已壓縮的常見格式
.jpg, .jpeg  # 圖片
.mp3, .mp4   # 影音
.zip, .gz    # 壓縮檔
.pdf         # PDF（通常已壓縮）

# 快速壓縮（節省時間）
gzip -1 file.txt
zstd -3 file.txt

# 平衡模式（預設）
gzip -6 file.txt  # 預設
xz -6 file.txt    # 預設

# 極致壓縮（節省空間）
gzip -9 file.txt
xz -9e file.txt

# 不要超過實體核心數
CORES=$(nproc)
xz -9e -T$CORES file.txt

# 如果是超執行緒 CPU，可以用一半
HALF_CORES=$(($(nproc) / 2))
xz -9e -T$HALF_CORES file.txt

# 為其他工作保留 1-2 個核心
RESERVED=2
xz -9e -T$(($(nproc) - $RESERVED)) file.txt

# 使用管線避免中間檔案
tar -c directory/ | xz -9e -T$(nproc) > archive.tar.xz

# 而非
tar -cf archive.tar directory/
xz -9e -T$(nproc) archive.tar
rm archive.tar  # 額外的 I/O 操作

# SSD: 可以使用更高的壓縮等級（I/O 快）
xz -9e -T$(nproc) file.txt

# HDD: 降低壓縮等級可能更快（避免 I/O 瓶頸）
xz -6 -T$(nproc) file.txt

# 壓縮率測試工具
brew install hyperfine  # 效能測試
brew install dust       # 磁碟空間視覺化

# 測試不同壓縮工具
hyperfine --warmup 1 \
  'gzip -9 -c file.txt > /dev/null' \
  'pigz -9 -c file.txt > /dev/null' \
  'xz -9 -c file.txt > /dev/null' \
  'zstd -19 -c file.txt > /dev/null'