ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Huấn luyện & Alignment

AI Researcher

Phát hiện Deepfake

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Các phương pháp phát hiện video và hình ảnh giả mạo được tạo bởi AI

lesson98 minHuấn luyện & AlignmentAI Researcher

Dự đoán

Bạn nhận video call xin chuyển tiền gấp. Video trông thật. Làm sao biết có phải deepfake?

Deepfake 2025 rất khó phân biệt bằng mắt! Nhưng vẫn có dấu hiệu: ánh sáng mắt không khớp, da quá mịn, tóc nhoè, lip-sync sai. QUAN TRỌNG NHẤT: luôn xác minh ngoài video — gọi lại qua số quen, hỏi câu bí mật gia đình, yêu cầu hành động mà AI không giả được (đưa tay lên mặt).

Dấu hiệu sinh trắc tham chiếu

Tín hiệuDấu hiệu tham chiếu (theo nguồn bài, chưa kiểm chứng)
Nháy mắtNgười thật: 12-20 lần/phút
Nhịp tim (rPPG)Đọc từ thay đổi màu da
Phản chiếu mắt2 mắt phản chiếu giống
Năng lượng tần số caoẢnh thật: 5-20%
Đối xứng mặtNgười thật: 55-70%
Ổn định mắtNgười thật có micro-movement

Khoảnh khắc A-ha

Deepfake detection giống giám định tranh giả — người thường nhìn bức tranh thấy bình thường, nhưng chuyên gia biết tìm: nét cọ không tự nhiên, tỷ lệ sai, chất liệu không đúng. AI phát hiện deepfake bằng cách tìm "nét cọ" của AI: pattern trong phổ Fourier, ánh sáng mắt, texture da, nhịp rPPG — những dấu vết mà AI tạo hình để lại mà mắt thường không thấy.

Thử thách nhanh

Detector huấn luyện trên deepfake StyleGAN gặp deepfake do Stable Diffusion tạo. Điều gì có thể xảy ra?

Generalization gap: StyleGAN và Diffusion tạo artifact khác nhau trong miền tần số. Detector 'học thuộc' artifact StyleGAN sẽ bỏ sót Diffusion deepfake. Giải pháp: train trên đa dạng loại deepfake, dùng multi-spectral analysis, và cập nhật liên tục.

Cần xác minh nhanh trong 5 giây với một video call nghi ngờ. Cách nào tốt nhất?

Active challenge tốt phải: (1) xảy ra trong khung hình (bàn tay che mặt ép deepfake xử lý occlusion), (2) biến dạng da (nhấn mũi làm da lún), (3) là hành động bạn NGẪU NHIÊN yêu cầu (không train sẵn được). Yêu cầu cười hoặc hỏi tên KHÔNG hiệu quả vì deepfake có thể mô phỏng.

Năm nhóm phương pháp

Deepfake Detection là các phương pháp phát hiện nội dung ảnh/video giả mạo tạo bởi AI ( GAN, Diffusion). Để phòng chống toàn diện, detection thường kết hợp với AI watermarking và content provenance (C2PA) để xác minh nguồn gốc nội dung ngay từ khâu sinh. Detection truyền thống có yếu điểm căn bản: luôn đi sau generator một bước.

Tần số và rPPG

Công thức phân tích tần số — deepfake có energy bất thường ở high frequency:

Scorefake=∑f>f0∣F(I)∣2∑f∣F(I)∣2\text{Score}_{\text{fake}} = \frac{\sum_{f > f_0} |\mathcal{F}(I)|^2}{\sum_{f} |\mathcal{F}(I)|^2}

F(I)\mathcal{F}(I) là Fourier transform của ảnh, f0f_0 là ngưỡng tần số (thường 0.5 * Nyquist). Ảnh thật tuân theo phổ 1/fα1/f^\alpha: năng lượng giảm dần khi tần số tăng. Deepfake có bump bất thường do upsampling layers (deconvolution artifact).

Kiến trúc detector

Kiến trúc detector CNN cơ bản (face-forensics):

deepfake_detector.py

import torch
import torch.nn as nn
import torch.nn.functional as F
from torchvision import transforms, models
from PIL import Image

class DeepfakeDetector(nn.Module):
    """
    Kiến trúc detector 2 nhánh:
    - Nhánh 1: EfficientNet-B4 đọc ảnh RGB gốc
    - Nhánh 2: CNN đọc phổ FFT (high-freq features)
    - Fusion: concat + FC head
    """
    def __init__(self, num_classes: int = 2):
        super().__init__()

        # Nhánh RGB
        backbone = models.efficientnet_b4(weights=None)
        backbone.classifier = nn.Identity()
        self.rgb_branch = backbone
        self.rgb_dim = 1792

        # Nhánh tần số
        self.freq_branch = nn.Sequential(
            nn.Conv2d(1, 32, kernel_size=3, padding=1),
            nn.BatchNorm2d(32),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 64, kernel_size=3, padding=1),
            nn.BatchNorm2d(64),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(2),
            nn.Conv2d(64, 128, kernel_size=3, padding=1),
            nn.BatchNorm2d(128),
            nn.ReLU(inplace=True),
            nn.AdaptiveAvgPool2d(1),
            nn.Flatten(),
        )
        self.freq_dim = 128

        # Fusion head
        self.head = nn.Sequential(
            nn.Linear(self.rgb_dim + self.freq_dim, 512),
            nn.ReLU(inplace=True),
            nn.Dropout(0.3),
            nn.Linear(512, num_classes),
        )

    @staticmethod
    def compute_spectrum(x: torch.Tensor) -> torch.Tensor:
        """x: [B, 3, H, W] -> log-magnitude spectrum [B, 1, H, W]."""
        gray = x.mean(dim=1, keepdim=True)
        fft = torch.fft.fft2(gray, norm="ortho")
        mag = torch.abs(torch.fft.fftshift(fft, dim=(-2, -1)))
        return torch.log1p(mag)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        rgb_feat = self.rgb_branch(x)
        spectrum = self.compute_spectrum(x)
        freq_feat = self.freq_branch(spectrum)
        fused = torch.cat([rgb_feat, freq_feat], dim=1)
        return self.head(fused)


# ============== Inference pipeline ==============
def predict_deepfake(model, image_path: str, device: str = "cuda"):
    transform = transforms.Compose([
        transforms.Resize((380, 380)),
        transforms.ToTensor(),
        transforms.Normalize(
            mean=[0.485, 0.456, 0.406],
            std=[0.229, 0.224, 0.225],
        ),
    ])
    img = Image.open(image_path).convert("RGB")
    x = transform(img).unsqueeze(0).to(device)

    model.eval()
    with torch.no_grad():
        logits = model(x)
        probs = F.softmax(logits, dim=-1)
        p_fake = probs[0, 1].item()

    if p_fake > 0.5:
        print(f"[CẢNH BÁO] Deepfake — confidence {p_fake:.1%}")
        print("Không nên tin tưởng. Xác minh qua kênh khác.")
    else:
        print(f"[OK] Có vẻ thật — confidence {1 - p_fake:.1%}")
        print("Vẫn nên xác minh nếu có yêu cầu tài chính/pháp lý.")
    return p_fake


if __name__ == "__main__":
    model = DeepfakeDetector(num_classes=2)
    model.load_state_dict(torch.load("checkpoints/detector_ff++_cdf.pth"))
    model.to("cuda")
    predict_deepfake(model, "evidence/zalo_call_frame_001.jpg")

Triển khai thực tế

Liên quan: khi generator cũng học từ detector feedback ( adversarial examples), detector phải được train với adversarial training để không bị qua mặt bằng perturbation nhỏ.

Cuộc chạy đua vũ trang

Mỗi khi detector đạt ~99% trên tập hiện có, generator mới ra đời và kéo accuracy xuống ~60%. Đây là ví dụ điển hình của arms race trong AI safety.

Playbook thực chiến

Chi tiết kỹ thuật: vân tay tần số và benchmark

StyleGAN fingerprint: Upsampling bằng transposed convolution với stride 2 tạo "checkerboard " artifact — đỉnh đều đặn tại các tần số f=k⋅fs/2f = k \cdot f_s / 2 với k = 1, 2, 3... Khi log-FFT, ta thấy "dots" đối xứng qua tâm.

Diffusion fingerprint: Khác với GAN, diffusion sinh ảnh qua nhiều step denoising — artifact phân tán đều hơn ở mid-freq (10-30% Nyquist). Phổ có "halo" quanh trung tâm thay vì peak riêng lẻ.

Universal detector: Wang et al. (2023) "CNN-generated images are surprisingly easy to spot" chỉ ra rằng detector train trên ProGAN có thể generalize sang nhiều GAN khác với augmentation đúng (Gaussian blur + JPEG). Nhưng generalization sang diffusion vẫn là vấn đề mở.

Phản công: Generator mới (StyleGAN3) dùng alias-free upsampling để XÓA fingerprint tần số — nhưng tạo ra fingerprint khác (equivariance pattern). Đây chính là arms race ở tầng thuật toán.

FaceForensics++ (FF++): 1000 video thật + 4000 video giả (4 phương pháp: DeepFakes, Face2Face, FaceSwap, NeuralTextures). Benchmark chuẩn từ 2019. Xception đạt ~95% trên FF++ uncompressed, ~78% trên compressed.

Celeb-DF v2: 590 video thật của celebrity + 5639 video giả chất lượng cao. Khó hơn FF++ nhiều — detector FF++ tụt xuống ~65% accuracy.

DeepFake Detection Challenge (DFDC): Facebook 2020, 124k video, nhiều augmentation. Winner đạt 82% accuracy trên private test.

DeeperForensics-1.0: 60k video với 7 loại degradation (blur, noise, compression, lighting...). Focus vào real-world robustness.

Metrics: AUC-ROC (chuẩn nhất vì class balance), Accuracy, EER (Equal Error Rate). Thực tế nên báo cáo AUC riêng cho từng manipulation type, không gộp.

Tóm tắt

  • 5 nhóm dấu hiệu: sinh trắc (blink, rPPG), tần số (FFT fingerprint), neural (CNN/ViT), temporal (video), provenance (C2PA).
  • Deepfake để lại 'vân tay' trong phổ Fourier — StyleGAN khác Diffusion khác Sora. Detector phải train đa dạng.
  • Generalization gap là yếu điểm lớn nhất: detector train loại A thường fail trên loại B mới.
  • rPPG đo nhịp tim từ thay đổi màu da — deepfake không có pulse signal nhất quán, khó giả.
  • Arms race: từ 2017 đến 2025, detector accuracy rớt từ 99% xuống 55% mỗi thế hệ. Provenance/watermark là hướng bền vững.
  • Tại VN: Zalo lừa đảo video call → playbook 5 bước: đóng băng, active challenge, câu hỏi bí mật, gọi lại kênh khác, báo 113 nếu cần.

Continue the module

Lesson 10 of 11