ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Tạo ảnh từ văn bản — AI hoạ sĩ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình AI tạo ra hình ảnh chất lượng cao từ mô tả bằng ngôn ngữ tự nhiên.

lesson102 minNLP & MultimodalAI Researcher

Dự đoán

Khi tạo ảnh từ prompt 'chú mèo ngồi trên mặt trăng', AI bắt đầu từ đâu?

Nghe có vẻ kỳ lạ, nhưng AI bắt đầu từ MỘT BỨC ẢNH HOÀN TOÀN NHIỄU (giống tivi mất sóng) rồi từng bước khử nhiễu, được dẫn dắt bởi mô tả của bạn. Giống như hoạ sĩ bắt đầu từ bản phác thảo mờ rồi thêm dần chi tiết!

Khoảnh khắc A-ha

Text-to-image không phải ghép ảnh có sẵn mà là khử nhiễu có dẫn dắt. Mỗi bước khử nhiễu, U-Net hỏi prompt: "nên giữ chi tiết nào, bỏ nhiễu nào?". Kết quả là bức ảnh hoàn toàn mới mà chưa từng tồn tại, được điêu khắc từ nhiễu bởi ý tưởng của bạn.

Thử thách nhanh

Bạn tạo ảnh 'phở bò Hà Nội' nhưng kết quả thiếu chi tiết (hành lá, thịt bò). Bạn nên làm gì?

Prompt chi tiết giúp CLIP encoder tạo vector ngữ nghĩa phong phú hơn, dẫn dắt U-Net tạo đúng các chi tiết mong muốn. Đây là kỹ năng cốt lõi của prompt engineering cho ảnh. Tăng số bước chỉ làm ảnh mịn hơn, không thêm chi tiết mới.

Kiến trúc Stable Diffusion

Text-to-Image là công nghệ sử dụng mô hình khuếch tán (diffusion model) để tạo hình ảnh từ mô tả ngôn ngữ tự nhiên. Kiến trúc phổ biến nhất hiện nay là Latent Diffusion (Stable Diffusion).

Quá trình khử nhiễu

Quá trình khử nhiễu tuân theo công thức:

xt−1=1αt(xt−1−αt1−αˉtϵθ(xt,t,c))+σtzx_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(x_t, t, c) \right) + \sigma_t \mathbf{z}

Trong đó ϵθ\epsilon_\theta là nhiễu dự đoán bởi U-Net, cc là conditioning từ prompt, αt\alpha_t là hệ số lịch trình nhiễu.

Classifier-Free Guidance và code

stable_diffusion.py

from diffusers import StableDiffusionPipeline
import torch

# Tạo ảnh phố cổ Hà Nội
pipe = StableDiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
).to("cuda")

prompt = "Phố cổ Hà Nội mùa thu, lá vàng rơi trên đường, "
prompt += "xe đạp cũ dựng bên tường gạch, ánh nắng chiều"
negative_prompt = "blurry, low quality, distorted"

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=30,     # Số bước khử nhiễu
    guidance_scale=7.5,         # CFG scale
    width=1024, height=1024,
).images[0]
image.save("pho-co-ha-noi.png")

Ứng dụng thực tế

Tóm tắt

  • Text-to-image bắt đầu từ nhiễu ngẫu nhiên, khử nhiễu dần dưới sự dẫn dắt của prompt.
  • Kiến trúc: CLIP encoder (hiểu prompt) → U-Net (khử nhiễu) → VAE decoder (tạo pixel).
  • CFG scale điều chỉnh mức bám sát prompt — quá cao sẽ thiếu tự nhiên, quá thấp sẽ bỏ qua prompt.
  • Latent diffusion xử lý trong không gian nhỏ (64x64) rồi giải mã ra ảnh lớn (512-1024px).
  • Prompt chi tiết là kỹ năng quan trọng nhất — mô tả càng cụ thể, kết quả càng chính xác.

Continue the module

Lesson 10 of 13