Dự đoán
Nghe có vẻ kỳ lạ, nhưng AI bắt đầu từ MỘT BỨC ẢNH HOÀN TOÀN NHIỄU (giống tivi mất sóng) rồi từng bước khử nhiễu, được dẫn dắt bởi mô tả của bạn. Giống như hoạ sĩ bắt đầu từ bản phác thảo mờ rồi thêm dần chi tiết!
Evaluating routing across providers.
AI Researcher
Mô hình AI tạo ra hình ảnh chất lượng cao từ mô tả bằng ngôn ngữ tự nhiên.
Nghe có vẻ kỳ lạ, nhưng AI bắt đầu từ MỘT BỨC ẢNH HOÀN TOÀN NHIỄU (giống tivi mất sóng) rồi từng bước khử nhiễu, được dẫn dắt bởi mô tả của bạn. Giống như hoạ sĩ bắt đầu từ bản phác thảo mờ rồi thêm dần chi tiết!
Text-to-image không phải ghép ảnh có sẵn mà là khử nhiễu có dẫn dắt. Mỗi bước khử nhiễu, U-Net hỏi prompt: "nên giữ chi tiết nào, bỏ nhiễu nào?". Kết quả là bức ảnh hoàn toàn mới mà chưa từng tồn tại, được điêu khắc từ nhiễu bởi ý tưởng của bạn.
Prompt chi tiết giúp CLIP encoder tạo vector ngữ nghĩa phong phú hơn, dẫn dắt U-Net tạo đúng các chi tiết mong muốn. Đây là kỹ năng cốt lõi của prompt engineering cho ảnh. Tăng số bước chỉ làm ảnh mịn hơn, không thêm chi tiết mới.
Text-to-Image là công nghệ sử dụng mô hình khuếch tán (diffusion model) để tạo hình ảnh từ mô tả ngôn ngữ tự nhiên. Kiến trúc phổ biến nhất hiện nay là Latent Diffusion (Stable Diffusion).
Quá trình khử nhiễu tuân theo công thức:
Trong đó là nhiễu dự đoán bởi U-Net, là conditioning từ prompt, là hệ số lịch trình nhiễu.
from diffusers import StableDiffusionPipeline
import torch
# Tạo ảnh phố cổ Hà Nội
pipe = StableDiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
torch_dtype=torch.float16,
).to("cuda")
prompt = "Phố cổ Hà Nội mùa thu, lá vàng rơi trên đường, "
prompt += "xe đạp cũ dựng bên tường gạch, ánh nắng chiều"
negative_prompt = "blurry, low quality, distorted"
image = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
num_inference_steps=30, # Số bước khử nhiễu
guidance_scale=7.5, # CFG scale
width=1024, height=1024,
).images[0]
image.save("pho-co-ha-noi.png")