ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc tiên tiến

AI Researcher

Trường bức xạ nơ-ron

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Biểu diễn cảnh 3D bằng mạng nơ-ron, tái tạo góc nhìn mới từ ảnh 2D

lesson115 minKiến trúc tiên tiếnAI Researcher

Dự đoán

Bạn chụp 50 ảnh chiếc xe máy từ nhiều góc. Giờ muốn xem xe từ góc chưa chụp bao giờ. Cần gì?

NeRF! Nó học một 'hàm 3D': cho mọi điểm (x,y,z) và hướng nhìn (θ,φ), trả về màu (RGB) và mật độ (σ). Từ đó render ảnh từ BẤT KỲ góc nhìn nào — như bạn có camera ảo bay quanh cảnh.

Khám phá NeRF

Hãy tưởng tượng bạn dùng Google Maps để xem phố cổ Hội An. Từ ảnh 2D đã chụp, AI xây dựng "thế giới 3D" — bạn "bay" quanh, zoom vào ngóc ngách chưa ai chụp. Đó là công nghệ đằng sau NeRF.

Khoảnh khắc Aha

NeRF biến bài toán 3D thành bài toán hàm số: F(x,y,z,θ,φ) → (r,g,b,σ). Một MLP đơn giản mã hóa TOÀN BỘ cảnh 3D! Không cần mesh, point cloud, hay voxel — chỉ cần weights của neural network.

Volume rendering

Thử thách

Render ảnh 800×800 từ NeRF. Mỗi pixel bắn 1 tia, lấy 64 mẫu/tia. MLP được gọi bao nhiêu lần?

640K pixels × 64 mẫu/pixel = ~41 triệu MLP forward passes cho 1 ảnh! Mỗi pass tính (r,g,b,σ). Đây là bottleneck chính → NeRF gốc ~30s/ảnh. Instant-NGP dùng hash table thay MLP → nhanh hơn 6000×.

Giải thích chi tiết

NeRF (Mildenhall et al., 2020) biểu diễn cảnh 3D bằng continuous function mã hóa trong MLP — khác với cách mô hình sinh như VAE nén cảnh vào latent vector rời rạc, NeRF giữ cảnh như một hàm liên tục trên không gian 3D.

FΘ:(x,d)→(c,σ)F_\Theta: (\mathbf{x}, \mathbf{d}) \rightarrow (\mathbf{c}, \sigma)

x=(x,y,z)\mathbf{x} = (x,y,z) vị trí, d=(θ,ϕ)\mathbf{d} = (\theta, \phi) hướng nhìn, c=(r,g,b)\mathbf{c} = (r,g,b) màu, σ\sigma mật độ.

Volume rendering:

C(r)=∑i=1NTi⋅(1−e−σiδi)⋅ci,Ti=exp⁡ ⁣(−∑j<iσjδj)C(\mathbf{r}) = \sum_{i=1}^{N} T_i \cdot (1 - e^{-\sigma_i \delta_i}) \cdot \mathbf{c}_i, \quad T_i = \exp\!\left(-\sum_{j<i} \sigma_j \delta_j\right)

nerf_simplified.py

# NeRF MLP (simplified)
class NeRF(nn.Module):
    def __init__(self, D=8, W=256, input_ch=63, input_ch_views=27):
        super().__init__()
        # 8 lớp FC cho vị trí
        self.pts_layers = nn.ModuleList(
            [nn.Linear(input_ch, W)] +
            [nn.Linear(W, W) for _ in range(D-1)]
        )
        # Output: density σ (không phụ thuộc hướng nhìn)
        self.sigma_out = nn.Linear(W, 1)
        # Output: color rgb (phụ thuộc hướng nhìn)
        self.rgb_layer = nn.Linear(W + input_ch_views, W // 2)
        self.rgb_out = nn.Linear(W // 2, 3)

    def forward(self, x, d):
        # x: positional_encoding(xyz), d: positional_encoding(direction)
        h = x
        for layer in self.pts_layers:
            h = F.relu(layer(h))
        sigma = F.relu(self.sigma_out(h))    # Mật độ ≥ 0
        h = F.relu(self.rgb_layer(torch.cat([h, d], -1)))
        rgb = torch.sigmoid(self.rgb_out(h))  # Màu trong [0,1]
        return rgb, sigma

Tóm tắt

  • NeRF biểu diễn cảnh 3D bằng MLP: F(x,y,z,θ,φ) → (r,g,b,σ). Toàn bộ cảnh mã hóa trong weights.
  • Volume rendering: bắn tia từ camera, lấy mẫu nhiều điểm, tích phân → pixel color.
  • Positional encoding giúp MLP học chi tiết tần số cao (cạnh sắc, texture).
  • NeRF gốc chậm (~30s/ảnh). Instant-NGP và 3D Gaussian Splatting nhanh hơn 1000-6000×.
  • Ứng dụng: Google Maps immersive, VR/AR, điện ảnh VFX, bất động sản ảo, bảo tồn di sản.

Continue the module

Lesson 12 of 12