Dự đoán
NeRF! Nó học một 'hàm 3D': cho mọi điểm (x,y,z) và hướng nhìn (θ,φ), trả về màu (RGB) và mật độ (σ). Từ đó render ảnh từ BẤT KỲ góc nhìn nào — như bạn có camera ảo bay quanh cảnh.
Evaluating routing across providers.
AI Researcher
Biểu diễn cảnh 3D bằng mạng nơ-ron, tái tạo góc nhìn mới từ ảnh 2D
NeRF! Nó học một 'hàm 3D': cho mọi điểm (x,y,z) và hướng nhìn (θ,φ), trả về màu (RGB) và mật độ (σ). Từ đó render ảnh từ BẤT KỲ góc nhìn nào — như bạn có camera ảo bay quanh cảnh.
Hãy tưởng tượng bạn dùng Google Maps để xem phố cổ Hội An. Từ ảnh 2D đã chụp, AI xây dựng "thế giới 3D" — bạn "bay" quanh, zoom vào ngóc ngách chưa ai chụp. Đó là công nghệ đằng sau NeRF.
NeRF biến bài toán 3D thành bài toán hàm số: F(x,y,z,θ,φ) → (r,g,b,σ). Một MLP đơn giản mã hóa TOÀN BỘ cảnh 3D! Không cần mesh, point cloud, hay voxel — chỉ cần weights của neural network.
640K pixels × 64 mẫu/pixel = ~41 triệu MLP forward passes cho 1 ảnh! Mỗi pass tính (r,g,b,σ). Đây là bottleneck chính → NeRF gốc ~30s/ảnh. Instant-NGP dùng hash table thay MLP → nhanh hơn 6000×.
NeRF (Mildenhall et al., 2020) biểu diễn cảnh 3D bằng continuous function mã hóa trong MLP — khác với cách mô hình sinh như VAE nén cảnh vào latent vector rời rạc, NeRF giữ cảnh như một hàm liên tục trên không gian 3D.
vị trí, hướng nhìn, màu, mật độ.
Volume rendering:
# NeRF MLP (simplified)
class NeRF(nn.Module):
def __init__(self, D=8, W=256, input_ch=63, input_ch_views=27):
super().__init__()
# 8 lớp FC cho vị trí
self.pts_layers = nn.ModuleList(
[nn.Linear(input_ch, W)] +
[nn.Linear(W, W) for _ in range(D-1)]
)
# Output: density σ (không phụ thuộc hướng nhìn)
self.sigma_out = nn.Linear(W, 1)
# Output: color rgb (phụ thuộc hướng nhìn)
self.rgb_layer = nn.Linear(W + input_ch_views, W // 2)
self.rgb_out = nn.Linear(W // 2, 3)
def forward(self, x, d):
# x: positional_encoding(xyz), d: positional_encoding(direction)
h = x
for layer in self.pts_layers:
h = F.relu(layer(h))
sigma = F.relu(self.sigma_out(h)) # Mật độ ≥ 0
h = F.relu(self.rgb_layer(torch.cat([h, d], -1)))
rgb = torch.sigmoid(self.rgb_out(h)) # Màu trong [0,1]
return rgb, sigma