ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kỹ năng thực hành

AI Foundation

Python cho ML — NumPy & Pandas trong 45 phút

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Python không phải ngôn ngữ nhanh nhất, nhưng NumPy và Pandas biến nó thành lingua franca của ML. Bài này chỉ cho bạn đọc một đoạn code ML và biết nó đang làm gì.

lesson107 minKỹ năng thực hànhAI Foundation

Dự đoán

Python chậm, nhưng vẫn là ngôn ngữ của ML

Python không phải ngôn ngữ nhanh nhất: một vòng lặp bằng Python thuần chậm hơn C khoảng 100 lần. Nhưng nó có hai thư viện biến nó thành ngôn ngữ chung của ML: NumPy (mảng số chạy bằng C) và Pandas (bảng dữ liệu như Excel có siêu năng lực). Hiểu hai thư viện này là đọc được hầu hết mọi repo ML.

Bạn có mảng 1 triệu số và cần tính tổng bình phương. Đồng nghiệp A viết for-loop Python thuần. Đồng nghiệp B viết (arr ** 2).sum() bằng NumPy. Lý do chính khiến B chạy nhanh hơn cỡ 100 lần là gì?

Cùng một tác vụ, NumPy rút gọn vòng lặp 20 dòng xuống còn một dòng, và Pandas rút gọn PivotTable Excel xuống một câu lệnh. Không phải phép màu, chỉ là vectorization và API được thiết kế tốt.

Khám phá — NumPy và Pandas

Mỗi đoạn code chỉ làm một việc và kết quả hiện ngay bên cạnh. Ví dụ đầu tiên là phép nhân vector với một số:

NumPy: nhân mảng với một số

import numpy as np
a = np.array([1, 2, 3])
print(a * 2)  # [2 4 6]

NumPy — mảng số

NumPy cung cấp ndarray: mảng N chiều chứa số, lưu liên tiếp trong bộ nhớ, tính toán bằng C. Đây là nền tảng của PyTorch, TensorFlow và scikit-learn.

Pandas — bảng dữ liệu

Pandas xây trên NumPy và thêm nhãn cho hàng và cột. DataFrame là bảng Excel có siêu năng lực: đọc CSV bằng một dòng, lọc bằng một dòng, groupby bằng một dòng.

Phân tích thật — ba bước, vài dòng code

Hầu hết mọi dự án ML đều bắt đầu bằng ba bước này: load, clean và transform, rồi visualize. Ví dụ dưới đây dùng file điểm của 500 học sinh.

Bước 1: nạp CSV vào DataFrame

pd.read_csv biến file phẳng thành bảng có cấu trúc. Vài hàng đầu:

tenlop
An10A
Bình10A
Chi10B
Dung10B
Em10C

File có 500 hàng và 5 cột; head() chỉ hiển thị 5 hàng đầu.

3 dòng — nạp và ngó nhanh

import pandas as pd

df = pd.read_csv("diem_hoc_sinh.csv")
print(df.head())
# (500 hàng, 5 cột)

Bước 2: lọc học sinh giỏi rồi gom theo lớp

Lọc rồi gom nhóm là cặp đôi bạn sẽ gõ mỗi ngày. Một bảng 500 hàng thành vài dòng tổng hợp, có thể in ra báo cáo ngay.

5 dòng — lọc & gom nhóm

df["tb"] = (df["toan"] + df["van"]) / 2
gioi = df[df["tb"] >= 8.0]

summary = gioi.groupby("lop").agg(
    tb=("tb", "mean"),
    so_hs=("ten", "count"),
)

Bước 3: vẽ phân phối bằng Matplotlib

Bốn dòng code đủ ra một biểu đồ histogram. Phân phối điểm thường có đỉnh ở giữa — đa số học sinh đạt khoảng 7–9 điểm.

4 dòng — dựng histogram

import matplotlib.pyplot as plt

plt.hist(df["tb"], bins=5, color="#6366f1", edgecolor="white")
plt.xlabel("Điểm trung bình"); plt.ylabel("Số học sinh")
plt.title("Phân phối điểm — 500 học sinh")
plt.show()

Thử thách — broadcasting

Cho a = np.array([1, 2, 3]) có shape (3,) và M = np.array([[10, 10, 10], [20, 20, 20]]) có shape (2, 3).

a + M sẽ cho shape gì và giá trị ra sao?

Khoảnh khắc hiểu

Đọc một đoạn code ML không phải là đọc từng dòng một. Bạn nhận ra những miếng nhỏ quen thuộc — đây là tạo array, đây là groupby, đây là vẽ biểu đồ — rồi ghép lại.

Bộ sinh thái ML hiện đại là NumPy, Pandas và Matplotlib, đi kèm một vài thư viện mô hình như scikit-learn hay PyTorch. Mỗi thư viện mô hình đều nhận NumPy array làm đầu vào và trả về NumPy array. Bạn không cần biết hết; bạn chỉ cần đủ để đọc.

Giải thích

Phần này tổng hợp bốn thói quen thực hành và bảng cheat sheet. Hãy lưu lại để tra khi cần, không cần nhớ ngay.

Bốn thói quen của người viết code ML tốt

Tránh for-loop cho số

Nếu bạn đang viết for-loop để cộng, nhân hoặc tính trên array, gần như luôn có cách NumPy làm ngắn gọn và nhanh hơn nhiều lần.

Đặt head, info và describe ngay khi load

Ba lệnh này luôn chạy trước khi làm bất cứ việc gì khác. Chúng cho biết kiểu dữ liệu, số hàng và giá trị thiếu.

Dùng .copy() khi cần

df2 = df[df['diem'] >= 8] đôi khi là một view: sửa df2 cũng sửa df gốc. Thêm .copy() để tránh lỗi thầm lặng.

Đặt seed khi có ngẫu nhiên

np.random.seed(42) giúp kết quả lặp lại được. Không có seed, mỗi lần chạy ra một con số khác và không debug được.

Vectorization — phép màu dưới lòng NumPy

Khi bạn viết a + b với hai array NumPy có shape (n,), NumPy chạy một vòng lặp C:

ci=ai+bivới i=0,1,…,n−1c_i = a_i + b_i \quad \text{với } i = 0, 1, \dots, n-1

Công việc giống hệt for-loop Python, nhưng mã C đã biên dịch trước nên không có overhead của interpreter, nhanh hơn khoảng 100 lần. Tương tự với np.sqrt(a), a * 2 và a @ b (nhân ma trận):

(A⋅B)ij=∑k=0n−1Aik Bkj(A \cdot B)_{ij} = \sum_{k=0}^{n-1} A_{ik} \, B_{kj}

Mọi vòng lặp bên trong đều chạy bằng C. Bạn chỉ viết một dòng; NumPy lo phần còn lại.

Cheat sheet — 15 lệnh dùng nhiều nhất

Thư việnLệnhDùng khi nào
NumPynp.array(list)Biến list Python thành array
NumPynp.arange(n) / np.linspace(a, b, n)Tạo dãy số đều
NumPya.reshape(r, c)Đổi shape không đổi dữ liệu
NumPya.mean() / .std() / .sum()Thống kê nhanh
NumPya[a > 5]Lọc bằng boolean mask
Pandaspd.read_csv('file.csv')Nạp file CSV vào DataFrame
Pandasdf.head() / .info() / .describe()Ba lệnh đầu tiên với dataset mới
Pandasdf['col']Chọn 1 cột (ra Series)
Pandasdf[df['x'] > 5]Lọc hàng theo điều kiện
Pandasdf.groupby('x').agg(...)Tổng hợp theo nhóm (PivotTable)
Pandasa.merge(b, on='key')Nối 2 bảng theo cột chung
Pandasdf.dropna()Xoá hàng có giá trị thiếu
Matplotlibplt.plot(x, y)Đường line (loss, accuracy)
Matplotlibplt.hist(a, bins=20)Phân phối của một biến
Matplotlibplt.scatter(x, y)Quan hệ giữa hai biến

Vì sao cột trong DataFrame là NumPy array?

Pandas xây trên NumPy. Mỗi cột trong DataFrame thực chất là một NumPy array có nhãn. Khi gọi df['diem'].mean(), Pandas chuyển lời gọi sang np.mean trên array bên dưới. Nghĩa là mọi vectorization của NumPy đều có sẵn trong Pandas mà không tốn thêm chi phí nhãn.

Khi nào không nên dùng NumPy và Pandas?

Với dữ liệu không đồng nhất (mỗi hàng có một danh sách dài khác nhau), dict Python hoặc polars có thể phù hợp hơn. Dữ liệu nhiều terabyte thì dùng Spark hoặc Dask. Nhưng với đa số dự án ML đầu tiên bạn gặp, NumPy và Pandas là đủ.

Sau ba thư viện này, bước tiếp theo là Tiền xử lý dữ liệu (missing values, encoding, scaling) và Kỹ thuật đặc trưng.

Tóm tắt

  • NumPy là mảng số chạy bằng C. Thay vì for-loop, viết a + b, a * 2, a.mean() — nhanh hơn khoảng 100 lần.
  • Broadcasting: NumPy tự phát mảng nhỏ ra cho khớp mảng lớn. Quy tắc: so shape từ phải, mỗi chiều bằng nhau hoặc bằng 1.
  • Pandas là bảng dữ liệu. Ba lệnh đầu tiên với dataset mới: head(), info(), describe().
  • Combo thông dụng nhất: read_csv → lọc bằng boolean mask → groupby → visualize.
  • Mọi cột DataFrame là một NumPy array. Hiểu NumPy là hiểu nền tảng của Pandas và mọi thư viện ML xây bên trên.

Continue the path

Lesson 102 of 106