ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Nhận dạng giọng nói — Tai nghe AI

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Công nghệ chuyển đổi giọng nói con người thành văn bản, là nền tảng cho trợ lý ảo và ghi chú tự động.

lesson102 minNLP & MultimodalAI Researcher

Dự đoán

Khi bạn nói 'Xin chào Việt Nam' vào microphone, AI nhận dạng giọng nói 'nghe' được gì?

AI không 'nghe' như con người! Microphone chuyển sóng âm thành 16.000 con số mỗi giây. Mô hình phải biến đổi chuỗi số này thành spectrogram (ảnh tần số), rồi dùng Transformer để 'giải mã' ý nghĩa thành văn bản.

Khoảnh khắc A-ha

Nhận dạng giọng nói thực chất là bài toán dịch ngôn ngữ — dịch từ ngôn ngữ âm thanh (sóng âm) sang ngôn ngữ văn bản (ký tự). Đây là lý do kiến trúc encoder-decoder (giống dịch máy) hoạt động cực kỳ hiệu quả cho ASR.

Thử thách nhanh

Bạn dùng Whisper để ghi chú cuộc họp tiếng Việt. Kết quả có nhiều lỗi thanh điệu ('ma' thay vì 'mã'). Giải pháp tốt nhất là gì?

Fine-tuning Whisper trên dữ liệu tiếng Việt (bao gồm cả giọng Bắc, Trung, Nam) giúp mô hình học cách phân biệt 6 thanh điệu tiếng Việt chính xác hơn. Dữ liệu VIVOS và CommonVoice Vietnamese là điểm bắt đầu tốt.

Lý thuyết

Nhận dạng giọng nói (ASR — Automatic Speech Recognition) chuyển đổi tín hiệu âm thanh thành văn bản. Đây là nền tảng cho trợ lý ảo (Siri, Alexa), phụ đề tự động, và ghi chú cuộc họp — ngược lại với bài toán tổng hợp giọng nói (TTS) chuyển văn bản thành âm thanh.

Quá trình chuyển đổi tần số bằng Mel-spectrogram:

Mel(f)=2595⋅log⁡10(1+f700)\text{Mel}(f) = 2595 \cdot \log_{10}\left(1 + \frac{f}{700}\right)

Công thức Mel scale chuyển tần số Hz sang thang Mel, mô phỏng cảm nhận phi tuyến tính của tai người: khoảng cách từ 100Hz đến 200Hz nghe xa hơn nhiều so với 5000Hz đến 5100Hz.

whisper_vietnamese.py

import whisper

# Tải mô hình Whisper
model = whisper.load_model("large-v3")

# Nhận dạng tiếng Việt
result = model.transcribe(
    "cuoc-hop-vnexpress.wav",
    language="vi",           # Chỉ định tiếng Việt
    task="transcribe",       # Hoặc "translate" để dịch sang Anh
    word_timestamps=True,    # Timestamp từng từ
)

print(result["text"])
# "Xin chào các bạn, hôm nay chúng ta sẽ thảo luận
#  về chiến lược marketing quý 4..."

# Truy cập timestamp từng segment
for seg in result["segments"]:
    print(f"[{seg['start']:.1f}s - {seg['end']:.1f}s] {seg['text']}")

So sánh mô hình

Tóm tắt

  • ASR = dịch từ sóng âm sang văn bản. Kiến trúc encoder-decoder (Whisper) là chuẩn hiện đại.
  • Pipeline: Sóng âm → Mel-spectrogram → Encoder → Decoder → Văn bản có dấu câu.
  • Mel scale mô phỏng tai người — lý do spectrogram hiệu quả hơn sóng âm thô.
  • Tiếng Việt thách thức vì 6 thanh điệu và 3 phương ngữ chính (Bắc/Trung/Nam).
  • Fine-tune trên dữ liệu đa phương ngữ là bắt buộc để đạt chất lượng tốt cho tiếng Việt.

Continue the module

Lesson 12 of 13