Dự đoán
AI không 'nghe' như con người! Microphone chuyển sóng âm thành 16.000 con số mỗi giây. Mô hình phải biến đổi chuỗi số này thành spectrogram (ảnh tần số), rồi dùng Transformer để 'giải mã' ý nghĩa thành văn bản.
Evaluating routing across providers.
AI Researcher
Công nghệ chuyển đổi giọng nói con người thành văn bản, là nền tảng cho trợ lý ảo và ghi chú tự động.
AI không 'nghe' như con người! Microphone chuyển sóng âm thành 16.000 con số mỗi giây. Mô hình phải biến đổi chuỗi số này thành spectrogram (ảnh tần số), rồi dùng Transformer để 'giải mã' ý nghĩa thành văn bản.
Nhận dạng giọng nói thực chất là bài toán dịch ngôn ngữ — dịch từ ngôn ngữ âm thanh (sóng âm) sang ngôn ngữ văn bản (ký tự). Đây là lý do kiến trúc encoder-decoder (giống dịch máy) hoạt động cực kỳ hiệu quả cho ASR.
Fine-tuning Whisper trên dữ liệu tiếng Việt (bao gồm cả giọng Bắc, Trung, Nam) giúp mô hình học cách phân biệt 6 thanh điệu tiếng Việt chính xác hơn. Dữ liệu VIVOS và CommonVoice Vietnamese là điểm bắt đầu tốt.
Nhận dạng giọng nói (ASR — Automatic Speech Recognition) chuyển đổi tín hiệu âm thanh thành văn bản. Đây là nền tảng cho trợ lý ảo (Siri, Alexa), phụ đề tự động, và ghi chú cuộc họp — ngược lại với bài toán tổng hợp giọng nói (TTS) chuyển văn bản thành âm thanh.
Quá trình chuyển đổi tần số bằng Mel-spectrogram:
Công thức Mel scale chuyển tần số Hz sang thang Mel, mô phỏng cảm nhận phi tuyến tính của tai người: khoảng cách từ 100Hz đến 200Hz nghe xa hơn nhiều so với 5000Hz đến 5100Hz.
import whisper
# Tải mô hình Whisper
model = whisper.load_model("large-v3")
# Nhận dạng tiếng Việt
result = model.transcribe(
"cuoc-hop-vnexpress.wav",
language="vi", # Chỉ định tiếng Việt
task="transcribe", # Hoặc "translate" để dịch sang Anh
word_timestamps=True, # Timestamp từng từ
)
print(result["text"])
# "Xin chào các bạn, hôm nay chúng ta sẽ thảo luận
# về chiến lược marketing quý 4..."
# Truy cập timestamp từng segment
for seg in result["segments"]:
print(f"[{seg['start']:.1f}s - {seg['end']:.1f}s] {seg['text']}")