Khớp lời với giọng hát: tìm timing karaoke từng chữ

Bài toán: chữ phải sáng đúng lúc giọng hát lên, ở mức từng chữ. Bài viết kể lại ba cách đã thử: chia đều theo âm tiết, dò onset từ stem giọng hát, và dùng dữ liệu karaoke cấp từ, cùng số liệu so khớp thật: 379/381 từ khớp, lệch trung vị -0,004 giây, không trôi dần về cuối bài.

Một lyric video sống hay chết ở chỗ chữ sáng lên đúng khoảnh khắc giọng hát cất lên, ở mức từng chữ chứ không phải từng câu. Sai nửa giây ở một câu hát nhanh là tai người nghe nhận ra ngay, dù mắt không thấy gì.

Bài này kể lại phần khó nhất của dự án: tìm cho được timeline cấp từ cho bài “Một Đời” (5 phút 28 giây, 47 câu, 381 từ), và cách kiểm tra xem timeline đó có thật sự khớp không.

Trả lời nhanh

Dữ liệu lời theo dòng (LRC) chỉ cho biết câu bắt đầu ở giây nào. Muốn đúng từng chữ thì cần dữ liệu karaoke cấp từ: mỗi từ có một cặp (bắt đầu, thời lượng).

Ba cách đã thử, cách thứ ba đứng lại:

Vì sao chia theo âm tiết không đủ

Ý tưởng đầu tiên rất tự nhiên: biết câu bắt đầu ở 20,86 giây và kết thúc ở 26,48 giây, chia thời lượng đó cho các chữ theo số âm tiết. Với câu hát đều thì cách này chấp nhận được.

Nhưng bài hát không đọc đều. Có câu dồn chữ vào nửa sau rồi ngân dài chữ cuối; có câu chữ đầu ngân, chữ sau đọc nhanh. Cách chia đều luôn sai theo cùng một kiểu: chữ sáng sớm ở đầu câu và muộn ở cuối câu.

Cách cải tiến tiếp theo là tách stem giọng hát (Demucs, mô hình htdemucs, lấy ra vocals.wav) rồi dò biên độ để tìm điểm vào của từng từ. Cách này bám sát giọng hát hơn hẳn, nhưng vẫn vấp ở hai chỗ: chữ ngân dài thì năng lượng không còn đỉnh rõ để dò, và khi nhạc nền vẫn còn lọt vào stem thì dò ra điểm vào giả.

Đi tìm dữ liệu karaoke cấp từ

Hướng thứ ba: đừng suy mốc thời gian, đi tìm dữ liệu đã có. Các bản karaoke số lưu timing cấp từ trong định dạng KRC, mỗi từ được gắn thẻ start,duration. Sau khi giải mã lớp nén, bản dùng cho bài này cho ra 414 thẻ từ.

Bỏ 11 thẻ chỉ chứa khoảng trắng và 22 thẻ thuộc phần ghi chú, giới thiệu ở đầu bài, còn lại đúng 381 từ, bằng số từ trong lời. Phần việc kế tiếp là so khớp: chuẩn hoá dấu câu, hạ chữ thường, rồi ghép từng từ của lời với từng mốc theo thứ tự.

Kết quả so khớp:

• 379/381 từ khớp, tức 99,5%.
• Độ lệch trung vị: −0,004 giây (gần như trùng khít).
• Một nửa số từ lệch trong khoảng ±0,08 giây.
• Kiểm tra trôi dần: độ lệch ở đầu bài, giữa bài và cuối bài lần lượt là −0,023, +0,030 và −0,011 giây, không tăng dần, nên timeline không bị “chậm dần” về cuối.

Hai từ không khớp nằm ở chỗ lời ghi một đằng, bản karaoke hát một nẻo. Với hai chỗ đó, cách xử lý là nghe lại và gán mốc theo giọng hát thật.

Ví dụ một đoạn đã khớp: Vì 20,86 · yêu 21,09 · em 21,30 rồi anh 22,71 · chẳng 22,91 · ngại 23,11. Ba chữ đầu dồn nhanh, rồi có một quãng nghỉ, rồi vào cụm sau. Chia đều câu theo âm tiết không thể ra được hình dạng này.

Methodology (phương pháp)

• Nguồn dữ liệu: lời theo dòng từ lrclib (id=33911816) và dữ liệu karaoke cấp từ từ định dạng KRC của bản karaoke số. Âm thanh tham chiếu là file 48 kHz tách từ bản thu chính thức.
• Tiêu chí: một từ được coi là khớp khi mốc thời gian lệch dưới 0,12 giây so với mốc tham chiếu và thứ tự từ không đổi.
• Kiểm tra: ngoài việc so số, các đoạn nghi ngờ (câu hát nhanh, chỗ có quãng nghỉ dài) được nghe lại và đối chiếu bằng mắt trên dạng sóng.
• Hạn chế: dữ liệu KRC do cộng đồng tạo, không phải bản chính thức từ nhà sản xuất, nên vẫn có thể sai ở vài chỗ; vì vậy mới phải so khớp và nghe lại chứ không dùng thẳng. Các bài hát không có dữ liệu karaoke cấp từ sẽ phải quay lại hướng căn chỉnh cưỡng bức, và chất lượng khi đó phụ thuộc hoàn toàn vào bản thu.

Bài học giữ lại

Khi cần độ chính xác ở mức một phần mười giây, dữ liệu do con người gõ cho đúng nhịp thường thắng mô hình tự suy, và rẻ hơn nhiều. Việc của mình là tìm tới dữ liệu đó, rồi kiểm tra bằng số chứ không chỉ nghe thấy “có vẻ ổn”.

Timeline này là đầu vào cho phần sau: dựng cảnh và hiệu ứng để những mốc thời gian đó nhìn thấy được bằng mắt.