BACH: Animasi Pertunjukan Piano Berbasis Data Dua Tahap untuk Gerakan Tangan yang Dapat Dikendalikan

ABSTRAK
Makalah ini menyajikan kerangka kerja baru untuk menghasilkan animasi pertunjukan piano menggunakan model pembelajaran mendalam dua tahap. Dengan menggunakan data skor musik yang terpisah, kerangka kerja tersebut mengubah sinyal kontrol yang jarang menjadi gerakan tangan yang berkelanjutan dan alami. Secara khusus, pada tahap pertama, dengan menggabungkan konteks temporal musikal, prediktor bingkai utama dimanfaatkan untuk mempelajari panduan gerakan bingkai utama. Sementara itu, tahap kedua mensintesis transisi yang mulus antara bingkai utama ini melalui generator urutan antar-bingkai. Selain itu, teknik penargetan ulang gerakan berbasis operator Laplacian diperkenalkan, memastikan bahwa animasi yang dihasilkan dapat diadaptasi ke berbagai model manusia digital. Kami menunjukkan keefektifan sistem melalui aplikasi multimedia audiovisual. Pendekatan kami menyediakan metode yang efisien dan dapat diskalakan untuk menghasilkan animasi piano yang realistis dan menjanjikan untuk aplikasi yang lebih luas dalam tugas-tugas animasi yang digerakkan oleh sinyal kontrol yang jarang.