Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

kerangka keseluruhan. Alih-alih menghasilkan bingkai video secara langsung, keseluruhan dinamika wajah dan gerakan kepala dihasilkan dalam ruang laten, dikondisikan pada audio dan sinyal lainnya. Dengan pengkodean laten gerakan ini, bingkai video dihasilkan melalui dekoder wajah yang juga menerima fitur penampilan dan identitas masukan yang diekstraksi dari gambar masukan.

Ruang laten wajah dibangun dan encoder serta decoder wajah dilatih.

Kami merancang dan melatih kerangka pembelajaran laten wajah dengan fitur ekspresif dan dapat dipisahkan berdasarkan video wajah asli. Kemudian, transformator difusi dilatih untuk memodelkan distribusi gerakan dan menghasilkan pengkodean gerakan laten berdasarkan audio dan kondisi lain pada waktu pengujian.