CLPFusion: Kerangka Model Difusi Laten untuk Transfer Gaya Lukisan Lanskap Tiongkok yang Realistis

ABSTRAK
Studi ini berfokus pada transformasi pemandangan dunia nyata menjadi mahakarya lukisan lanskap Tiongkok melalui transfer gaya. Metode tradisional yang menggunakan jaringan saraf konvolusional (CNN) dan jaringan adversarial generatif (GAN) sering kali menghasilkan pola dan artefak yang tidak konsisten. Munculnya model difusi (DM) menghadirkan peluang baru untuk pembuatan gambar yang realistis, tetapi karakteristik noise yang melekat membuatnya sulit untuk mensintesis gambar putih atau hitam murni. Akibatnya, metode berbasis DM yang ada kesulitan untuk menangkap gaya dan informasi warna yang unik dari lukisan lanskap Tiongkok. Untuk mengatasi keterbatasan ini, kami mengusulkan CLPFusion, kerangka kerja baru yang memanfaatkan model difusi yang telah dilatih sebelumnya untuk transfer gaya artistik. Inovasi utama adalah modul Bidirectional State Space Models-CrossAttention (BiSSM-CA), yang secara efisien mempelajari dan mempertahankan gaya khas lukisan lanskap Tiongkok. Selain itu, kami memperkenalkan dua metode penyesuaian fitur ruang laten, Latent-AdaIN dan Latent-WCT, untuk meningkatkan modulasi gaya selama inferensi. Eksperimen menunjukkan bahwa CLPFusion menghasilkan lukisan pemandangan Tiongkok yang lebih realistis dan artistik daripada pendekatan yang ada, memamerkan efektivitas dan keunikannya di bidangnya.