Perusahaan yang berkantor pusat di London

Beberapa model menemukan bahwa kemiripan yang dihasilkan AI telah digunakan dalam video propaganda deepfake yang mempromosikan kediktatoran.

Perusahaan yang berkantor pusat di London, Synthesia, yang dikenal dengan teknologi video AI yang tampak nyata, tengah diselidiki setelah avatarnya digunakan dalam video deepfake yang mempromosikan rezim otoriter. Video yang dibuat dengan AI ini, yang menampilkan orang-orang seperti Mark Torres dan Connor Yeates, secara keliru menunjukkan kemiripan mereka yang mendukung pemimpin militer Burkina Faso, yang menyebabkan tekanan pada model yang terlibat. Meskipun perusahaan tersebut mengklaim telah meningkatkan moderasi konten, banyak model yang terpengaruh tidak menyadari penyalahgunaan gambar mereka hingga wartawan memberi tahu mereka.

Pada tahun 2022, aktor seperti Torres dan Yeates dipekerjakan untuk berpartisipasi dalam pemotretan model AI Synthesia untuk proyek perusahaan. Mereka kemudian menemukan avatar mereka telah digunakan dalam propaganda politik, yang tidak mereka setujui. Hal ini menyebabkan tekanan emosional, karena mereka takut akan kerugian pribadi dan profesional dari video palsu tersebut. Meskipun Synthesia berupaya untuk memblokir akun yang menggunakan teknologinya untuk tujuan tersebut, konten berbahaya tersebut menyebar secara daring, termasuk di platform seperti Facebook.

Synthesia yang berkantor pusat di Inggris telah menyatakan penyesalannya, dan menyatakan akan terus meningkatkan prosesnya. Namun, dampak jangka panjang pada para pelaku tetap ada, dengan beberapa pihak mempertanyakan kurangnya perlindungan dalam industri AI dan memperingatkan bahaya yang terlibat ketika kemiripan diserahkan kepada perusahaan tanpa perlindungan yang memadai.