Betrayed by a Smile: When Entrusted Faces are Injected into Reality
Hellow, sudah lama udah nda nulis artikel gimana kabar kalian semua? Pada waktu dan kesempatan yang senggang ini gue coba menulis, Langsung aja to the point bagaimana sih ketika kita ingin melakukan testing liveness verification ataupun biometric wajah? Buat yang udah sepwh dan hwker maybe this is old news tentang ini. Tapi buat pemula seperti gue, gue coba jelasin sedikit kira-kira ada teknik apa aja sih ketika kita ingin testing liveness seperti ini? Biasanya sih teknik yang dipakai adalah Face Morphing, Face Swap, Deepfake, 3D Rendering, dst.
Nah untuk testing Liveness DeepFake ini bisa juga dinamakan Video Injection dan itu terbagi lagi untuk media attacknya, ada yang menggunakan Virtual Camera, USB Video, JavaScript Injection & Hardware emulator injection attack (CMIIW). Untuk sekarang disini gue coba nulis step-by-stepnya gimana sih kalo lewat Virtual Camera, tapi disini kalian ada beberapa tools yang kalian butuhkan dalam testing ini, seperti emulator android, OBS virtual Camera, OBS Studio. Kalian bisa download disini :
- BlueStack 5 (https://www.bluestacks.com/)
- OBS Studio version 27.2.4 (https://obsproject.com/)
- OBS Virtual Camera (https://github.com/CatxFish/obs-virtual-cam)
Atau kalian juga bisa menggunakan referensi DeepFake disini :
- https://github.com/alievk/avatarify-desktop
- https://github.com/iperov/DeepFaceLive
- https://github.com/facefusion/facefusion
- https://github.com/Sanoojan/REFace
- https://github.com/neuralchen/SimSwap
- https://github.com/hacksider/Deep-Live-Cam
- https://github.com/iVideoGameBoss/iRoopDeepFaceCam
Oh iya buat kesempatan kali ini setup yang gue pake disini adalah emulator BlueStack5 dan tools deepfake (Deep-Live-Cam), Step yang pertama kalian install tools deepfakenya terlebih dahulu dan sebagai catatan pada saat instalasi toolsnya kalian mendownload seperti CUDA Toolkit, Pytorch, onnxruntime-gpu, dst yang kalian gunakan agar toolsnya bisa berjalan dengan lancar pada saat melakukan deepfake, karena terkadang perlu dilakukan setting agar smooowthfck. Atau kalian bisa gunain setup yang gue pake saat ini pada saat installasi Deep-Live-Cam :
- CUDA Toolkit 11.8 (https://developer.nvidia.com/cuda-11-8-0-download-archive)
- Onnxruntime-gpu 1.21 (pip install onnxruntime-gpu==1.21)
- Pytorch (pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128)
- TensorRT (https://docs.pytorch.org/TensorRT/getting_started/installation.html)
- Referensi CUDA-GPUs (https://developer.nvidia.com/cuda-gpus)
Untuk step instalasinya disini gue skip ya karena kita akan langsung step-by-stepnya aja, Lanjut setelah kalian setup dan tuning tools deepfake kita coba jalankan toolsnya
Selanjutnya kalian bisa menggunakan image untuk melakukan deepfake pada wajah kalian, disini saya mengambil face dari Joaquin Phoenix untuk melakukan deepfake. Untuk disini kalian bebas mengubah wajah kalian siapa, tapi tidak dengan kenangannya hehe:((. langsung sudah kalian setting untuk camera pilih camera laptop kalian atau kalian sesuaikan dengan external kamera jika kalian menggunakan external kamera, jika sudah kalian cukup tap `Live`
Setelah video kalian muncul kalian setting OBS Camera yang sebelumnya sudah diinstall, Buka OBS Studio kalian dan masuk kedalam `Tools` pilih `Virtual Camera` kalian cukup `Start` dan lakukan close pada settingan `Virtual Camera`.
Selanjutnya jika kalian sudah menjalankan `Live` pada Deep-Live-Cam, Kalian masuk kedalam OBS Studio kalian dan pilih source dan add `Windows Capture`
Kalian bebas rename apapun pada `Windows Capture` kalian lalu tap `OK`
Step selanjutnya kalian pilih `[python.exe] : Preview` proses ini akan muncul jika kalian sudah melakukan running `Live` terhadap tools Deep-Live-Cam, Selanjutnya kalian pilih `Start Virtual Camera`
Setelah sudah melakukan setup pada OBS Studio kini kita coba setup camera pada emulator android yang digunakan, Disini gue menggunakan Bluestack5 kalian buka `Settings`
Setelah itu masuk ke dalam settings pilih `Devices` lalu setup `Camera: OBS-Camera` kalian jangan lupa lakukan `Save Changes`.
Mari kita coba apakah berhasil kita melakukan Video Injection melalui Virtual Camera ini, disini gue mencoba membuka camera terlebih dahulu dan berhasil muncul
Disini kita coba melakukan juga dengan aplikasi tiktok dan berhasil yeayyy!~
Wajah kita berhasil muncul seperti di emulator camera, Oh iya untuk posisi resolusi pada output aplikasi camera, Kalian bisa setting posisinya cukup dari OBS Studionya saja yaww cara ini bisa kalian lakukan juga jika ada pengetesan liveness ataupun biometric pada wajah. Mungkin cukup sekian dan tips serta tutorial ini cuma untuk testing dan educational purpose, sebisa mungkin jangan kalian salah gunakan yaaa! Jika ada pertanyaan ataupun kalian bingung kalian bisa comment, dont forget too share and see you next time byee~
Post a Comment