Journal Article
Deepfake Video Detection Using Spatiotemporal Convolutional Network and Photo Response Non Uniformity
Abstract
Deteksi video deepfake penting dilakukan untuk membedakan antara video asli atau palsu yang menyebabkan disinformasi di era digital sehingga diperlukan tingkat akurasi yang tinggi. Namun, akurasi deteksi video deepfake terbatas oleh jumlah dan kualitas dataset, proses deteksi, dan inkonsisten performance evaluation yaitu model deteksi tidak dapat mengetahui video yang manipulasi dengan tools video editing. Penelitian ini memberikan solusi atas permasalahan ini menggunakan metode Spatiotemporal Convolutional Network dan analisis Photo-Response Non-Uniformity (PRNU). Dataset yang digunakan melalui tahapan pre-processing, ekstraksi video per-frame, deteksi bagian wajah, dan face cropping. Seluruh data dilatih dan dibuat model menggunakan ResNeXt50 dan LSTM. Penelitian ini menghasilkan 10 model yang dilatih menggunakan dataset FaceForensic++, CelebDF, DFDC dan campuran dari dataset tersebut yang kemudian dapat digunakan untuk menganalisis video deepfake. Hasil pengujian menunjukkan proses deteksi deepfake lebih cepat dan akurat dengan tingkat akurasi hingga 97,89%.
Overview
Publikasi ini membahas bagaimana teknik machine learning modern dapat digunakan untuk mendeteksi pola anomali pada lalu lintas jaringan, sehingga potensi serangan dapat diidentifikasi lebih awal.
Fokus utama penelitian adalah pada pemilihan fitur, pemilihan model, serta evaluasi performa model dalam skenario jaringan yang mendekati kondisi nyata.
Key Contributions
- Mengintegrasikan Spatiotemporal Convolutional Network dengan analisis Photo-Response Non-Uniformity (PRNU) untuk deteksi video deepfake.
- Mengembangkan pipeline pemrosesan data yang mencakup pre-processing, ekstraksi frame, deteksi wajah, dan face cropping pada beberapa dataset deepfake populer.
- Membangun dan melatih 10 model berbasis ResNeXt50 dan LSTM menggunakan kombinasi dataset FaceForensic++, CelebDF, dan DFDC.
- Mencapai tingkat akurasi deteksi deepfake hingga 97,89%, yang menunjukkan efektivitas pendekatan yang diusulkan.