Loading...

A Generalization method for Video Deepfake Detection

Abolhassani, Elham | 2024

0 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 57678 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Rabiee, Hamid Reza
  7. Abstract:
  8. The rapid advance of deepfake generation models has led to the rise of highly realistic synthetic content with manipulation of either or both visual and audio modalities. Although these techniques have opened new frontiers in media production and applications such as video games, animations, and virtual reality, malicious use can pose significant threats to privacy, security, and public trust. Therefore, researchers have developed numerous techniques to detect deepfakes. While these models have performed well on test data from the same distribution as their training data, their performance often drops significantly on unseen data from different distributions. Therefore, generalization is a major challenge in this field. To tackle this issue, we propose a generalized ensemble audio-visual deepfake detection (EAV-DF) model plus a domain adaptation mechanism using a teacher-student architecture to improve the performance and generalization of the model on new domains. Therefore, this work uses the FakeAVCeleb dataset for training models and the DFDC and TIMIT-Deepfake datasets as new domains. Our experiments demonstrate that the proposed framework outperforms many state-of-the-art methods and yields a dynamic deepfake detection model that can adapt to new domain data and interpret the manipulated modality
  9. Keywords:
  10. Deep Fake ; Ensemble Learning ; Domain Adaptation ; Generalization ; Teacher-Student Structure ; Multimodal Model ; Deepfake Detection

 Digital Object List

 Bookmark

  • فصل مقدمه
    • تعریف مسئله
    • بیان تعاریف و مفاهیم پایه‌ای
      • ایجاد دیپ‌فیک
        • دیپ‌فیک دیداری
        • دیپ‌فیک شنیداری
      • تشخیص دیپ‌فیک
    • کاربردها و چالش‌ها
    • ساختار رساله‌
  • فصل پژوهش‌های پیشین
    • روش‌های تشخیص دیپ‌فیک
      • روش‌های تشخیص تک‌ماهیتی
      • روش های تشخیص دیپ‌فیک دیداری/ شنیداری
    • روش‌های ارائه شده در جهت افزایش تعمیم‌پذیری
    • روش‌های شاخص تشخیص ویدیو‌های دیپ‌فیک به صورت تعمیم‌پذیر در سال‌های اخیر
    • جمع‌بندی
  • فصل روش پیشنهادی
    • معماری مدل پیشنهادی
      • شبکه دیداری-شنیداری
      • شبکه دیداری و شبکه شنیداری
      • واحد تصمیم‌گیری
      • تابع هزینه مدل
    • به کارگیری ساختار معلم-دانش‌آموز در جهت تطبیق با دامنه جدید
    • جمع‌بندی
  • فصل یافته‌های پژوهش
    • مجموعه‌ داده‌ها
    • پیش‌پردازش داده‌ها و جزئیات پیاده‌سازی مدل
    • نحوه آموزش و ارزیابی
    • آزمایش‌ها و نتایج
      • نتایج مدل پایه
      • نتایج مدل دانش‌آموز
      • سایر آزمایش‌ها
      • قابلیت توضیح‌پذیری مدل
    • جمع‌بندی
  • فصل جمع‌بندی و کارهای آتی
    • جمع‌بندی
    • کارهای آتی
  • مراجع
...see more