Loading...

Investigation of Deepfake Methods for Face Images and it‘s Detection with Deep Learning Networks

Ghojehzadeh, Armin | 2025

0 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 58708 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Amini, Sajjad; Amini, Arash
  7. Abstract:
  8. Free access to large-scale public datasets, together with the rapid advancement of deep learning techniques and networks, particularly generative models, has led to the production of forged content whose distinction from authentic content has become impossible for humans and many classical forgery detection methods. The well-known term deepfake refers to a deep learning–based technique capable of generating forged images and videos by manipulating their content. A common example of deepfake forgery is identity manipulation in images and videos through facial alteration. In this research, three main objectives related to deepfake methods are considered. First, deepfake generation techniques are reviewed. Next, image forgery detection methods are presented. Finally, based on the understanding developed in the previous two sections, a generalizable structure for image forgery detection using deep learning networks is proposed, aiming to reduce the model’s dependency on the semantic content of images. In the proposed architecture, features extracted from original images and Local Binary Pattern (LBP) representations are utilized. To enhance and identify the differences between forged and real image features, channel attention, spatial attention, and cross-attention modules are employed. A ResNet network is also used for feature extraction. It is worth noting that the residual blocks within this structure facilitate a better understanding of subtle features and enable effective utilization of both low-level and high-level layer outputs. In the channel attention module, convolutional layers are used instead of fully connected layers, which improves the modeling of local image features. LBP features are incorporated into the overall architecture to better capture fine-grained and subtle image characteristics. The final results demonstrate the effectiveness of the proposed structure. As a result of the aforementioned ideas, the following results were obtained in this thesis. On the DFDC dataset, the best Area Under the Curve (AUC) improved from 97.80 to 99.48 On the FF++ dataset, the best AUC increased from 99.29 to 99.59. It should be noted that the best accuracy on this dataset was 97.60, which slightly decreased to 96.49 in the proposed structure
  9. Keywords:
  10. Deep Learning ; Machine Learning ; Image Forgery ; Deep Fake ; Face Forgery ; Neural Network

 Digital Object List

 Bookmark

  • مقدمه
    • تعریف جعل عمیق و تفاوت آن با جعلی‌سازی تصویر
    • مزایا و معایب جعل عمیق
    • روش‌های اصلی جعل عمیق
      • تولید چهره
      • تعویض هویت
      • تغییر شکل چهره
      • دستکاری ویژگی‌ها
      • تعویض حالت چهره
      • جعل عمیق چندوجهی
    • چالش‌های یادگیری عمیق در تشخیص جعل عمیق
    • روش PRNU در تشخیص جعل تصویر
      • مراحل استفاده از روش PRNU در تشخیص جعل تصویر
      • مزایا و معایب روش PRNU
    • تشخیص جعل تصویر با استفاده از ماتریس هم‌ رخدادی
      • نحوه محاسبه ماتریس هم‌ رخدادی
      • نحوه تشخیص ناهنجاری
    • نشان گذاری دیجیتال و کاربرد آن در تشخیص جعل تصاویر
  • بررسی مجموعه داده‌ها و روش‌های ارزیابی
    • مجموعه داده‌ها
      • پایگاه داده اول
      • پایگاه داده دوم
      • پایگاه داده سوم
      • پایگاه داده چهارم
      • پایگاه داده پنجم
    • روش‌های ارزیابی
  • مروری بر روش‌های یادگیری عمیق برای تشخیص جعل تصاویر
    • شبکه‌های متخاصم مولد
      • شبکه متخاصم مولد رویکرد اول
      • شبکه متخاصم مولد رویکرد دوم
      • شبکه متخاصم مولد رویکرد سوم
    • شبکه‌های خود کدگذار
      • شبکه خود کدگذار رویکرد اول
      • شبکه خود کدگذار رویکرد دوم
    • شبکه‌های انتشار
      • شبکه انتشار رویکرد اول
      • شبکه انتشار رویکرد دوم
    • شبکه‌های پیجشی و ماژول‌های توجه
      • شبکه پیچشی رویکرد اول
      • شبکه پیچشی رویکرد دوم
      • شبکه پیچشی رویکرد سوم
  • روش ارائه شده پروژه
    • الگوی باینری محلی
      • مکانیزم الگوریتم
      • پارامترهای الگوریتم
      • مزایا و معایب LBP
    • ویژگی‌های سطح پایین و بالا
    • مقایسه ویژگی LBP و ویژگی فرکانس بالا
    • شبکه پیچشی رزنت
    • ماژول‌های توجه
      • ماژول توجه کانالی
      • ماژول توجه مکانی
      • ماژول توجه متقابل
    • الحاق ویژگی‌ها و آموزش مدل
    • مقالات LBP جعل عمیق در سال‌های اخیر
  • نتایج، جمع‌بندی و کارهای آینده
    • پایگاه داده DFDC
    • پایگاه داده FF++
    • داده‌های متقاطع
    • جمع‌بندی
    • کارهای آینده
  • مراجع
  • مطالعات فرسایشی
    • تحلیل شاخه‌های معماری پیشنهادی برای پایگاه داده FF++
    • تحلیل شاخه‌های معماری پیشنهادی برای پایگاه داده DFDC
    • تحلیل شبکه پیچشی معماری پیشنهادی برای پایگاه داده DFDC
...see more