Loading...

Deep Feature Extraction by Information Regularization

Osia, Ali | 2019

827 Viewed
  1. Type of Document: Ph.D. Dissertation
  2. Language: Farsi
  3. Document No: 53122 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Rabiee, Hamid Reza
  7. Abstract:
  8. Feature Extraction is an inseparable part of many machine learning algorithms. The extracted feature from the input data, while preserving the label information as much as possible, should make label inference more feasible than the input data itself. Additionally, in many machine learning, information theory, and privacy problems we have another constraint on eliminating sensitive, confounding, or unwanted information from the feature. That is why the problem of feature extraction with information regularization (preserving desired information and removing unwanted one) becomes an important issue that has been considered from different aspects, inter-connecting various fields.In this dissertation, using an information theoretic approach, we model the problem of feature extraction with information regularization as an optimization problem. In order to find a local optimum solution, we propose a deep learning based framework which we use in two different applications: (I) preserving the privacy of test data in using cloud-based machine learning services; and (II) batch effect correction in image-based cell profiling. Moreover, we present a novel measure of privacy based on guessing entropy, which we use to evaluate information leakage of different models. Conducted experiments and their results demonstrate the effectiveness of the proposed framework in different applications. Finally, we define guessing leakage based on guessing entropy and find the optimal utility-privacy trade-off against brute-force adversary
  9. Keywords:
  10. Machine Learning ; Information Theory ; Deep Neural Networks ; Privacy ; Brute Force Attack ; Batch Effect Correction ; Guessing Entropy

 Digital Object List

 Bookmark

  • 1 مقدمه
    • 1-1 تعریف مساله
    • 2-1 اهمیت مساله و کاربردهای آن
    • 3-1 چالش‌های حل مساله
    • 4-1 نوآوری‌های پژوهش
      • 4-1‏.‏1 استخراج ویژگی برگزیده در یادگیری ماشین
      • 4-1‏.‏2 تنظیم اطلاعات با معیار آنتروپی حدسی
    • 5-1 نمادگذاری
    • 6-1 ساختار رساله
  • 2 پژوهش‌های پیشین
    • 1-2 حریم خصوصی در نظریه‌ی اطلاعات
    • 2-2 نظریه‌ی اطلاعات در یادگیری ماشین
      • 2-2‏.‏1 بیشینه‌ کردن اطلاعات مشترک
      • 2-2‏.‏2 تنگنای اطلاعات
      • 2-2‏.‏3 یادگیری عمیق و کارهای مرتبط
    • 3-2 حریم خصوصی در یادگیری ماشین
      • 3-2‏.‏1 انتشار مجموعه‌ی داده‌ها
      • 3-2‏.‏2 آموزش مدل یادگیری ماشین
      • 3-2‏.‏3 انتشار مدل آموزش‌یافته
      • 3-2‏.‏4 حریم خصوصی داده‌های تست
      • 3-2‏.‏5 امنیت مدل یادگیری
    • 4-2 تصحیح اثر دسته‌ای
    • 5-2 آنتروپی حدسی و کاربردها
    • 6-2 جمع‌بندی کارهای پیشین
  • 3 چارچوبی برای استخراج ویژگی برگزیده
    • 1-3 تعریف مساله
    • 2-3 راه حل پیشنهادی
    • 3-3 شبکه‌های عصبی عمیق
      • 3-3‏.‏1 جداسازی لایه‌ها
      • 3-3‏.‏2 کاهش ابعاد
      • 3-3‏.‏3 افزودن نویز
      • 3-3‏.‏4 جمع‌بندی
    • 4-3 چالش ندانستن متغیر حساس
    • 5-3 ارزیابی نشت اطلاعات
  • 4 کاربردها در یادگیری ماشین
    • 1-4 حفظ حریم خصوصی
      • 1-4‏.‏1 آزمایش تشخیص صفت‌های چهره با فرضِ دانستن متغیر حساس
      • 1-4‏.‏2 آزمایش تشخیص جنسیت و فعالیت با فرضِ ندانستن متغیر حساس
    • 2-4 تصحیح اثر دسته‌ای
  • 5 حریم خصوصی در برابر حمله‌ی جست‌وجوی فراگیر
    • 1-5 نتیجه‌های عددی
  • 6 جمع‌بندی و کارهای آتی
    • 1-6 بازبینی کران‌های ارائه شده
    • 2-6 بازبینی چالش ندانستن متغیر حساس
    • 3-6 بررسی تاثیر حذف اطلاعات ناخواسته در آموزش شبکه‌
    • 4-6 تفسیر نحوه‌ی کارکرد شبکه‌های عمیق
    • 5-6 استفاده از آنتروپی حدسی به عنوان تابع خطای آموزش
    • 6-6 تعمیم کدگذاری هافمن
    • 7-6 استفاده از فضای نهان شبکه‌های تولیدی
  • آ‍ پیش‌نیازها
    • 1-1 مقدمه‌ای بر نظریه‌ی اطلاعات
    • 2-1 مقدمه‌ای بر یادگیری عمیق
  • مراجع
  • واژه‌نامه فارسی به انگلیسی
  • واژه‌نامه انگلیسی به فارسی
...see more