Loading...

Analysis and Design of an All-Optical Multi-Wavelength-Channel Neuron Using χ^(2)Nonlinearities in Neural Networks

Dehghani, Mohammad Mehdi | 2024

0 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 57262 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Mehrany, Khashayar; Memarian, Mohammad
  7. Abstract:
  8. Optical neural networks (ONNs) are custom optical circuits promising a breakthrough in low-power, parallelized, and high-speed hardware for the growing demands of artificial intelligence applications. All-optical implementation of ONNs has proven burdensome chiefly due to the lack of optical devices that can emulate the neurons' non-linear activation function, thus forcing hybrid optical-electronic implementations. Moreover, ONNs suffer from a large footprint in comparison to their electronic (CMOS-based) counterparts. Utilizing virtual optical neurons in the time or frequency domain can reduce the number of required physical neurons, but an all-optical activation function is still required, especially where several layers comprised of multiple neurons are required for deep networks. In this thesis, we propose an all-optical multi-wavelength-channel rectified linear unit (ReLU) activation function, by leveraging χ^((2)) nonlinearity across more than 100 wavelength channels simultaneously. Our design significantly reduces the footprint of ONNs by consolidating all of the nonlinear activation functions present in each layer of an ONN into a single physical device with a broad bandwidth. This enables the realization of all-optical low-footprint ONNs with multiple layers made of several virtual neurons whose outputs are computed by a single ReLU activation function. Finally, we examine this all-optical activation function within the context of real and complex neural networks
  9. Keywords:
  10. Optical Artificial Neural Networks ; Optical Neural Networks ; Coherent Light ; Nonlinear Activation Functions ; Virtual Neuron

 Digital Object List

 Bookmark

  • مقدمه
    • تعریف مسئله
    • ساختار پایان نامه
  • کارهای پیشین
    • شبکه های عصبی مصنوعی
      • توابع فعال سازی
    • ضرب ماتریسی تمام نوری
      • ضرب ماتریسی مبتنی بر همتافت تقسیم طول موج
    • توابع فعال ساز نوری
    • توابع فعال سازی الکترونیکی-نوری
      • تابع فعال‌سازی الکترواپتیکی مبتنی بر MZI (تداخل‌سنج ماخ-زندر)
      • مدولاتور MRR
    • توابع فعال سازی تمام نوری
      • MZI با کمک MRR
      • با استفاده از اثرات ^(2)
      • مقایسه طرح های شبکه عصبی با تابع فعال ساز غیرخطی
    • ویژگی نورون های خوب
    • دلیل استفاده از نور همدوس
    • شبکه های عصبی مختلط
      • سیگموید مختلط
      • سیگموید قابل تفکیک
      • Siglog
      • iGaussian
      • modReLU
      • Cardioid مختلط
    • نتیجه گیری
  • استفاده از اثر غیر خطی مرتبه دوم در محیط همگن برای ساخت تابع فعال ساز پیشنهادی
    • حالت خاص: تخلیه پمپ در عین تطبیق فازی کامل
    • حالت عام: تخلیه پمپ و عدم تطبیق فاز
    • حالت تعمیم یافته: تخلیه پمپ، عدم تطبیق فاز و وجود باند های جانبی پمپ
    • مدل تعمیم یافته
      • تعریف یک سنجه برای اندازه گیری کیفیت ReLU
      • شبیه سازی ReLU سه کاناله
      • شبیه سازی ReLU هشت کاناله
      • شبیه سازی ReLU شانزده کاناله
      • شبیه سازی ReLU سی و دو کاناله
    • پاره ای از ملاحظات
      • ساختار کد
      • ساده سازی مدل برهمکنش
      • تعداد کانال در مقابل فاصله کانال
    • پیشنهاد تابع فعال ساز تمام نوری مختلط
      • مقایسه با تابع LeakyReLU
      • محاسبه مشتق مختلط
    • نتیجه گیری و جمع بندی
  • طراحی افزاره موجبری برای پیاده سازی تابع فعال ساز پیشنهادی
    • معادلات موج کوپل شده تعمیم یافته برای ورودی CW
    • معادله غیرخطی پوش برای پالس‌های نوری
    • راه حل تحلیلی تقریبی و اهمیت مهندسی پراکندگی
    • نتایج شبیه سازی های موجبری
    • بحث های بیشتر و ملاحظات عملی
      • تولید آیدلر
      • قفل فاز در تابع فعال ساز حقیقی و مختلط
      • اثرات عدم تطابق در روابط فاز مثبت و منفی
      • تاثیر کمیت کانال
      • اثرات تداخل کانال ها
      • ملاحظات پهنای باند و جاگیری
    • جمع بندی
  • نتایج شبکه های عصبی نوری مختلط و حقیقی
    • قرار دادن تابع فعال ساز غیر خطی در شبکه عصبی مصنوعی حقیقی
      • تعلیم شبکه عصبی به ازای طول بهینه
      • استقامت نسبت به شکل تابع انتقال
    • قرار دادن تابع فعال ساز پیشنهادی در شبکه عصبی مختلط
    • جمع بندی
  • نتیجه‌گیری و پیشنهاداتی برای پژوهش های آینده
  • مراجع
  • مقدمه ای بر شبکه های عصبی مصنوعی
    • پرسپترون: پایه شبکه های عصبی مصنوعی
  • ملاحظاتی راجع به پیاده سازی موجبری طرح
    • نظریه تابع ReLU مبتنی بر ^(2)
    • مهندسی پراکندگی یک موجبر ریج PPLN
  • مقدمه ای بر شبکه های عصبی مختلط
    • اعداد مختلط
    • انگیزه
      • مقادیر مختلط در کاربردهای یادگیری عمیق در کجا رخ می‌دهند؟
      • داده‌های ذاتا مختلط
      • حوزه طیفی مختلط
      • چرا از یک شبکه حقیقی با دو کانال استفاده نکنیم؟
      • عملیات خطی
      • عملیات غیرخطی
      • چرا لایه‌های دارای مقادیر حقیقی را مستقیماً به مختلط گسترش ندهیم؟
      • تعریف نشدن تابع ماکس برای مقادیر مختلط
      • توابع فعال ساز ناپایدار
      • تفسیر احتمالاتی از دست رفته
      • بهینه‌سازی خروجی دارای مقادیر مختلط
    • پیش‌زمینه ای بر حسابان مختلط
      • ‌مشتق پذیری مختلط
      • حسابان ویرتینگر/ CR
      • نزول گرادیان
    • شبکه‌های عصبی دارای مقادیر مختلط
      • نمادگذاری
      • پس انتشار با زیان دارای مقادیر حقیقی
      • فعال سازی مختلط
...see more