Loading...
Analysis and Design of an All-Optical Multi-Wavelength-Channel Neuron Using χ^(2)Nonlinearities in Neural Networks
Dehghani, Mohammad Mehdi | 2024
0
Viewed
- Type of Document: M.Sc. Thesis
- Language: Farsi
- Document No: 57262 (05)
- University: Sharif University of Technology
- Department: Electrical Engineering
- Advisor(s): Mehrany, Khashayar; Memarian, Mohammad
- Abstract:
- Optical neural networks (ONNs) are custom optical circuits promising a breakthrough in low-power, parallelized, and high-speed hardware for the growing demands of artificial intelligence applications. All-optical implementation of ONNs has proven burdensome chiefly due to the lack of optical devices that can emulate the neurons' non-linear activation function, thus forcing hybrid optical-electronic implementations. Moreover, ONNs suffer from a large footprint in comparison to their electronic (CMOS-based) counterparts. Utilizing virtual optical neurons in the time or frequency domain can reduce the number of required physical neurons, but an all-optical activation function is still required, especially where several layers comprised of multiple neurons are required for deep networks. In this thesis, we propose an all-optical multi-wavelength-channel rectified linear unit (ReLU) activation function, by leveraging χ^((2)) nonlinearity across more than 100 wavelength channels simultaneously. Our design significantly reduces the footprint of ONNs by consolidating all of the nonlinear activation functions present in each layer of an ONN into a single physical device with a broad bandwidth. This enables the realization of all-optical low-footprint ONNs with multiple layers made of several virtual neurons whose outputs are computed by a single ReLU activation function. Finally, we examine this all-optical activation function within the context of real and complex neural networks
- Keywords:
- Optical Artificial Neural Networks ; Optical Neural Networks ; Coherent Light ; Nonlinear Activation Functions ; Virtual Neuron
-
محتواي کتاب
- view
- مقدمه
- کارهای پیشین
- استفاده از اثر غیر خطی مرتبه دوم در محیط همگن برای ساخت تابع فعال ساز پیشنهادی
- طراحی افزاره موجبری برای پیاده سازی تابع فعال ساز پیشنهادی
- نتایج شبکه های عصبی نوری مختلط و حقیقی
- نتیجهگیری و پیشنهاداتی برای پژوهش های آینده
- مراجع
- مقدمه ای بر شبکه های عصبی مصنوعی
- ملاحظاتی راجع به پیاده سازی موجبری طرح
- مقدمه ای بر شبکه های عصبی مختلط
- اعداد مختلط
- انگیزه
- مقادیر مختلط در کاربردهای یادگیری عمیق در کجا رخ میدهند؟
- دادههای ذاتا مختلط
- حوزه طیفی مختلط
- چرا از یک شبکه حقیقی با دو کانال استفاده نکنیم؟
- عملیات خطی
- عملیات غیرخطی
- چرا لایههای دارای مقادیر حقیقی را مستقیماً به مختلط گسترش ندهیم؟
- تعریف نشدن تابع ماکس برای مقادیر مختلط
- توابع فعال ساز ناپایدار
- تفسیر احتمالاتی از دست رفته
- بهینهسازی خروجی دارای مقادیر مختلط
- پیشزمینه ای بر حسابان مختلط
- شبکههای عصبی دارای مقادیر مختلط
