Loading...

Estimating the Interaction Between Sites of a System by Convolutional Neural Networks and Applying Renormalization Group Methods on the Network’s Density Matrix

Pourmohammad, Hamid | 2022

1278 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 54878 (04)
  4. University: Sharif University of Technology
  5. Department: Physics
  6. Advisor(s): Rouhani, Shahin
  7. Abstract:
  8. In the last two decades, Convolutional Neural Networks (CNN) have shown significant capabilities in artificial intelligence. These networks are able to provide comprehensive conclusions about the overall behavior a system by analyzing the relationship between the components of that system; Clearly, these networks have been successful in performing categorization tasks. However, there are no coherent theories as to why they work, and how to optimize them. On the other hand, according to recent research on the relationship between deep networks (in computer science) and Renormalization Group (in physics), convolutional networks seem to use a method similar to the Density Matrix Renormalization Group (or DMRG.) The DMRG method can estimate the ground state energy of a statistical system by categorizing Hilbert space vectors. In this study, by first examining the relationship between convolutional networks and DMRG, we understand the reason for the use of convolutional networks from a physical point of view (focusing on one-dimensional problems, such as the Ising model); These networks are able to define a relationship between the system’s components (and related states) by considering an arbitrary interaction between the system’s sites. The interaction intends to perform the task of categorization in convolutional networks by examining blocks consisting of sites. This means that the interaction must be able to categorize the configurations of each block in a way that is appropriate for categorizing the data. In computer science, this data is usually images that each represent a group of objects (such as cats, cars, etc.); Therefore, the task of this interaction in the convolutional neural networks will be to discover the relationship between the pixels related to the cat category, the car category, and so on. This interaction is initially considered random (and multi-particle); It is then optimized by the gradient descent method. In this research, in addition to investigating these interactions and applying its renormalization methods in deep convolutional networks, we have also dealt with a new method; We have been able to introduce a new approach to these networks that works based on the relationship between the specific states of each block and the output of the neural network. Although the final confirmation of this new approach depends on the revision of artificial intelligence libraries, preliminary studies have shown a 25.3±10.5% increase compared to the performance of fully connected multilayer perceptrons
  9. Keywords:
  10. Deep Networks ; Ising model ; Classification ; Truncation ; Hilbert Space ; Convolutional Neural Network ; Density Matrix Renormalization Group

 Digital Object List

 Bookmark

  • تقدیر و تشکر
  • چکیده‌ی فارسی
  • فصل ۱: مقدمه
  • ۱-1 مقدمه
  • ۱-۲ گروه بازبهنجارش
  • ۱-۳ بلوک‌بندی سیستم
  • ۱-۴ گروه بازبهنجارش ماتریس چگالی
  • ۱-۵ الگوریتم روش گروه بازبهنجارش ماتریس چگالی
  • ۱-۶ یادگیری ماشین
  • ۱-۷ پرسپترون
  • ۱-۸ ایجاد یک شبکه از نورون‌های مصنوعی
  • ۱-۹ مفاهیم پایه‌ای در شبکه‌های پیچشی
  • ۱-۱۰ هدف‌ ما چیست؟
  • فصل 2: گروه بازبهنجارش ماتریس چگالی در مدل آیزینگ
  • ۲-۱ مقدمه
  • ۲-۲ تبدیل مقیاس و ناورداییِ مقیاس
  • ۲-۳ جهان‌شمولی
  • ۲-۴ اعمال فرایند گروه بازبهنجارش روی مدل آیزینگ
  • ۲-۵ بلوک‌بندی یک سیستم با تعداد اجزای زیاد
  • ۲-۶ برهمکنش‌های درونی و بیرونی بلوک
  • ۲-۷ محاسبه‌ی ماتریس چگالی
  • ۲-۸ تکرار مراحل محاسباتی در گروه بازبهنجارش ماتریس چگالی
  • فصل ۳: مفهوم یادگیری در شبکه‌های عصبی مصنوعی
  • ۳-۱ مقدمه
  • ۳-۲ شبکه‌های عصبی در موجودات زنده
  • ۳-۳ آموزش بانظارت و بدون نظارت
  • ۳-۴ ورودی‌های شبکه (خصیصه‌ها) و چارچوب داده
  • ۳-۵ تابع خطا
  • ۳-6 چارچوب داده در مسئله‌های دسته‌بندی
  • ۳-7 لایه‌های هموار کننده و هموارسازی داده‌ها
  • ۳-8 یادگیری با روش گرادیان کاهشی
  • ۳-9 بهینه‌سازی غیرخطی
  • ۳-10 ویژگی‌های توابع فعال‌سازی
  • ۳-11 انواع توابع فعال‌سازی
  • ۳-12 تغییر مقیاس داده‌ها
  • ۳-13 پرسپترون‌های چندلایه
  • ۳-14 یادگیری انتقالی در شبکه‌های عصبی
  • فصل ۴: شبکه‌های عصبی پیچشی
  • ۴-۱ مقدمه
  • ۴-۲ کشف ویژگی‌های محلی متفاوت
  • ۴-۳ ورودی‌های سه بُعدی یا بالاتر
  • ۴-۴ لایه‌های جمع‌کننده
  • ۴-۵ اعمال لایه‌های کاملاً متصل
  • ۴-۶ یک شبکه‌ی عصبی پیچشی کامل
  • ۴-۷ تفاوت شبکه‌های پیچشی با پرسپترون‌های چندلایه
  • فصل ۵: ارتباط فرایند پیچش با گروه بازبهنجارش ماتریس چگالی
  • ۵-۱ مقدمه
  • ۵-۲ بلوک‌بندی
  • ۵-۳ وظیفه و اهداف
  • ۵-۴ توانمندی در محاسبه
  • ۵-۵ همگن یا ناهمگن بودنِ سایت‌ها
  • ۵-۶ بررسی طیف انرژی و انرژی‌گونه
  • ۵-۷ رشد فضای هیلبرت
  • ۵-۸ هامیلتونی
  • ۵-۹ کوتاه‌سازی فضای هیلبرت
  • فصل ۶: درک فرایند پیچش توسط فیزیک آماری
  • ۶-۱ مقدمه
  • ۶-۲ نگرش شبکه‌های پیچشی به آرایش‌ها
  • ۶-۳ کوتاه‌سازی نمایش ویژه‌بردارها
  • ۶-۴ ارتباط ویژه‌بردارها با خروجی‌ها
  • ۶-۵ یادگیری در شبکه‌های پیچشی
  • ۶-۶ ارتباط ویژه‌بردار‌های زیرسیستم‌ها با خروجی
  • ۶-۷ دسته‌بندی توسط انسان و رایانه
  • ۶-۸ افزایش تعداد قاب‌ها
  • ۶-۹ تاثیر ویژه‌حالت‌های یک سیستم
  • ۶-۱۰ ویژه‌حالت‌های زیرسیستم در یک هامیلتونی ناشناس
  • ۶-۱۱ دسته‌بندی آرایش‌ها
  • ۶-۱۲ نتیجه
  • منابع و مأخذ
  • پیوست‌ها
  • پیوست ۱: کُد پایتون رابطه‌ی انرژی در شبیه‌سازی
  • چکیده‌ی لاتین به همراه کلید‌واژه‌ی لاتین
...see more