Loading...

Compressed Video Sensing Using Deep Learning

Ansarian Nezhad, Valiyeh | 2021

1205 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 54427 (05)
  4. University: Sharif University of Technology
  5. Department: Electrical Engineering
  6. Advisor(s): Marvasti, Farokh; Azghani, Masoumeh
  7. Abstract:
  8. Due to the ever-growing applications of video signals in day-to-day life and the large amount of information they contain, the compressing and processing of these signals is vital. In this thesis, a deep neural network called MC-ResNet is proposed which provides an approximation of non-reference frames based on reference ones. Next, three scenarios for compressed video sensing are presented. In all three scenarios, the reference frames are sampled and transmitted independently and reconstructed in the receiver by BCS-SPL method. In the first scenario, the difference between the non-reference frame and the approximation obtained from the MC-ResNet network is sampled and transmitted. In the receiver, the provided differential reconstruction network reconstructs the differential measurements and this differential frame is added to the approximation frame obtained by the MC-ResNet network later on. In the second scenario, in the transmitter, the proposed network is trained to provide an approximation of the non-reference frame using a reference frame. In this scenario, the non-reference frame itself is sampled and transmitted. In the receiver, the same network is used for reconstruction, except that a new layer is added to the network. The coefficients of the new layer are variable but the coefficients of the other layers are considered constant. The proposed network improves the reconstruction of the observations by learning the new layer coefficients. The third scenario utilizes a network that has already been trained to approximate non-reference frames. In this scenario, a layer with variable parameters is added to the network. In the transmitter, the layer parameters are adjusted to achieve the best reconstruction. Afterwards, the layer parameters are sent over. In the receiver, new layer coefficients are replaced in the network to reconstruct the frame. The performance of the proposed methods is evaluated by simulating several sample algorithms based on PSNR criteria
  9. Keywords:
  10. Compressed Video Sensing ; Video Signal Processing ; Deep Learning ; Compressive Sensing ; Sparse Signal Processing

 Digital Object List

 Bookmark

  • فهرست جدول‌ها
  • فهرست شکل‌ها
  • فهرست اختصارات
  • معرفی پژوهش
    • مقدمه
    • هدف پژوهش
    • ساختار پایان‌نامه
  • مبانی نظری و پیشینه پژوهش
    • مقدمه
    • حسگری فشرده
    • بازسازی سیگنال تنک
      • روش‌های مبتنی بر بازسازی محدب
      • روش‌های حریص
      • روش‌های مبتنی بر آستانه
    • الگوریتم‌های بازسازی فشرده سیگنال‌های وید‌ئویی
      • الگوریتم‌های بازسازی مبتنی بر بهینه‌سازی تکراری
        • الگوریتم وزندهی مجدد باقی‌مانده تنک
        • الگوریتم مبتنی بر تبدیلات Wavelet و Noiselet
        • الگوریتم AMP-DTCWT
        • الگوریتم MH-JSM
        • الگوریتم MH-ST
        • الگوریتم MH-BCS-SPL
        • الگوریتم CORPCA
      • الگوریتم‌های بازسازی مبتنی بر یادگیری عمیق
        • شبکه عمیق ISTA-Net
        • شبکه عمیق ReconNet
        • شبکه عمیق -Net2DR
        • شبکه عمیق MH-Net
        • شبکه عمیق CSVideoNet
    • جمع‌بندی
  • روش پژوهش
    • مقدمه
    • شبکه MC-ResNet
    • سناریو اول
      • فرستنده
      • گیرنده
    • سناریو دوم
      • فرستنده
      • گیرنده
    • سناریو سوم
    • جمع‌بندی
  • تجزیه و تحلیل یافته‌ها
    • مقدمه
    • معیار سنجش کیفیت تصاویر بازسازی ‌شده
    • توصیف پایگاه داده و محیط شبیه‌سازی
    • نتایج شبیه‌سازی
      • ارزیابی عملکرد MC-ResNet
      • تنظیمات فرآیند آموزش سناریو اول
      • تنظیمات فرآیند آموزش سناریو دوم
      • تنظیمات فرآیند آموزش سناریو سوم
      • مقایسه با روش‌های مشابه
    • جمع‌بندی
  • جمع‌بندی مطالب و پیشنهادها
    • جمع‌بندی مطالب
    • پیشنهادها
  • مراجع
...see more