High-Speed Human Tracking in CCTV Cameras

Mohammadi, Mohammad Javad; Mohammadzadeh, Narjesolhoda

Please enable javascript in your browser.

High-Speed Human Tracking in CCTV Cameras

Mohammadi, Mohammad Javad | 2024

0 Viewed

Type of Document: M.Sc. Thesis
Language: Farsi
Document No: 57979 (05)
University: Sharif University of Technology
Department: Electrical Engineering
Advisor(s): Mohammadzadeh, Narjesolhoda
Abstract:
In this work, we present AppMoTrack, a novel tracking-by-detection (TBD) ap-proach that effectively balances speed and accuracy. The proposed framework lever-ages Incremental Principal Component Analysis (PCA) to extract robust features from bounding boxes, followed by Fisher Linear Discriminant Analysis (LDA) to refine these features by considering class separability, where each unique target across frames rep-resents a class. A hierarchical cost function is introduced to enhance data association precision. For detections with high confidence scores, a two-stage process is employed: first, a combination of Intersection over Union (IoU) and cosine distance between LDA-transformed PCA features; second, a comparison of HSV histograms for more nuanced matching. Detections with lower confidence scores are handled in a separate stage, ensuring robust association across varying detection qualities. Additionally, manual thresholds are replaced with an adaptive matching threshold mechanism based on K-means clustering, and track uncertainty is incorporated to improve decision-making during data association. A key innovation of AppMoTrack is its adaptive use of the detection network, dynamically determining when to run the detection model based on frame context. This reduces computational overhead by skipping frames adaptively. By integrating these methodologies, AppMoTrack achieves an optimal trade-off between ac-curacy and eﬀiciency, advancing the state-of-the-art in reliable object tracking. On the MOT17 dataset, AppMoTrack achieves strong performance with the following metrics: HOTA: 63.21, MOTA: 79.39, IDF1: 77.12, and an FPS of 41.3 Hz
Keywords:
Human Tracking ; Adaptive Mechanism ; Ip-Based Cameras ; Tracking by Detection ; High Speed Camera ; Appearance Features

Digital Object List

محتواي کتاب
view

Bookmark

مقدمه
- تعریف مسئله
- اهمیت موضوع
- ادبیات موضوع
- اهداف پژوهش
- جایگاه این روش در ادبیات موضوع
- ساختار پایان‌نامه
کارهای پیشین
- مقدمه
  - روش‌های رهگیری بدون تشخیص
  - روش‌های رهگیری مبتنی بر تشخیص
  - تمرکز مقاله
- دید کلی از یک سامانه ردیابی مبتنی بر تشخیص
- چالش‌ها در ردیابی سریع انسان
- شناسایی اشیاء
- فیلتر کالمن
  - نحوه عملکرد فیلتر کالمن
  - کاربردهای فیلتر کالمن در ردیابی اشیاء
- الگوریتم مجارستانی
  - چگونگی عملکرد الگوریتم مجارستانی
  - مراحل الگوریتم مجارستانی
  - کاربردهای الگوریتم مجارستانی در ردیابی اشیاء
- مرتبط ساختن داده‌ها
  - روش‌های مرتبط ساختن داده‌ها
  - الگوریتم مجارستانی برای مرتبط ساختن داده‌ها
  - چالش‌ها در مرتبط ساختن داده‌ها
  - اهمیت مرتبط ساختن داده‌ها در ردیابی چندهدفه
- بررسی یک نمونه ردیاب براساس بخش‌های اصلی معرفی‌شده
- چالش‌های ردیابی چندهدفه (MOT)
  - پوشش‌گذاری (Occlusions)
  - آلودگی پس‌زمینه (Clutter)
  - پردازش بلادرنگ (Real-Time Processing)
  - چالش‌های دیگر
- معیارهای ارزیابی ردیابی
  - MOTA (Multiple Object Tracking Accuracy)
  - MOTP (Multiple Object Tracking Precision)
  - HOTA (Higher Order Tracking Accuracy)
  - DetA (Detection Accuracy)
  - AssA (Assignment-based Accuracy)
- الگوریتم‌های ردیابی مبتنی بر شناسایی
  - الگوریتم‌های ردیابی مبتنی بر شناسایی: ویژگی‌ها و عملکرد
  - چالش‌ها در الگوریتم‌های ردیابی مبتنی بر شناسایی
  - روش‌های ردیابی مبتنی بر شناسایی
  - الگوریتم‌های ردیابی مبتنی بر شناسایی: رویکردها
  - مقایسه الگوریتم‌های ردیابی مبتنی بر شناسایی
- الگوریتم SORT
  - ساختار الگوریتم SORT
  - ویژگی‌های الگوریتم SORT
  - مزایای الگوریتم SORT
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم DeepSORT
  - ساختار الگوریتم DeepSORT
  - ویژگی‌های DeepSORT
  - مزایای الگوریتم DeepSORT
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم IOU Tracker
  - ساختار الگوریتم IOU Tracker
  - ویژگی‌ها و مزایای IOU Tracker
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم Tracktor
  - روش Tracktor
  - مزایای Tracktor
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم FairMOT
  - ساختار کلی FairMOT
  - مزایای FairMOT
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم JDE
  - ساختار الگوریتم JDE
  - مزایای الگوریتم JDE
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم CenterTrack
  - ساختار الگوریتم CenterTrack
  - مزایای الگوریتم CenterTrack
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم QDTrack
  - ساختار الگوریتم QDTrack
  - مزایای الگوریتم QDTrack
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم ByteTrack
  - ساختار الگوریتم ByteTrack
  - مزایای الگوریتم ByteTrack
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- الگوریتم OCSORT
  - ساختار و ویژگی‌ها
  - عملکرد
  - نتیجه‌گیری
- الگوریتم BoT-SORT
  - ویژگی‌ها و نوآوری‌ها
  - عملکرد
  - نتیجه‌گیری
- الگوریتم Deep OC-SORT
  - ساختار و ویژگی‌ها
  - عملکرد
  - نتیجه‌گیری
- الگوریتم‌های ردیابی مبتنی بر ترنسفورمر
  - عملکرد و ویژگی‌ها
  - مزایا و چالش‌ها
  - نتیجه‌گیری
- الگوریتم TransTrack
  - ویژگی‌ها و عملکرد
  - معماری شبکه ترنسفورمر
  - مزایا و چالش‌ها
  - نتیجه‌گیری
- الگوریتم TrackFormer
  - ویژگی‌ها و عملکرد
  - معماری شبکه ترنسفورمر
  - مزایا و چالش‌ها
  - نتیجه‌گیری
  - الگوریتم TransMOT
  - ویژگی‌ها و عملکرد
  - معماری شبکه ترنسفورمر
  - مزایا و چالش‌ها
  - نتیجه‌گیری
- الگوریتم MOTR
  - ویژگی‌ها و عملکرد
  - معماری شبکه ترنسفورمر
  - مزایا و چالش‌ها
  - نتیجه‌گیری
- الگوریتم TransCenter
  - مقدمه
  - ویژگی‌ها و عملکرد
  - معماری و نوآوری‌های مدل
  - مزایا و چالش‌ها
  - نتیجه‌گیری
- الگوریتم‌های مبتنی بر گراف
  - ساختار گراف در ردیابی
  - الگوریتم‌های ردیابی مبتنی بر گراف
  - مزایا و معایب
  - نتیجه‌گیری
- الگوریتم GNN3DMOT
  - ساختار GNN3DMOT
  - مزایای GNN3DMOT
  - چالش‌ها
  - نتیجه‌گیری
- الگوریتم GSM (Graph Similarity Model)
  - ساختار GSM
  - مزایای GSM
  - چالش‌ها
  - نتیجه‌گیری
- الگوریتم‌های ترکیبی و پیچیده
  - ساختار الگوریتم‌های ترکیبی
  - مزایای الگوریتم‌های ترکیبی
  - چالش‌ها
  - نتیجه‌گیری
- الگوریتم MHT-DAM (Multiple Hypothesis Tracking with Deep Appearance Models)
  - MHT-DAM: ترکیب ردیابی با فرضیه چندگانه و مدل‌های یادگیری عمیق برای مدل‌سازی ظاهر
  - مراحل الگوریتم MHT-DAM
  - مزایای الگوریتم MHT-DAM
  - چالش‌ها
  - نتیجه‌گیری
- الگوریتم DMAN (Dual Matching Attention Networks)
  - چارچوب الگوریتم DMAN
  - مزایای الگوریتم DMAN
  - چالش‌ها
  - نتیجه‌گیری
- الگوریتم TubeTK
  - چارچوب الگوریتم TubeTK
  - مزایای TubeTK
  - چالش‌ها
  - نتیجه‌گیری
- الگوریتم MeMOT (Memory-Augmented Multi-Object Tracking)
  - چارچوب الگوریتم MeMOT
  - مزایای MeMOT
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- self-SDCT (Self-supervised Deep Correlation Tracking)
  - چارچوب الگوریتم self-SDCT
  - مزایای self-SDCT
  - چالش‌ها و محدودیت‌ها
  - نتیجه‌گیری
- کاربرد‌ها و ملاحظات ردیابی سریع انسان در دوربین‌های مدار‌بسته
  - کاربردهای ردیابی انسان در سیستم‌های CCTV
  - ملاحظات در پیاده‌سازی الگوریتم‌های ردیابی
  - انتخاب الگوریتم بر اساس نیازهای خاص کاربرد
  - نتیجه‌گیری
- نتیجه‌گیری
روش پیشنهادی
- مقدمه
- ردیاب پیشنهادی
- قبل از فرآیند ردیابی آنلاین
- اولین تطبیق با جعبه‌های شناسایی با امتیاز بالا
  - ورودی‌ها و تعریف مسئله
  - استخراج ویژگی و ساخت ماتریس فاصله
  - آستانه تطبیقی با استفاده از روش خوشه‌بندی
  - تطبیق سلسله‌مراتبی با ویژگی‌های HSV
  - تطبیق نهایی و خروجی‌ها
- مرحله دوم ارتباط‌دهی با جعبه‌های شناسایی کم‌اعتماد
  - ورودی‌ها
  - استخراج ویژگی برای شباهت ظاهری
  - ماتریس فاصله ویژگی
  - اطلاعات حرکتی برای شباهت فضایی
  - انتساب خطی
  - اهمیت مرحله دوم ارتباط‌دهی
- مدیریت مسیرهای تاییدنشده برای ردیابی اشیاء مقاوم
  - تعریف ورودی‌ها
  - استخراج ویژگی‌های ظاهری
  - محاسبه فاصله ویژگی‌ها
  - محاسبه فاصله حرکت
  - انجمن‌سازی خطی
  - انجمن‌سازی سلسله‌مراتبی برای موجودیت‌های تاییدنشده
  - خروجی‌های نهایی
- چارچوب پیشنهادی ردیابی
  - شبکه تشخیص و استفاده تطبیقی از تشخیص‌ها (ADU)
  - تفکیک تشخیص‌ها بر اساس اعتماد
  - ردیابی تأیید شده و فیلتر کالمن (KF)
  - اولین انجمن با تشخیص‌های با اعتماد بالا
  - پرداختن به ردیابی‌های غیر تأیید شده
  - انجمن دوم با تشخیص‌های با اعتماد پایین
  - ادغام نهایی ردیاب‌ها
نتایج
- شرایط و ضوابط آزمایش‌ها
  - معیار‌های ارزیابی کارایی سامانه ردیابی
  - دیتاست
  - سخت‌افزار مورد استفاده
  - شبکه تشخیص‌دهنده
- پس‌پردازش با استفاده از درونیابی خطی در ردیاب‌ها
  - اصول درونیابی خطی
  - درونیابی ویژگی‌های دیگر
  - کاربرد در پس‌پردازش ردیاب‌ها
  - مزایا و محدودیت‌ها
- بررسی تاثیر و نقش بخش‌های مختلف ردیاب پیشنهادی
- مقایسه ردیاب پیشنهادی با بقیه ردیاب‌ها
جمع‌بندی و پیشنهادات
- جمع‌بندی
- پیشنهادات
مراجع

Friend's email
Your name
Your email
enter code