Loading...

Network Topology Inference from Incomplete Data

Siyari, Payam | 2013

1343 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 44703 (19)
  4. University: Sharif University of Technology
  5. Department: Computer Engineering
  6. Advisor(s): Rabiee, Hamid Reza
  7. Abstract:
  8. During the last decade, there have been a great number of researches on complex networks.Data aggregation is the first step in the analysis of these networks. However, due to the large scale of them, almost never is there complete information about a network’s different aspects. Therefore, analysis of a complex network is usually done based on the incomplete data. Al-though a good sampling approach in a way that the achieved sample is a good representative of the whole network has its own challenges, analysis of incomplete data causes a significant alternation in the estimation results. Consequently, one of the first problems emerging after sampling is the possibility of predicting the hidden part of the network. The main approach to solve such problem is a model-based one in which, there is an assumption for the parametric model of the network and the effort is to estimate this model’s parameters. Depending on the data that we exploit to infer the hidden part of a network, presented methods may differ in their general approach. The methods presented in this thesis rely on the sparse structure of the real-world networks that is the most common pattern in almost all real-world networks. As the first problem, we address the Network Reconstruction Problem: Given a network with missing edges, how is it possible to uncover the network structure based on certain observable quantities extracted from partial measurements? We propose a novel framework based on a newly emerged paradigm in sparse signal recovery called Compressive Sensing (CS).The results demonstrate that our framework canperformac curately even on low number of cascades (e.g. when the number of cascades is around half of the number of existing edges in the desired network). In addition, we compared the performance of our framework with Net Inf; one of the state-of-the-art methods in inferring the networks of diffusion. The results suggest that the proposed method outperforms NetInf by an average of 10% improvement based on the F-measure. Furthermore, the proposed method can be generalized to other areas such as detecting congested links in computer networks.Second, we propose a scalable method for link prediction problem. Link prediction is a fundamental problem that appears in many applications such as recommender systems and biological networks. In this thesis, we exploit the sparsity (i.e., small number of links) of real-world networks in order to introduce a new link prediction method which is improved in scalability and accuracy than the existing state-of-the-art algorithms.We take a proba-bilistic approach by assigning a Poisson generative model to the underlying network, and present link prediction problem as a variant of matrix factorization problem. To the best of our knowledge, no previous method has used Poisson process for link prediction to improve scalability and accuracy. It is shown that the proposed method leads to fast inference of the parameters, and hence easily scales to large real-world networks. In addition to robustness and fast convergence, experiments show that the proposed method outperforms the popular unsupervised and supervised methods while being up to 15 times faster than previous meth-ods. Moreover, it is possible to use the proposed method in several applications other than link prediction such as collaborative filtering, latent semantic indexing and dimensionality reduction. We also present greedy and parallel versions of the proposed method which are suitable for collaborative filtering applications
  9. Keywords:
  10. Complex Network ; Network Reconstruction ; Compressive Sensing ; Link Prediction ; Matrix Factorization

 Digital Object List

 Bookmark

  • مقدمه
    • معرفی موضوع تحقیق
    • اهمیت و کاربرد‌های موضوع تحقیق
    • چالش‌ها
    • دستاورد‌های پایان‌نامه
      • مسئله بازسازی شبکه Missing left brace has been substituted= Network Reconstruction
      • مسئله پیش‌بینی لینک Missing left brace has been substituted= Link Prediction Problem
    • ساختار پایان‌نامه
  • بازسازی شبکه تحت نمونه‌برداری فشرده
    • مقدمه‌ای بر نمونه‌برداری فشرده
    • کاربرد‌های نمونه‌برداری فشرده در تحلیل شبکه‌ها
    • بیان رسمی مسئله
      • معرفی مسئله
      • شبکه‌های اطلاعاتی و رفتار آبشاری
      • محتمل‌ترین درخت آبشار
    • روش پیشنهادی: CS-NetRec
    • نتایج شبیه‌سازی
      • مجموعه داده‌ها و تنظیمات شبیه‌سازی
      • تحلیل پارامترها
      • وابستگی به تعداد آبشار
      • وابستگی به میزان تنک بودن شبکه
      • مقایسه با روش NetInf
  • پیش‌بینی لینک مقیاس پذیر با استفاده از فاکتورگیری ماتریس
    • مقدمه و مروری بر کارهای پیشین
      • مقدمه‌ای بر فاکتورگیری و تکمیل ماتریس
      • استفاده از فاکتورگیری و تکمیل ماتریس در تحلیل شبکه‌ها و پیش‌بینی لینک
        • دیگر پژوهش‌های مرتبط
    • روش ارائه شده
      • بیان رسمی مسئله
        • مقایسه دقت پیش‌بینی لینک با درستنمایی برنولی و درستنمایی پواسون
      • مسئله بهینه‌سازی
      • استنتاج پارامترها
      • تحلیل پیچیدگی
        • پیچیدگی زمانی
        • پیچیدگی فضایی
      • پیاده‌سازی با الگوریتم برآورد-بیشینه‌سازی
        • محاسبه مرحله برآورد
    • نتایج شبیه‌سازی
      • تنظیمات شبیه‌سازی
        • مجموعه داده‌ها
        • روش‌های رقیب
        • تنظیمات
        • چگونگی انتخاب بعد فضای پنهان
      • ارزیابی دقت
      • ارزیابی زمان اجرا و مقیاس‌پذیری
      • ارزیابی دقت بر اساس میزان داده از دست رفته
    • کاربرد در فاکتورگیری از ماتریس
      • بهینه‌سازی با انتخاب مؤلفه حریصانه: روش GSCD
      • تحلیل پیچیدگی زمانی و فضایی روش GSCD
      • آیا انتخاب مؤلفه حریصانه در پیش‌بینی لینک ممکن است؟
      • نتایج شبیه‌سازی
        • مجموعه داده‌ها
        • روش رقیب
        • مقیاس پذیری در فاکتورگیری از ماتریس
        • پیش‌بینی لینک با انتخاب مؤلفه حریصانه
      • پیاده‌سازی موازی روش GSCD
        • نتایج عملی میزان تأثیر موازی‌سازی بر عملکرد GSCD
  • جمع‌بندی و نتیجه گیری
    • بازسازی شبکه تحت نمونه‌برداری فشرده
    • پیش‌بینی لینک مقیاس‌پذیر با استفاده از فاکتورگیری ماتریس
  • کتاب‌نامه
  • واژه‌نامه
  • پیوست آ: مقالات استخراج شده
...see more