Loading...

Consistency of Lasso Estimator

Hamidi, Nima | 2015

1606 Viewed
  1. Type of Document: M.Sc. Thesis
  2. Language: Farsi
  3. Document No: 47373 (02)
  4. University: Sharif University of Technology
  5. Department: Mathematical Sciences
  6. Advisor(s): Haji Mirsadeghi, Mir Omid
  7. Abstract:
  8. In this thesis, we are going to study the consistency properties of one of the most well-known linear estimators – LASSO estimator. First, we bring up some necessary background for introducing this estimator. Then, we are able to introduce primary and secondary forms of LASSO estimator. After that, we prove that primary form of the LASSO estimator is weakly consistent under certain weak conditions. We, also, prove a much stronger statement about the secondary form. We prove that the secondary form is strongly consistent. What’s more, with extra assumptions, we specify the convergence rate of the estimator. Finally, we propose a method for determining free parameter of primary form of LASSO, using cross-validation. Then, the estimator uses this parameter for giving the required estimate. In addition, we give an upper bound for mean squared error of the estimator
  9. Keywords:
  10. Group Lasso ; Cross-Validation ; Least Absolute Shrinkage and Selection Operator (LASSO) Estimator ; Weak Consistency ; Strong Consistency

 Digital Object List

 Bookmark

  • مقدمه
    • شرح مساله
    • دو روش برای برآورد کردن
    • نظریه‌ی آماری تصمیم
    • مدل آماری و تجزیه‌ی اریبی-واریانس
    • روش‌های خطی برآورد
      • برآوردگر ستیغی
      • برآوردگر لسو
    • خواص برآوردگر لسو
  • سازگاری ضعیف برآوردگر لسو
  • احکام تقریبا حتمی در مورد برآوردگر لسو
    • سازگاری قوی
    • سرعت همگرایی
    • امید خطا‌ی نامتناهی
  • اعتبار سنجی متقابل
    • برآوردگر مبتنی بر اعتبار سنجی متقابل
    • کران بالا برای خطای پیشگویی
    • کاربردی از قضیه‌ی 4‏.‏1
  • قضایا و لم‌های استفاده شده
...see more