Statistical Reinforcement Learning

📘 یادگیری تقویتی (Reinforcement Learning)

با تاکید بر رویکردهای آماری و یادگیری ماشین

🔹 درباره کتاب: یادگیری تقویتی (RL) چارچوبی برای تصمیم‌گیری در محیط‌های ناشناخته بر اساس حجم زیادی از داده‌هاست. در سال‌های اخیر، کاربردهای عملی موفق زیادی از RL در هوش تجاری (BI)، کنترل کارخانجات و بازی‌سازی دیده شده.

این کتاب یک مقدمه قابل‌فهم برای ورود به این حوزه است و مباحثی مثل رویکردهای مبتنی بر مدل (Model-based) و بدون مدل (Model-free)، تکرار سیاست (Policy Iteration) و روش‌های جستجوی سیاست را پوشش می‌دهد.

نکات برجسته کتاب شامل مثال‌های توصیفی و نتایج لبه تکنولوژی (State-of-the-art) است؛ از جمله مباحثی مثل کاهش ابعاد در RL و RL حساس به ریسک. در واقع، این کتاب پلی است میان یادگیری تقویتی، داده‌کاوی و تحقیقات یادگیری ماشین.

📑 فهرست مطالب (Table of Contents)

بخش ۱: مقدمه

• فصل ۱: مقدمه‌ای بر یادگیری تقویتی

بخش ۲: تکرار سیاست بدون مدل (Model-Free Policy Iteration)

• فصل ۲: تکرار سیاست با تقریب تابع ارزش (Value Function Approximation)
• فصل ۳: طراحی پایه (Basis Design) برای تقریب تابع ارزش
• فصل ۴: استفاده مجدد از نمونه‌ها (Sample Reuse) در تکرار سیاست
• فصل ۵: یادگیری فعال (Active Learning) در تکرار سیاست
• فصل ۶: تکرار سیاست مقاوم (Robust)

بخش ۳: جستجوی سیاست بدون مدل (Model-Free Policy Search)

• فصل ۷: جستجوی مستقیم سیاست با گرادیان صعودی (Gradient Ascent)
• فصل ۸: جستجوی مستقیم سیاست با روش Expectation-Maximization
• فصل ۹: جستجوی Policy-Prior

بخش ۴: یادگیری تقویتی مبتنی بر مدل (Model-Based RL)

• فصل ۱۰: تخمین مدل انتقال (Transition Model Estimation)
• فصل ۱۱: کاهش ابعاد برای تخمین مدل انتقال

👨‍💻 درباره نویسنده

ماساشی سوگیاما (Masashi Sugiyama) چهره‌ای برجسته در دنیای یادگیری ماشین است. او بیشتر به خاطر کارهایش در زمینه تطبیق دامنه (Domain Adaptation)، تئوری یادگیری ماشین و یادگیری آماری شناخته می‌شود.

Reinforcement learning (RL) is a framework for decision making in unknown environments based on a large amount of data. Several practical RL applications for business intelligence, plant control, and gaming have been successfully explored in recent years. Providing an accessible introduction to the field, this book covers model-based and model-free approaches, policy iteration, and policy search methods. It presents illustrative examples and state-of-the-art results, including dimensionality reduction in RL and risk-sensitive RL. The book provides a bridge between RL and data mining and machine learning research.

Table of Contents

Part I: Introduction

Chapter 1: Introduction to Reinforcement Learning

Part II: Model-Free Policy Iteration

Chapter 2: Policy Iteration with Value Function Approximation

Chapter 3: Basis Design for Value Function Approximation

Chapter 4: Sample Reuse in Policy Iteration

Chapter 5: Active Learning in Policy Iteration

Chapter 6: Robust Policy Iteration

Part Ill: Model-Free Policy Search

Chapter 7: Direct Policy Search by Gradient Ascent

Chapter 8: Direct Policy Search by Expectation-Maximization

Chapter 9: Policy-Prior Search

Part IV: Model-Based Reinforcement Learning

Chapter 10: Transition Model Estimation

Chapter 11: Dimensionality Reduction for Transition Model Estimation

About the Author

Masashi Sugiyama is a prominent figure in the field of machine learning, known for his work in domain adaptation, machine learning theory, and statistical learning.