Reinforcement Learning

یادگیری تقویتی، یکی از فعال‌ترین حوزه‌های تحقیقاتی در هوش مصنوعی، یک رویکرد محاسباتی برای یادگیری است که در آن یک عامل سعی می‌کند مجموع کل پاداش‌هایی که در هنگام تعامل با یک محیط پیچیده و نامشخص دریافت می‌کند را به حداکثر برساند. در کتاب “یادگیری تقویتی”، ریچارد ساتن و اندرو بارتو توضیحی ساده و واضح از ایده‌ها و الگوریتم‌های اصلی این حوزه ارائه می‌دهند. این نسخه دوم به طور قابل توجهی گسترش یافته و به‌روز شده است، به‌طوری که موضوعات جدیدی را معرفی کرده و پوشش موضوعات دیگر را به‌روزرسانی کرده است.

مانند نسخه اول، این نسخه دوم تمرکز خود را بر روی الگوریتم‌های اصلی یادگیری آنلاین قرار داده است، با مطالب ریاضی بیشتر که در کادرهای سایه‌دار قرار گرفته‌اند. قسمت اول به اندازه‌ای از یادگیری تقویتی را پوشش می‌دهد که از حالت جدول‌بندی خارج نمی‌شود و برای آن می‌توان راه‌حل‌های دقیق پیدا کرد. بسیاری از الگوریتم‌هایی که در این قسمت معرفی شده‌اند، جدید بوده و در نسخه دوم اضافه شده‌اند، از جمله UCB، Expected Sarsa و Double Learning. قسمت دوم این ایده‌ها را به تقریب‌های تابعی گسترش می‌دهد، با بخش‌های جدیدی در موضوعاتی مانند شبکه‌های عصبی مصنوعی و پایه فوریه، و پوشش گسترش‌یافته‌ای از یادگیری خارج از سیاست و روش‌های گرادیان سیاست. قسمت سوم شامل فصول جدیدی در مورد ارتباطات یادگیری تقویتی با روان‌شناسی و نوروساینس، به علاوه یک فصل به‌روزرسانی شده در مورد مطالعات موردی از جمله AlphaGo و AlphaGo Zero، بازی‌های آتاری و استراتژی شرط‌بندی IBM Watson است. فصل آخر به بررسی اثرات اجتماعی آینده یادگیری تقویتی می‌پردازد.

درباره نویسندگان:

ریچارد اس. ساتن، استاد علوم کامپیوتر و رئیس کرسی تحقیقاتی یادگیری تقویتی و هوش مصنوعی در دانشگاه آلبرتا و همچنین پژوهشگر برجسته در DeepMind است.

اندرو جی. بارتو، استاد بازنشسته در دانشکده علوم کامپیوتر و اطلاعات دانشگاه ماساچوست در امهرست است.

The significantly expanded and updated new edition of a widely used text on reinforcement learning, one of the most active research areas in artificial intelligence.

Reinforcement learning, one of the most active research areas in artificial intelligence, is a computational approach to learning whereby an agent tries to maximize the total amount of reward it receives while interacting with a complex, uncertain environment. In Reinforcement Learning, Richard Sutton and Andrew Barto provide a clear and simple account of the field’s key ideas and algorithms. This second edition has been significantly expanded and updated, presenting new topics and updating coverage of other topics.

Like the first edition, this second edition focuses on core online learning algorithms, with the more mathematical material set off in shaded boxes. Part I covers as much of reinforcement learning as possible without going beyond the tabular case for which exact solutions can be found. Many algorithms presented in this part are new to the second edition, including UCB, Expected Sarsa, and Double Learning. Part II extends these ideas to function approximation, with new sections on such topics as artificial neural networks and the Fourier basis, and offers expanded treatment of off-policy learning and policy-gradient methods. Part III has new chapters on reinforcement learning’s relationships to psychology and neuroscience, as well as an updated case-studies chapter including AlphaGo and AlphaGo Zero, Atari game playing, and IBM Watson’s wagering strategy. The final chapter discusses the future societal impacts of reinforcement learning.

Table of Contents

Chapter 1: Introduction

I. Tabular Solution Methods

Chapter 2: Multi-armed Bandits

Chapter 3: Finite Markov Decision Processes

Chapter 4: Dynamic Programming

Chapter 5: Monte Carlo Methods

Chapter 6: Temporal-Difference Learning

Chapter 7: n-step Bootstrapping

Chapter 8: Planning and Learning with Tabular Methods

Chapter 9: Approximate Solution Methods

II. On-policy Prediction with Approximation

Chapter 10: On-policy Control with Approximation

Chapter 11: Off-policy Methods with Approximation

Chapter 12: Eligibility Traces

Chapter 13: Policy Gradient Methods

III. Looking Deeper

Chapter 14: Psychology

Chapter 15: Neuroscience

Chapter 16: Applications and Case Studies

Chapter 17: Frontiers

About the Author

Richard S. Sutton is Professor of Computing Science and AITF Chair in Reinforcement Learning and Artificial Intelligence at the University of Alberta, and also Distinguished Research Scientist at DeepMind.

Andrew G. Barto is Professor Emeritus in the College of Computer and Information Sciences at the University of Massachusetts Amherst.