Bayesian Optimization

🧠 بهینه‌سازی بیزی یک متدولوژی قدرتمند برای بهینه‌سازی تابع‌های هدف پرهزینه محسوب میشه که موفقیتش توی علوم، مهندسی و خیلی از حوزه‌های دیگه کاملاً ثابت شده. این کتاب به‌موقع و ارزشمند، یک معرفی جامع و Self-Contained از این حوزه ارائه میده؛ یعنی همه‌چیز رو از پایه شروع میکنه و قدم‌به‌قدم تمام ایده‌های کلیدی رو توسعه میده.

🔍 این رویکرد Bottom-Up باعث میشه تم‌های مشترک و الگوهای یکپارچه در طراحی الگوریتم‌های Bayesian Optimization بهتر دیده بشن و در کنار اون، یک پایه تئوری محکم برای مواجهه با مسائل و سناریوهای جدید ساخته بشه.

⚙️ بخش اصلی کتاب به سه قسمت مهم تقسیم شده:

🔹 جنبه‌های تئوری و عملی مدل‌سازی با فرآیندهای گاوسی (Gaussian Processes)

🔹 رویکرد بیزی برای تصمیم‌گیری ترتیبی (Sequential Decision Making)

🔹 پیاده‌سازی و محاسبه سیاست‌های بهینه‌سازی کاربردی و مؤثر

📚 بعد از این مباحث پایه‌ای، کتاب وارد موضوعات پیشرفته‌تر میشه؛ از جمله:

🔹 مرور نتایج مربوط به همگرایی تئوری

🔹 بررسی توسعه‌ها و گسترش‌های مهم این حوزه

🔹 تاریخچه جامع بهینه‌سازی بیزی

🔹 و یک کتاب‌شناسی توضیح‌دار از کاربردهای مختلف این روش در دنیای واقعی

📑 فهرست مطالب

1. مقدمه

2. فرآیندهای گاوسی

3. مدل‌سازی با فرآیندهای گاوسی

4. ارزیابی، انتخاب و میانگین‌گیری مدل

5. نظریه تصمیم‌گیری برای بهینه‌سازی

6. توابع مطلوبیت برای بهینه‌سازی

7. سیاست‌های رایج بهینه‌سازی بیزی

8. محاسبه سیاست‌ها با فرآیندهای گاوسی

9. پیاده‌سازی

10. تحلیل تئوری

11. توسعه‌ها و تنظیمات مرتبط

12. تاریخچه مختصر بهینه‌سازی بیزی

📖 توضیحات کتاب

🧩 این کتاب یک معرفی جامع و کامل از بهینه‌سازی بیزی ارائه میکنه که همه‌چیز رو از صفر شروع میکنه و تمام ایده‌های کلیدی رو با دقت و مرحله‌به‌مرحله توسعه میده.

👨‍🏫 درباره نویسنده

🧠 رومن گارنت دانشیار رشته علوم کامپیوتر و مهندسی در دانشگاه واشنگتن در سنت لوئیس هست. اون از سال ۲۰۱۱ یکی از چهره‌های اصلی جامعه Bayesian Optimization بوده؛ زمانی که یکی از برگزارکنندگان ورکشاپ بلندمدت این حوزه در کنفرانس NeurIPS شد.

⚡ تمرکز اصلی تحقیقاتش روی توسعه روش‌های بیزی ـ از جمله بهینه‌سازی بیزی ـ برای خودکارسازی فرایند کشف علمی قرار داره.

Bayesian optimization is a methodology for optimizing expensive objective functions that has proven success in the sciences, engineering, and beyond. This timely text provides a self-contained and comprehensive introduction to the subject, starting from scratch and carefully developing all the key ideas along the way. This bottom-up approach illuminates unifying themes in the design of Bayesian optimization algorithms and builds a solid theoretical foundation for approaching novel situations. The core of the book is divided into three main parts, covering theoretical and practical aspects of Gaussian process modeling, the Bayesian approach to sequential decision making, and the realization and computation of practical and effective optimization policies. Following this foundational material, the book provides an overview of theoretical convergence results, a survey of notable extensions, a comprehensive history of Bayesian optimization, and an extensive annotated bibliography of applications.

Table of Contents

1. Introduction
2. Gaussian Processes
3. Modeling with Gaussian Processes
4. Model Assessment, Selection, and Averaging
5. Decision Theory for Optimization
6. Utility Functions for Optimization
7. Common Bayesian Optimization Policies
8. Computing Policies with Gaussian Processes
9. Implementation
10. Theoretical Analysis
11. Extensions and Related Settings
12. A Brief History of Bayesian Optimization

Book Description

A comprehensive introduction to Bayesian optimization that starts from scratch and carefully develops all the key ideas along the way.

About the Author

Roman Garnett is Associate Professor in Computer Science & Engineering at Washington University in St. Louis. He has been a leader in the Bayesian optimization community since 2011, when he cofounded a long-running workshop on the subject at the NeurIPS conference. His research focus is developing Bayesian methods – including Bayesian optimization – for automating scientific discovery.