Bayesian Optimization in Action

📘 بهینه‌سازی بیزی در عمل

Bayesian Optimization بهت کمک میکنه بهترین پیکربندی برای مدل‌های Machine Learning رو با سرعت و دقت بالا پیدا کنی. توی این راهنمای کاملاً عملی، تکنیک‌های پیشرفته‌ی این حوزه رو قدم‌به‌قدم وارد پروژه‌های واقعی میکنی.

🧠 در کتاب Bayesian Optimization in Action یاد میگیری چطور:

• فرایندهای گاوسی (Gaussian Processes) رو روی دیتاست‌های sparse و بزرگ آموزش بدی
• فرایندهای گاوسی رو با Deep Neural Networks ترکیب کنی تا مدل‌هایی انعطاف‌پذیر و قدرتمند بسازی
• بهترین استراتژی‌ها برای Hyperparameter Tuning رو پیدا کنی
• داخل فضای جستجو (Search Space) حرکت کنی و نواحی با عملکرد بالا رو شناسایی کنی
• Bayesian Optimization رو در مسائل Cost-Constrained، چندهدفه (Multi-Objective) و Preference Optimization به‌کار ببری
• با استفاده از PyTorch، GPyTorch و BoTorch پیاده‌سازی حرفه‌ای انجام بدی

🚀 درباره کتاب

کتاب Bayesian Optimization in Action نشون میده چطور با استفاده از رویکردهای بیزی، فرایندهای یادگیری ماشین رو بهینه و کارآمد طراحی کنی. داخل کتاب با تکنیک‌های عملی برای آموزش روی دیتاست‌های بزرگ، تنظیم هایپرپارامترها و پیمایش فضاهای جستجوی پیچیده آشنا میشی.

مثال‌های کتاب فقط تئوری نیستن؛ از تنظیم میزان شیرینی قهوه گرفته تا پیش‌بینی آب‌وهوا و حتی بررسی ادعاهای شبه‌روانشناسی، همگی برای توضیح مفاهیم استفاده شدن. همچنین یاد میگیری چطور سناریوهای چندهدفه، محدودیت‌های هزینه و مقایسه‌های دوتایی (Pairwise Comparisons) رو مدیریت کنی.

⚙️ درباره تکنولوژی

در Machine Learning، بهینه‌سازی یعنی رسیدن به بهترین خروجی ممکن — مثل کوتاه‌ترین مسیر ارسال، بهترین قیمت‌گذاری یا دقیق‌ترین سیستم پیشنهاددهنده — با کمترین تعداد مرحله.

Bayesian Optimization با استفاده از ریاضیات احتمال، توابع، الگوریتم‌ها و هایپرپارامترهای مدل‌های ML رو بهینه میکنه؛ مخصوصاً جاهایی که روش‌های سنتی بیش‌ازحد کند یا پرهزینه هستن.

🔥 داخل کتاب چه چیزهایی پیدا میکنی؟

• فرایندهای گاوسی برای دیتاست‌های sparse و بزرگ
• استراتژی‌های حرفه‌ای Hyperparameter Tuning
• شناسایی نواحی با عملکرد بالا در فضای جستجو
• مثال‌های عملی با PyTorch، GPyTorch و BoTorch

👨‍💻 این کتاب برای چه کسانی مناسبه؟

برای مهندس‌ها و متخصص‌های Machine Learning که روی ریاضیات و آمار تسلط خوبی دارن و میخوان Bayesian Optimization رو به‌صورت عملی و حرفه‌ای وارد پروژه‌هاشون کنن.

📚 فهرست مطالب

۱. مقدمه‌ای بر بهینه‌سازی بیزی

۲. فرایندهای گاوسی به‌عنوان توزیع‌هایی روی توابع

۳. سفارشی‌سازی فرایند گاوسی با تابع میانگین و تابع کوواریانس

۴. بهبود نتیجه‌ی نهایی با سیاست‌های مبتنی بر بهبود

۵. کاوش فضای جستجو با سیاست‌های نوع باندیت

۶. بهره‌گیری از نظریه اطلاعات با سیاست‌های مبتنی بر آنتروپی

۷. بیشینه‌سازی توان عملیاتی با بهینه‌سازی بچ (Batch)

۸. ارضای قیود اضافی با بهینه‌سازی مقید

۹. متعادل‌سازی سودمندی و هزینه با بهینه‌سازی چندوفاداری (Multifidelity)

۱۰. یادگیری از مقایسه‌های دوتایی با بهینه‌سازی ترجیح (Preference Optimization)

۱۱. بهینه‌سازی همزمان چند هدف

۱۲. مقیاس‌پذیر کردن فرایندهای گاوسی برای دیتاست‌های بزرگ

۱۳. ترکیب فرایندهای گاوسی با شبکه‌های عصبی

👨‍🏫 درباره نویسنده

کوان نگوین برنامه‌نویس پایتون و علاقه‌مند به Machine Learning هست که تمرکزش روی حل مسائل تصمیم‌گیری در شرایط عدم‌قطعیت قرار داره. او چندین کتاب در زمینه برنامه‌نویسی پایتون و محاسبات علمی نوشته و در حال حاضر دانشجوی دکتری علوم کامپیوتر در Washington University in St. Louis هست؛ جایی که روی روش‌های بیزی در یادگیری ماشین تحقیق میکنه.

Bayesian optimization helps pinpoint the best configuration for your machine learning models with speed and accuracy. Put its advanced techniques into practice with this hands-on guide.

In Bayesian Optimization in Action you will learn how to:

• Train Gaussian processes on both sparse and large data sets
• Combine Gaussian processes with deep neural networks to make them flexible and expressive
• Find the most successful strategies for hyperparameter tuning
• Navigate a search space and identify high-performing regions
• Apply Bayesian optimization to cost-constrained, multi-objective, and preference optimization
• Implement Bayesian optimization with PyTorch, GPyTorch, and BoTorch

Bayesian Optimization in Action shows you how to optimize hyperparameter tuning, A/B testing, and other aspects of the machine learning process by applying cutting-edge Bayesian techniques. Using clear language, illustrations, and concrete examples, this book proves that Bayesian optimization doesn’t have to be difficult! You’ll get in-depth insights into how Bayesian optimization works and learn how to implement it with cutting-edge Python libraries. The book’s easy-to-reuse code samples let you hit the ground running by plugging them straight into your own projects.

Forewords by Luis Serrano and David Sweet.

About the technology

In machine learning, optimization is about achieving the best predictions—shortest delivery routes, perfect price points, most accurate recommendations—in the fewest number of steps. Bayesian optimization uses the mathematics of probability to fine-tune ML functions, algorithms, and hyperparameters efficiently when traditional methods are too slow or expensive.

About the book

Bayesian Optimization in Action teaches you how to create efficient machine learning processes using a Bayesian approach. In it, you’ll explore practical techniques for training large datasets, hyperparameter tuning, and navigating complex search spaces. This interesting book includes engaging illustrations and fun examples like perfecting coffee sweetness, predicting weather, and even debunking psychic claims. You’ll learn how to navigate multi-objective scenarios, account for decision costs, and tackle pairwise comparisons.

What’s inside

• Gaussian processes for sparse and large datasets
• Strategies for hyperparameter tuning
• Identify high-performing regions
• Examples in PyTorch, GPyTorch, and BoTorch

About the reader

For machine learning practitioners who are confident in math and statistics.

Table of Contents

1 Introduction to Bayesian optimization

PART 1 MODELING WITH GAUSSIAN PROCESSES

2 Gaussian processes as distributions over functions

3 Customizing a Gaussian process with the mean and covariance functions

PART 2 MAKING DECISIONS WITH BAYESIAN OPTIMIZATION

4 Refining the best result with improvement-based policies

5 Exploring the search space with bandit-style policies

6 Leveraging information theory with entropy-based policies

PART 3 EXTENDING BAYESIAN OPTIMIZATION TO SPECIALIZED SETTINGS

7 Maximizing throughput with batch optimization

8 Satisfying extra constraints with constrained optimization

9 Balancing utility and cost with multifidelity optimization

10 Learning from pairwise comparisons with preference optimization

11 Optimizing multiple objectives at the same time

PART 4 SPECIAL GAUSSIAN PROCESS MODELS

12 Scaling Gaussian processes to large datasets

13 Combining Gaussian processes with neural networks

About the Author

Quan Nguyen is a Python programmer and machine learning enthusiast. He is interested in solving decision-making problems that involve uncertainty. Quan has authored several books on Python programming and scientific computing. He is currently pursuing a Ph.D. degree in computer science at Washington University in St. Louis where he does research on Bayesian methods in machine learning.