Operational AI with Docker

🐳 ورک‌لودهای GenAI در سطح Production رو با کانتینریزه کردن، Serving و Scaling مدل‌های LLM، ایجنت‌ها و پایپ‌لاین‌های Multi-model با استفاده از Docker، MCP و Kubernetes برای پلتفرم‌های Cloud اجرا کنید.

🎯 نکات کلیدی

🚀 Deploy و مدیریت Inference مدل‌های LLM به صورت Local و Edge-friendly با استفاده از Docker Model Runner و یک OpenAI-compatible API

🔄 ارکستریت کردن ورک‌لودهای Multi-model و Multi-agent با Docker Compose و پترن‌های Kubernetes که توسط تیم‌های پلتفرم استفاده میشن

💬 توضیحات کتاب

سیستم‌های هوش مصنوعی مدرن در مرحله Modeling شکست نمی‌خورن، بلکه در مرحله Production به مشکل می‌خورن. انتقال از فاز آزمایش و Scriptها به سیستم‌های قابل اعتماد و Scalable، به چیزی فراتر از Notebookها نیاز داره؛ این کار نیازمند Infrastructure هست. کتاب Operational AI with Docker بهتون نشون میده چطور سیستم‌های هوش مصنوعی بسازین، Deploy کنین و مدیریت کنین که فراتر از یک ماشین واحد کار کنن. یاد می‌گیرین چطور از Docker به عنوان یک Runtime یکپارچه برای ورک‌لوهای Machine Learning استفاده کنین، مدل‌ها رو به عنوان Artifactهای تکرارپذیر پکیج کنین و اون‌ها رو به صورت پایدار در Environmentهای مختلف اجرا کنین.

🛠 با شروع از Machine Learning کانتینریزه شده، به سمت Model Serving، دپلوی هوش مصنوعی و Infrastructureهای مقیاس‌پذیر با Kubernetes حرکت می‌کنین. پترن‌های آماده Production رو برای Resource Management، فرآیند Autoscaling، مبحث Observability و Performance Tuning پیاده‌سازی می‌کنین تا مطمئن بشین ورک‌لودهای هوش مصنوعی شما زیر بار شرایط واقعی پایدار می‌مونن.

🧠 این کتاب با معرفی سیستم‌های Agentic AI، از جمله ایجنت‌های خودمختار، معماری‌های Multi-agent و Execution Environmentهای امن، فراتر از MLOps سنتی میره. همچنین پترن‌های Integration مدرن رو با استفاده از Model Context Protocol یا همون MCP بررسی خواهید کرد که سیستم‌های هوش مصنوعی رو قادر می‌سازه به طور ایمن با ابزارها، APIها و منابع داده تعامل داشته باشن.

⚙️ در پایان این کتاب، می‌تونین سیستم‌های هوش مصنوعی پروداکشن رو طراحی و مدیریت کنین که تکرارپذیر، Scalable و آماده Deployment در دنیای واقعی با استفاده از Docker و Kubernetes باشن.

🧠 آنچه یاد خواهید گرفت

🐳 کانتینریزه کردن سرویس‌های GenAI با استفاده از Docker Images، رکورد ریجسترها و دپلوی استک‌های مبتنی بر Compose

📦 پکیج‌کردن و توزیع مدل‌ها به عنوان OCI Artifacts برای Buildهای تکرارپذیر و کنترل فاز Promotion بین محیط‌های مختلف

📊 انتخاب سطوح GGUF Quantization برای ایجاد تعادل بین هزینه، Latency و Accuracy برای ران‌تایم‌های Cloud و Hybrid

🌐 سرو کردن LLMها از طریق Docker Model Runner با یک OpenAI-compatible API مناسب برای پلتفرم‌های داخلی

🔐 یکپارچه‌سازی ابزارها و داده‌ها به صورت امن با استفاده از MCP و Docker MCP Gateway با پترن‌های دسترسی Least-privilege

👥 این کتاب برای چه کسی است

این کتاب برای Cloud Engineers، مهندسان DevOps، متخصصین SRE و Platform Engineers نوشته شده که نیاز دارن ورک‌لودهای GenAI رو با استفاده از Docker و Kubernetes روی محیط‌های Cloud، Hybrid یا Edge دپلوی، مدیریت و Scale کنن. شما باید با Command Line و عملیات پایه سرویس‌ها راحت باشین؛ آشنایی قبلی با Docker یا Kubernetes مفیده اما الزامی نیست.

📑 فهرست مطالب

1. داکر دسکتاپ — بنیاد ران‌تایم برای ورک‌لودهای هوش مصنوعی و یادگیری ماشین
2. درک مدل‌های هوش مصنوعی در داکر
3. سرویس مدل با داکر مدل رانر
4. آف‌لود داکر برای ورک‌لودهای هوش مصنوعی و یادگیری ماشین
5. اجرای مدل‌های کانتینری یادگیری ماشین روی کوبرنتیز
6. یکپارچه‌سازی هوش مصنوعی مبتنی بر پروتکل با ام‌سی‌پی
7. ساخت ایجنت‌های هوش مصنوعی خودمختار
8. معماری‌های چندمدلی و چندایجنت
9. ارکستریشن پیشرفته ایجنت‌ها

✍️ درباره نویسندگان

👨‍💻 آجیت سینگ راینا یک Developer Advocate در Docker و از Early Adopterهای داکر هست که بیش از 600 بلاگ در زمینه کانتینریزه کردن، فناوری‌های Cloud-native و DevOps نوشته. اون یک اکوسیستم بزرگ از جامعه داکر رو رهبری میکنه و ابتکاراتی مثل Kubetools رو سازماندهی میکنه و راهنمایی‌های کاربردی رو در سراسر عملیات Docker، Kubernetes، IoT و AI/ML به اشتراک می‌ذاره.

🧪 هارش مانوار یک Senior Software Engineer با بیش از یک دهه تجربه در مهندسی نرم‌افزار و DevOps هست. اون که یک Docker Captain، گوگل Developer Expert، سفیر CNCF و Google Champion Innovator هست، روی ساخت سیستم‌های Cloud-native مقیاس‌پذیر و قابل اعتماد تمرکز داره و از کانتربیوترهای برتر حوزه Kubernetes در Stack Overflow هست.

Run production-grade GenAI workloads by containerizing, serving, and scaling LLMs, agents, and multi-model pipelines with Docker, MCP, and Kubernetes for cloud platforms

Key Features

• Deploy and operate local and edge-friendly LLM inference using Docker Model Runner and an OpenAI-compatible API
• Orchestrate multi-model and multi-agent workloads with Docker Compose and Kubernetes patterns used by platform teams

Book Description

Modern AI systems don’t fail at modeling; they fail in production. Moving from experiments to reliable, scalable systems requires more than notebooks and scripts. It requires infrastructure.

Operational AI with Docker shows you how to build, deploy, and operate AI systems that work beyond a single machine. You’ll learn how to use Docker as a consistent runtime for machine learning workflows, package models as reproducible artifacts, and run them reliably across environments.

Starting with containerized machine learning, you’ll progress to model serving, AI deployment, and scalable infrastructure using Kubernetes. You’ll implement production-ready patterns for resource management, autoscaling, observability, and performance tuning, ensuring your AI workloads remain stable under real-world conditions.

The book goes beyond traditional MLOps by introducing agentic AI systems, including autonomous agents, multi-agent architectures, and secure execution environments. You’ll also explore modern integration patterns using the Model Context Protocol (MCP), enabling AI systems to interact safely with tools, APIs, and data sources.

By the end of this book, you’ll be able to design and operate production AI systems that are reproducible, scalable, and ready for real-world deployment using Docker and Kubernetes.

What you will learn

• Containerize GenAI services using Docker images, registries, and Compose-based deployment stacks
• Package and distribute models as OCI artifacts for repeatable builds and controlled promotions across environments
• Choose GGUF quantization levels to balance cost, latency, and accuracy for cloud and hybrid runtimes
• Serve LLMs via Docker Model Runner with an OpenAI-compatible API suitable for internal platforms
• Integrate tools and data securely using MCP and Docker MCP Gateway with least-privilege access patterns

Who this book is for

Cloud engineers, DevOps engineers, SREs, and platform engineers who need to deploy, operate, and scale GenAI workloads using Docker and Kubernetes on cloud, hybrid, or edge environments. You should be comfortable with the command line and basic service operations; prior Docker or Kubernetes exposure is helpful but not required.

Table of Contents

1. Docker Desktop — The Runtime Foundation for AI/ML Workflows
2. Understanding AI Models in Docker
3. Model Service with Docker Model Runner
4. Docker Offload for AI and ML Workflows
5. Running ML Container Models on Kubernetes
6. Protocol-Based AI Integration with MCP
7. Building Autonomous AI Agents
8. Multi-Model and Multi-Agent Architectures
9. Advanced Agent Orchestration

About the Author

Ajeet Singh Raina is a Developer Advocate at Docker and an early Docker adopter who has authored 600+ blogs on containerization, cloud-native technologies, and DevOps. He leads a large Docker community ecosystem and organizes initiatives such as Kubetools, sharing practical guidance across Docker, Kubernetes, IoT, and AI/ML operations.

Harsh Manvar is a Senior Software Engineer with over a decade of experience in softwareengineering and DevOps. A Docker Captain, Google Developer Expert, CNCF Ambassador, and Google Champion Innovator, he focuses on building scalable, reliable cloud-native systems and is a top contributor in the Kubernetes space on Stack Overflow.