LLMs in Production

کتاب LLMs in Production به شما یاد می‌دهد که چگونه یک برنامه‌ی عملیاتی MLOps طراحی کنید تا یک اپلیکیشن هوش مصنوعی را از مرحله‌ی طراحی تا استقرار نهایی به‌صورت روان و بدون مشکل هدایت کنید. در این کتاب با تکنیک‌های آماده‌سازی مجموعه داده‌ها، روش‌های کاهش هزینه‌های آموزش مانند LoRA و RLHF، و معیارهای صنعتی برای ارزیابی مدل‌ها آشنا می‌شوید.

همچنین، سه پروژه‌ی کاربردی برای تمرین مهارت‌های جدیدتان ارائه شده است:

• ایجاد و آموزش یک مدل زبانی اختصاصی

• ساخت یک افزونه‌ی کدنویسی هوش مصنوعی برای VSCode

• استقرار یک مدل کوچک روی Raspberry Pi

این کتاب کاربردی با مثال‌های واضح و متنوع، نحوه‌ی عملکرد LLMها، روش‌های تعامل با آن‌ها و چگونگی ادغامشان در برنامه‌های خودتان را توضیح می‌دهد. همچنین، تفاوت‌های LLMها با نرم‌افزارهای سنتی و مدل‌های یادگیری ماشین، بهترین روش‌های استفاده از آن‌ها خارج از محیط آزمایشگاهی و راهکارهایی برای جلوگیری از اشتباهات رایج را ارائه می‌دهد.

• شبیه‌سازی قیمت سهام با روش مونت‌کارلو

• الگوریتم بیشینه‌سازی امیدری (EM) برای مدل‌های مارکوف مخفی

• بهینه‌سازی بیزی برای تنظیم ابرپارامترها

• تشخیص ناهنجاری در داده‌های سری‌زمانی با استفاده از شبکه‌های خودرمزگذار تغییرپذیر (VAE)

• یادگیری نامتوازن، یادگیری فعال و یادگیری مجموعه‌ای (Ensemble Learning)

درباره‌ی نویسندگان

کریستوفر بروسو، مهندس ارشد یادگیری ماشین در JPMorgan Chase با پیش‌زمینه‌ای در زبان‌شناسی و بومی‌سازی است. او در زمینهٔ پردازش زبان طبیعی با رویکردهای زبان‌شناختی، به‌ویژه با تمرکز بین‌المللی تخصص دارد و پروژه‌های موفقی در حوزهٔ یادگیری ماشین و محصولات داده در شرکت‌های نوپا و Fortune 500 هدایت کرده است.

مت شارپ، مهندس، دانشمند داده سابق و رهبر با تجربه در حوزهٔ MLOps است. او پروژه‌های دادهٔ موفقی را برای شرکت‌های نوپا و شرکت‌های فناوری برتر هدایت کرده و در استقرار، مدیریت و مقیاس‌بندی مدل‌های یادگیری ماشین در محیط‌های تولیدی تخصص دارد.

Learn how to put Large Language Model-based applications into production safely and efficiently.

This practical book offers clear, example-rich explanations of how LLMs work, how you can interact with them, and how to integrate LLMs into your own applications. Find out what makes LLMs so different from traditional software and ML, discover best practices for working with them out of the lab, and dodge common pitfalls with experienced advice.

In LLMs in Production you will:

• Grasp the fundamentals of LLMs and the technology behind them

• Evaluate when to use a premade LLM and when to build your own

• Efficiently scale up an ML platform to handle the needs of LLMs

• Train LLM foundation models and finetune an existing LLM

• Deploy LLMs to the cloud and edge devices using complex architectures like PEFT and LoRA

• Build applications leveraging the strengths of LLMs while mitigating their weaknesses

LLMs in Production delivers vital insights into delivering MLOps so you can easily and seamlessly guide one to production usage. Inside, you’ll find practical insights into everything from acquiring an LLM-suitable training dataset, building a platform, and compensating for their immense size. Plus, tips and tricks for prompt engineering, retraining and load testing, handling costs, and ensuring security.

About the technology

Most business software is developed and improved iteratively, and can change significantly even after deployment. By contrast, because LLMs are expensive to create and difficult to modify, they require meticulous upfront planning, exacting data standards, and carefully-executed technical implementation. Integrating LLMs into production products impacts every aspect of your operations plan, including the application lifecycle, data pipeline, compute cost, security, and more. Get it wrong, and you may have a costly failure on your hands.

About the book

LLMs in Production teaches you how to develop an LLMOps plan that can take an AI app smoothly from design to delivery. You’ll learn techniques for preparing an LLM dataset, cost-efficient training hacks like LORA and RLHF, and industry benchmarks for model evaluation. Along the way, you’ll put your new skills to use in three exciting example projects: creating and training a custom LLM, building a VSCode AI coding extension, and deploying a small model to a Raspberry Pi.

What’s inside

• Balancing cost and performance

• Retraining and load testing

• Optimizing models for commodity hardware

• Deploying on a Kubernetes cluster

About the reader

For data scientists and ML engineers who know Python and the basics of cloud deployment.

Table of Contents

1. Words’ awakening: Why large language models have captured attention

2. Large language models: A deep dive into language modeling

3. Large language model operations: Building a platform for LLMs

4. Data engineering for large language models: Setting up for success

5. Training large language models: How to generate the generator

6. Large language model services: A practical guide

7. Prompt engineering: Becoming an LLM whisperer

8. Large language model applications: Building an interactive experience

9. Creating an LLM project: Reimplementing Llama 3

10. Creating a coding copilot project: This would have helped you earlier

11. Deploying an LLM on a Raspberry Pi: How low can you go?

12. Production, an ever-changing landscape: Things are just getting started

About the Authors

Christopher Brousseau is a Staff MLE at JPMorganChase with a linguistics and localization background. He specializes in linguistically-informed NLP, especially with an international focus and has led successful ML and Data product initiatives at both startups and Fortune 500s.

Matt Sharp is an engineer, former data scientist, and seasoned technology leader in MLOps. Has led many successful data initiatives for both startups and top-tier tech companies alike. Matt specializes in deploying, managing, and scaling machine learning models in production, regardless of what that production setting looks like.