Build a Large Language Model

🚀 ساخت یک مدل زبانی بزرگ (از صفر)

💻 یاد بگیرید که چطور با ساختن یک مدل زبانی بزرگ (LLM) از پایه، اون رو خلق کنید، آموزش بدید و بهینه‌سازی کنید!

📚 در کتاب Build a Large Language Model (from Scratch) سباستین راشکا، نویسنده پرفروش، شما رو قدم به قدم در مسیر ساخت LLM اختصاصی خودتون راهنمایی میکنه. هر مرحله با متنی واضح، دیاگرام‌ها و مثال‌های متعدد توضیح داده شده است. شما از طراحی اولیه و ساخت مدل شروع میکنید، به سراغ پیش‌آموزش (Pretraining) روی یک دیتاست عمومی می‌رید و در نهایت به فاین‌تیونینگ برای کارهای خاص می‌رسید.

کتاب Build a Large Language Model (from Scratch) موارد زیر رو به شما آموزش میده:

🛠️ برنامه‌ریزی و کدنویسی تمام بخش‌های یک LLM

📊 آماده‌سازی یک دیتاست مناسب برای آموزش LLM

⚙️ فاین‌تیونینگ LLMها برای طبقه‌بندی متن و کار با داده‌های خودتون

👥 استفاده از بازخورد انسانی (Human Feedback) برای اطمینان از اینکه LLM شما دستورالعمل‌ها رو دنبال میکنه

📥 بارگذاری وزن‌های پیش‌آموزش‌دیده (Pretrained Weights) در یک LLM

🔍 کتاب Build a Large Language Model (from Scratch) شما رو به داخل جعبه سیاه هوش مصنوعی می‌بره تا با سیستم‌های داخلی که قدرت‌بخش هوش مصنوعی مولد هستند کار کنید. همان‌طور که در هر مرحله کلیدی از ساخت LLM پیش می‌رید، درک عمیقی از نحوه کارکرد LLMها، محدودیت‌های اون‌ها و روش‌های شخصی‌سازی‌شون پیدا میکنید. LLM شما میتونه روی یک لپ‌تاپ معمولی توسعه پیدا کنه و به عنوان دستیار شخصی خودتون استفاده بشه.

🌐 درباره این تکنولوژی

💡 نقل شده که ریچارد فاینمن، فیزیکدان معروف، گفته است: «من چیزی رو که نتونم بسازم، نمیفهمم.» بر اساس همین اصل قدرتمند، سباستین راشکا شما رو قدم به قدم راهنمایی میکنه تا یک LLM به سبک GPT بسازید که بتونید اون رو روی لپ‌تاپ خودتون اجرا کنید. این یک کتاب جذاب است که هر مرحله از فرآیند رو، از برنامه‌ریزی و کدنویسی گرفته تا آموزش و فاین‌تیونینگ، پوشش میده.

📖 درباره کتاب

📘 کتاب Build a Large Language Model (From Scratch) یک سفر عملی و فوق‌العاده رضایت‌بخش به پایه‌های هوش مصنوعی مولد است. بدون اتکا به هیچ‌کدام از کتابخانه‌های آماده LLM، شما یک مدل پایه رو کدنویسی میکنید، اون رو به یک طبقه‌بندی‌کننده متن ارتقا می‌دید و در نهایت چت‌باتی می‌سازید که میتونه دستورالعمل‌های مکالمه‌ای شما رو دنبال کنه. و شما واقعاً اون رو درک خواهید کرد چون خودتون ساختیدش!

📝 آنچه در داخل کتاب است

📐 برنامه‌ریزی و کدنویسی یک LLM قابل مقایسه با GPT-2

📥 بارگذاری وزن‌های پیش‌آموزش‌دیده

⚙️ ساخت یک پای‌پلاین کامل آموزشی

📊 فاین‌تیونینگ LLM شما برای طبقه‌بندی متن

🤖 توسعه LLMهایی که از دستورالعمل‌های انسانی پیروی میکنند

🗂️ فهرست مطالب

1. درک مدل‌های زبانی بزرگ
2. کار با داده‌های متنی
3. کدنویسی مکانیزم‌های اتنشن (Attention Mechanisms)
4. پیاده‌سازی یک مدل GPT از صفر برای تولید متن
5. پیش‌آموزش روی داده‌های بدون برچسب
6. فاین‌تیونینگ برای طبقه‌بندی
7. فاین‌تیونینگ برای پیروی از دستورالعمل‌ها
8. الف. مقدمه‌ای بر پای‌تورچ
9. ب. منابع و مطالعه بیشتر
10. ج. حل تمرین‌ها
11. د. اضافه کردن قابلیت‌های جانبی به حلقه آموزش
12. ه. فاین‌تیونینگ با کارایی پارامتری با LoRA

👥 درباره مخاطب کتاب

🐍 خوانندگان به مهارت‌های متوسط در پایتون و مقداری دانش در زمینه یادگیری ماشین نیاز دارند. LLMای که شما خلق میکنید روی هر لپ‌تاپ مدرنی اجرا میشه و به صورت اختیاری میتونه از GPUها هم استفاده کنه.

👤 درباره نویسنده

👨‍سباستین راشکا بیش از یک دهه است که روی یادگیری ماشین و هوش مصنوعی کار میکنه. سباستین در سال ۲۰۲۲ به لایتنینگ ای‌آی پیوست، جایی که در حال حاضر روی تحقیق در زمینه هوش مصنوعی و LLM، توسعه نرم‌افزارهای متن‌باز و تولید محتوای آموزشی تمرکز دارد. قبل از آن، سباستین در دانشگاه ویسکانسین-مدیسن به عنوان استادیار در دپارتمان آمار فعالیت میکرد و روی تحقیقات یادگیری عمیق و یادگیری ماشین متمرکز بود. او اشتیاق شدیدی به آموزش دارد و بیشتر به خاطر کتاب‌های پرفروش خود در زمینه یادگیری ماشین با استفاده از نرم‌افزارهای متن‌باز شناخته می‌شود.

Learn how to create, train, and tweak large language models (LLMs) by building one from the ground up!

In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You’ll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM

• Prepare a dataset suitable for LLM training

• Fine-tune LLMs for text classification and with your own data

• Use human feedback to ensure your LLM follows instructions

• Load pretrained weights into an LLM

Build a Large Language Model (from Scratch) takes you inside the AI black box to tinker with the internal systems that power generative AI. As you work through each key stage of LLM creation, you’ll develop an in-depth understanding of how LLMs work, their limitations, and their customization methods. Your LLM can be developed on an ordinary laptop, and used as your own personal assistant.

About the technology

Physicist Richard P. Feynman reportedly said, “I don’t understand anything I can’t build.” Based on this same powerful principle, bestselling author Sebastian Raschka guides you step by step as you build a GPT-style LLM that you can run on your laptop. This is an engaging book that covers each stage of the process, from planning and coding to training and fine-tuning.

About the book

Build a Large Language Model (From Scratch) is a practical and eminently-satisfying hands-on journey into the foundations of generative AI. Without relying on any existing LLM libraries, you’ll code a base model, evolve it into a text classifier, and ultimately create a chatbot that can follow your conversational instructions. And you’ll really understand it because you built it yourself!

What’s inside

• Plan and code an LLM comparable to GPT-2

• Load pretrained weights

• Construct a complete training pipeline

• Fine-tune your LLM for text classification

• Develop LLMs that follow human instructions

About the reader

Readers need intermediate Python skills and some knowledge of machine learning. The LLM you create will run on any modern laptop and can optionally utilize GPUs.

About the author

Sebastian Raschka is a Staff Research Engineer at Lightning AI, where he works on LLM research and develops open-source software.

The technical editor on this book was David Caswell.

Table of Contents

1. Understanding large language models

2. Working with text data

3. Coding attention mechanisms

4. Implementing a GPT model from scratch to generate text

5. Pretraining on unlabeled data

6. Fine-tuning for classification

7. Fine-tuning to follow instructions

A. Introduction to PyTorch

B. References and further reading

C. Exercise solutions

D. Adding bells and whistles to the training loop

E. Parameter-efficient fine-tuning with LoRA

About the Author

Sebastian Raschka has been working on machine learning and AI for more than a decade. Sebastian joined Lightning AI in 2022, where he now focuses on AI and LLM research, developing open-source software, and creating educational material. Prior to that, Sebastian worked at the University of Wisconsin-Madison as an assistant professor in the Department of Statistics, focusing on deep learning and machine learning research. He has a strong passion for education and is best known for his bestselling books on machine learning using open-source software.