Transformers for Natural Language Processing and Computer Vision

📖 راهنمای جامع LLMها (از معماری‌ها تا RAG و مدل‌های چندمود)

🔹 این کتاب نسخه سوم Transformers for Natural Language Processing and Computer Vision هست و همه‌ی ماجرا رو از صفر تا پیشرفته درباره مدل‌های زبانی بزرگ (LLM) توضیح می‌ده — از معماری اصلی ترنسفورمر تا فاین‌تیونینگ، Retrieval Augmented Generation (RAG)، مدل‌های چندمودی (Multimodal Generative AI)، و موضوعات ریسک‌ و پیاده‌سازی روی پلتفرم‌های مختلف (ChatGPT Plus با GPT‑4، Hugging Face، Vertex AI).

🎯 ویژگی‌های کلیدی

• 📊 مقایسه و بررسی بیش از ۲۰ مدل (مثل GPT‑4، BERT، Llama 2) و چندین پلتفرم/کتابخانه برای انتخاب بهترین گزینه پروژه.
• 🔍 پیاده‌سازی RAG با متن‌ها و Embeddings شخصی‌سازی‌شده.
• 🛡 کاهش ریسک‌های LLM مثل Hallucination با استفاده از مدل‌های Moderation و Knowledge Baseها.

📝 توضیحات کلی کتاب

این کتاب از معماری ترنسفورمر‌های کلاسیک شروع می‌کنه و تا تازه‌ترین Foundation Models و مدل‌های مولد پیش میره. یاد می‌گیری چطور مدل‌ها رو Pretrain کنی، Fine-Tune انجام بدی، و سناریوهای واقعی مثل خلاصه‌سازی یا ساخت سیستم پرسش‌وپاسخ رو با جستجوی مبتنی بر Embedding اجرا کنی.

⚠️ بخش ریسک‌ها رو هم پوشش می‌ده: از Hallucination و Memorization تا چالش‌های حریم خصوصی، و روش‌های مقابله با اون‌ها مثل Rule Baseها و مدل‌های Moderation.

📷 بعد وارد Vision Transformers و مدل‌های چندمودی میشه و حتی می‌ره سراغ پروژه‌های Image/Video-to-Text، ترکیب چند مدل، و مفاهیم AI Agent Replication.

🔍 چیزهایی که یاد می‌گیری

• 📐 معماری Transformer اصلی، BERT، GPT، T5، PaLM، ViT، CLIP، DALL‑E رو کامل باز می‌کنه.
• 🛠 فاین‌تیون BERT، GPT، PaLM 2.
• 📝 کار با Tokenizerها و بهترین روش‌های Preprocessing داده‌های متنی.
• ⚙️ Pretrain یک RoBERTa از صفر.
• 🔗 پیاده‌سازی RAG و Rule Base برای کاهش Hallucination.
• 👀 ویژوالایز کردن فعالیت مدل با ابزارهایی مثل BertViz، LIME، SHAP.
• 🎨 ورود عمیق به Vision Transformers مثل CLIP، DALL‑E 2، DALL‑E 3، GPT‑4V.

👥 مخاطب کتاب

برای مهندسان NLP و CV، دولوپرها، دیتا ساینتیست‌ها، مهندسان ML و لیدرهای فنی که می‌خوان توی مهارت‌های LLM و AI مولد خودشون پیشرفت کنن یا آخرین ترندها رو دنبال کنن عالیه.

📌 نیاز داری Python رو بلد باشی و یک دید کلی از ML داشته باشی. ولی حتی اگر تازه‌کار باشی، مثال‌های رابط کاربری LLM، Prompt Engineering و مدل‌سازی بدون کدنویسی هم هست.

📂 فهرست فصل‌ها

1. چی هستن ترنسفورمرها؟
2. معماری پایه‌ای Transformer
3. Emergent vs Downstream Tasks
4. پیشرفت در ترجمه‌ها (Google Trax / Translate / Gemini)
5. Fine‑Tuning با BERT
6. Pretrain از صفر با RoBERTa
7. انقلاب Generative AI با ChatGPT
8. فاین‌تیون مدل‌های GPT از OpenAI
9. ابزارهای تفسیرپذیری (Interpretability)
10. نقش Tokenizerها در شکل‌دهی مدل‌ها
11. استفاده از Embedding به جای Fine‑Tuning
12. Semantic Role Labeling بدون Syntax با GPT‑4
13. خلاصه‌سازی با T5 و ChatGPT
14. LLMهای پیشرفته با Vertex AI و PaLM 2
15. مدیریت ریسک LLMها
16. Vision Transformers
17. عبور از مرز Image‑Text با Stable Diffusion
18. آموزش Vision Model بدون کدنویسی (AutoTrain)
19. مسیر به سمت AGI با HuggingGPT و مشابه‌ها
20. پرامپت‌نویسی مولد (Generative Ideation)

👤 درباره نویسنده

دنیس رُثمان (Denis Rothman) فارغ‌التحصیل دانشگاه سوربن و Paris‑Diderot، طراح یکی از اولین سیستم‌های Word2Matrix و چت‌بات‌های مکالمه‌ای ثبت اختراع شده. سابقه‌ی ساخت AI Resource Optimizer برای IBM، حل‌گر APS جهانی و پروژه‌های NLP تجاری رو داره.

The definitive guide to LLMs, from architectures, pretraining, and fine-tuning to Retrieval Augmented Generation (RAG), multimodal Generative AI, risks, and implementations with ChatGPT Plus with GPT-4, Hugging Face, and Vertex AI

Key Features

• Compare and contrast 20+ models (including GPT-4, BERT, and Llama 2) and multiple platforms and libraries to find the right solution for your project
• Apply RAG with LLMs using customized texts and embeddings
• Mitigate LLM risks, such as hallucinations, using moderation models and knowledge bases

Book Description

Transformers for Natural Language Processing and Computer Vision, Third Edition, explores Large Language Model (Llama ) architectures, applications, and various platforms (Hugging Face, OpenAI, and Google Vertex AI) used for Natural Language Processing (NLP) and Computer Vision (CV).

The book guides you through different transformer architectures to the latest Foundation Models and Generative AI. You’ll pretrain and fine-tune LLMs and work through different use cases, from summarization to implementing question-answering systems with embedding-based search techniques. You will also learn the risks of LLMs, from hallucinations and memorization to privacy, and how to mitigate such risks using moderation models with rule and knowledge bases. You’ll implement Retrieval Augmented Generation (RAG) with LLMs to improve the accuracy of your models and gain greater control over LLM outputs.

Dive into generative vision transformers and multimodal model architectures and build applications, such as image and video-to-text classifiers. Go further by combining different models and platforms and learning about AI agent replication.

This book provides you with an understanding of transformer architectures, pretraining, fine-tuning, LLM use cases, and best practices.

What you will learn

• Breakdown and understand the architectures of the Original Transformer, BERT, GPT models, T5, PaLM, ViT, CLIP, and DALL-E
• Fine-tune BERT, GPT, and PaLM 2 models
• Learn about different tokenizers and the best practices for preprocessing language data
• Pretrain a RoBERTa model from scratch
• Implement retrieval augmented generation and rules bases to mitigate hallucinations
• Visualize transformer model activity for deeper insights using BertViz, LIME, and SHAP
• Go in-depth into vision transformers with CLIP, DALL-E 2, DALL-E 3, and GPT-4V

Who this book is for

This book is ideal for NLP and CV engineers, software developers, data scientists, machine learning engineers, and technical leaders looking to advance their LLMs and generative AI skills or explore the latest trends in the field.

Knowledge of Python and machine learning concepts is required to fully understand the use cases and code examples. However, with examples using LLM user interfaces, prompt engineering, and no-code model building, this book is great for anyone curious about the AI revolution.

Table of Contents

Chapter 1: What Are Transformers?

Chapter 2: Getting Started with the Architecture of the Transformer Model

Chapter 3: Emergent vs Downstream Tasks: The Unseen Depths of Transformers

Chapter 4: Advancements in Translations with Google Trax, Google Translate, and Gemini

Chapter 5: Diving into Fine-Tuning through BERT

Chapter 6: Pretraining a Transformer from Scratch through ROBERTa

Chapter 7: The Generative Al Revolution with ChatGPT

Chapter 8: Fine-Tuning OpenAI GPT Models

Chapter 9: Shattering the Black Box with Interpretable Tools

Chapter 10: Investigating the Role of Tokenizers in Shaping Transformer Models

Chapter 11: Leveraging LLM Embeddings as an Alternative to Fine-Tuning

Chapter 12: Toward Syntax-Free Semantic Role Labeling with ChatGPT and GPT-4

Chapter 13: Summarization with T5 and ChatGPT

Chapter 14: Exploring Cutting-Edge LLMs with Vertex Al and PaLM 2

Chapter 15: Guarding the Giants: Mitigating Risks in Large Language Models

Chapter 16: Beyond Text: Vision Transformers in the Dawn of Revolutionary Al

Chapter 17: Transcending the Image-Text Boundary with Stable Diffusion

Chapter 18: Hugging Face AutoTrain: Training Vision Models without Coding

Chapter 19: On the Road to Functional AGI with HuggingGPT and its Peers

Chapter 20: Beyond Human-Designed Prompts with Generative Ideation

(N.B. Please use the Read Sample option to see further chapters)

About the Author

Denis Rothman graduated from Sorbonne University and Paris-Diderot University, designing one of the very first word2matrix patented embedding and patented AI conversational agents. He began his career authoring one of the first AI cognitive Natural Language Processing (NLP) chatbots applied as an automated language teacher for Moet et Chandon and other companies. He authored an AI resource optimizer for IBM and apparel producers. He then authored an Advanced Planning and Scheduling (APS) solution used worldwide.