Fundamentals of Data Engineering

🚀 مهندسی داده در دهه گذشته رشد بسیار سریعی داشته و باعث شده بسیاری از مهندسان نرم‌افزار، دانشمندان داده و تحلیل‌گران به دنبال یک دید جامع و یکپارچه از این حوزه باشند. با این کتاب کاربردی، یاد میگیری چطور سیستم‌هایی طراحی و پیاده‌سازی کنی که نیازهای سازمان و مشتریان رو برآورده کنه؛ اون هم با ارزیابی بهترین تکنولوژی‌های موجود در چارچوب Data Engineering Lifecycle.

📚 توضیحات کتاب

📚 نویسندگان جو ریس و مت هاسلی تو رو قدم‌به‌قدم با چرخه عمر مهندسی داده آشنا میکنن و نشون میدن چطور میشه مجموعه‌ای از تکنولوژی‌های ابری رو کنار هم قرار داد تا نیازهای مصرف‌کننده‌های داده در لایه‌های downstream برآورده بشه.

📚 تو یاد میگیری مفاهیم کلیدی مثل data generation، ingestion، orchestration، transformation، storage و governance رو چطور در یک سیستم واقعی به‌کار بگیری؛ مفاهیمی که مستقل از تکنولوژی پایه، در هر محیط داده‌ای حیاتی هستن.

🎯 این کتاب بهت کمک میکنه:

✨ یک دید خلاصه و کامل از کل فضای Data Engineering به دست بیاری.

✨ مسائل مهندسی داده رو با یک چارچوب end-to-end و best practice تحلیل کنی.

✨ موقع انتخاب تکنولوژی‌ها، معماری و فرآیندها از hypeهای بازاری فاصله بگیری.

✨ از چرخه عمر مهندسی داده برای طراحی و ساخت معماری‌های robust استفاده کنی.

✨ Data Governance و امنیت رو در کل چرخه عمر داده وارد کنی.

📑 فهرست مطالب

📌 بخش ۱: مبانی و بلوک‌های سازنده

1 مهندسی داده به‌صورت مفهومی

2 چرخه عمر مهندسی داده

3 طراحی معماری داده درست

4 انتخاب تکنولوژی‌ها در طول چرخه عمر مهندسی داده

📌 بخش ۲: چرخه عمر مهندسی داده در عمق

5 تولید داده در سیستم‌های منبع

6 ذخیره‌سازی

7 ورود داده (Ingestion)

8 کوئری‌ها، مدل‌سازی و تبدیل داده

9 سرویس‌دهی داده برای تحلیل، یادگیری ماشین و Reverse ETL

📌 بخش ۳: امنیت، حریم خصوصی و آینده مهندسی داده

10 امنیت و حریم خصوصی

11 آینده مهندسی داده

📌 پیوست‌ها

A جزئیات فنی سریال‌سازی و فشرده‌سازی

B شبکه‌سازی در فضای Cloud

👨‍💻 درباره نویسندگان

🧑‍🏫 جو ریس یک متخصص داده با رویکرد بیزینسیه که بیش از ۲۰ سال در صنعت داده فعالیت داشته و در حوزه‌هایی مثل مدل‌سازی آماری، پیش‌بینی، یادگیری ماشین، مهندسی داده و معماری داده تجربه داره. او مدیرعامل و هم‌بنیان‌گذار شرکت Ternary Data در سالت‌لیک‌سیتی هست و علاوه بر اون در دانشگاه یوتا هم تدریس میکنه. در زمان آزادش به صخره‌نوردی، تولید موسیقی الکترونیک و ماجراجویی با فرزندانش علاقه داره.

🧑‍🏫 مت هاسلی یک مشاور مهندسی داده و متخصص Cloud هست. مسیرش از برنامه‌نویسی‌های اولیه مثل Logo و Basic شروع شد و بعد دکترای ریاضی خودش رو از دانشگاه یوتا گرفت. او بعدها وارد دنیای Data Science شد و نهایتاً روی مهندسی داده مبتنی بر Cloud تمرکز کرد. او هم‌بنیان‌گذار Ternary Data هست و تجربه آموزشی خودش رو برای تربیت مهندسان داده آینده به کار میگیره. او و جو ریس همچنین در پادکست The Monday Morning Data Chat درباره موضوعات مختلف داده صحبت میکنن.

Data engineering has grown rapidly in the past decade, leaving many software engineers, data scientists, and analysts looking for a comprehensive view of this practice. With this practical book, you’ll learn how to plan and build systems to serve the needs of your organization and customers by evaluating the best technologies available through the framework of the data engineering lifecycle.

Authors Joe Reis and Matt Housley walk you through the data engineering lifecycle and show you how to stitch together a variety of cloud technologies to serve the needs of downstream data consumers. You’ll understand how to apply the concepts of data generation, ingestion, orchestration, transformation, storage, and governance that are critical in any data environment regardless of the underlying technology.

This book will help you:

• Get a concise overview of the entire data engineering landscape
• Assess data engineering problems using an end-to-end framework of best practices
• Cut through marketing hype when choosing data technologies, architecture, and processes
• Use the data engineering lifecycle to design and build a robust architecture
• Incorporate data governance and security across the data engineering lifecycle

Table of Contents

Part I. Foundation and Building Blocks

Chapter 1. Data Engineering Described

Chapter 2. The Data Engineering Lifecycle

Chapter 3. Designing Good Data Architecture

Chapter 4. Choosing Technologies Across the Data Engineering Lifecycle

Part II. The Data Engineering Lifecycle in Depth

Chapter 5. Data Generation in Source Systems

Chapter 6. Storage

Chapter 7. Ingestion

Chapter 8. Queries, Modeling, and Transformation

Chapter 9. Serving Data for Analytics, Machine Learning, and Reverse ETL

Part III. Security, Privacy, and the Future of Data Engineering

Chapter 10. Security and Privacy

Chapter 11. The Future of Data Engineering

Appendix A. Serialization and Compression Technical Details

Appendix B. Cloud Networking

About the Author

Joe Reis is a business-minded data nerd who’s worked in the data industry for 20 years, with responsibilities ranging from statistical modeling, forecasting, machine learning, data engineering, data architecture, and almost everything else in between. Joe is the CEO and cofounder of Ternary Data, a data engineering and architecture consulting firm based in Salt Lake City, Utah. In addition, he volunteers with several technology groups and teaches at the University of Utah. In his spare time, Joe likes to rock climb, produce electronic music, and take his kids on crazy adventures.

Matt Housley is a data engineering consultant and cloud specialist. After some early programming experience with Logo, Basic, and 6502 assembly, he completed a PhD in mathematics at the University of Utah. Matt then began working in data science, eventually specializing in cloud-based data engineering. He cofounded Ternary Data with Joe Reis, where he leverages his teaching experience to train future data engineers and advise teams on robust data architecture. Matt and Joe also pontificate on all things data on The Monday Morning Data Chat.