دوره

ETL و ELT در پایتون

در این دوره یاد می‌گیرید چطور با استفاده از اصول استخراج، تغییر و بارگذاری، پایپ‌لاین‌های داده موثر، کارآمد و قابل اعتماد بسازید.

پیشرفته
تاریخ به‌روزرسانی:
25 شهریور 1405
پایتون
۴ ساعت
۱۴ ویدیو
۳۹ تمرین
۵۰۵ شرکت‌کننده
۴۴۵
کاربرهای فینکا در چه شرکت‌هایی مشغول به کار هستند؟
توضیحات دوره

پایپ‌لاین‌های داده، پایه و اساس هر پلتفرم داده‌ قدرتمندن. ساخت این پایپ‌لاین‌ها یکی از مهارت‌های ضروری برای مهندسان داده‌ست و برای کسب‌وکارهایی که به سمت آینده‌ای داده‌محور حرکت می‌کنن، ارزش زیادی داره.
در این دوره مقدماتی، مهارت‌های لازم برای ساخت پایپ‌لاین‌های داده موثر، کارآمد و قابل اعتماد رو تقویت می‌کنید.

همونیه که می‌خواید یاد بگیرید؟

  • 1

    یکپارچگی داده و عملکرد پایپ‌لاین رو با استفاده از لاگ‌گیری، نقاط اعتبارسنجی و یونیت‌تست‌های خودکار یا تست‌های سرتاسری ارزیابی کنید.

  • 2

    تفاوت بین معماری‌های ETL و ELT رو از نظر ترتیب مراحل، ابزارهای مورد استفاده و محل مناسب ذخیره‌سازی داده‌ها تشخیص بدید.

  • 3

    گزینه‌های استقرار رو برای زمان‌بندی، بررسی عملکرد و اجرای مجدد پایپ‌لاین‌ها در محیط‌های پروداکشن ارزیابی کنید.

  • 4

    مراحل و اجزای اصلی پایپ‌لاین‌های داده مبتنی بر پایتون، از جمله منابع داده، تبدیل‌ها و مقصدهای داده رو تشخیص بدید.

  • 5

    تکنیک‌های Pandas و SQL رو برای استخراج، تبدیل و بارگذاری دیتاست‌های جدولی و غیرجدولی تشخیص بدید.

1
مقدمه‌ای بر پایپ‌لاین‌های داده

آماده می‌شید تا ببینید داده‌ها چطور با استفاده از پایپ‌لاین‌های داده جمع‌آوری، پردازش و منتقل می‌شن. با ویژگی‌های یک پایپ‌لاین داده خوب آشنا می‌شید و برای طراحی و ساخت پایپ‌لاین خودتون آماده می‌شید.

2
ساخت پایپ‌لاین‌های استخراج، تبدیل و بارگذاری

با استفاده از Pandas، استخراج، تغییر و بارگذاری داده‌ها رو تمرین می‌کنید و اولین پایپ‌لاین‌های داده‌تون رو می‌سازید. یاد می‌گیرید چطور منطق ETL رو قابل استفاده مجدد کنید و ثبت لاگ و مدیریت استثناها رو در پایپ‌لاین‌هاتون به کار ببرید.

3
تکنیک‌های پیشرفته استخراج، تبدیل و بارگذاری

با تکنیک‌های پیشرفته‌تر پایپ‌لاین داده، جریان کاری‌تون رو قدرتمندتر می‌کنید؛ از کار با داده‌های غیرجدولی گرفته تا ذخیره دیتافریم‌ها در دیتابیس‌های SQL. همچنین با ابزارهایی برای انجام تبدیل‌های پیشرفته در Pandas آشنا می‌شید و بهترین روش‌های کار با داده‌های پیچیده رو یاد می‌گیرید.

4
استقرار و نگهداری یک پایپ‌لاین داده

در بخش پایانی، چارچوب‌هایی برای اعتبارسنجی و تست پایپ‌لاین‌های داده قبل از انتقال اون‌ها به پروداکشن می‌سازید. بعد از تست پایپ‌لاین، با روش‌هایی آشنا می‌شید که بهتون کمک می‌کنن پایپ‌لاین داده رو به‌صورت کامل از ابتدا تا انتها اجرا کنید و هم‌زمان عملکرد اون رو هم بررسی کنید.

گواهی پایان دوره

  • تأیید مهارت شما

    با تکمیل این دوره، شما یک گواهی معتبر دریافت می‌کنید که بیانگر کسب مهارت‌های لازم مرتبط با این دوره آموزشی است.

  • اعتبار و اصالت گواهی

    هر مدرک دارای شناسه یکتا و لینک اعتبارسنجی است که امکان بررسی و تأیید اصالت آن را فراهم می‌کند.

  • اشتراک‌گذاری

    می‌توانید گواهی‌های خود را به‌راحتی در شبکه‌های حرفه‌ای مانند لینکدین با دیگران به اشتراک بگذارید.

اشتراک‌گذاری
پیش نیازهای دوره
وارد کردن ساده داده‌ها با Pandas Data Warehousing Concepts
منابع
scores.csv
schools_modified.csv
amazon_sales_cleaned_sql.csv
tax_rate_cleaned.csv
مسیرهای یادگیری مرتبط
مهندس داده در پایتون

سوالات متداول

ETL (استخراج، تغییر، بارگذاری) و ELT (استخراج، بارگذاری، تغییر) هر دو روش‌هایی برای یکپارچه‌سازی داده‌ان که داده‌ها رو از یک محل به محل دیگه منتقل می‌کنن. تفاوت اصلی اون‌ها در زمان تغییر داده‌هاست.
در ETL، داده‌ها قبل از بارگذاری در انبار داده، روی یک سرور پردازشی جداگانه تغییر داده می‌شن. اما در ELT، داده‌ها ابتدا وارد انبار داده می‌شن و بعد مستقیما داخل همون‌جا تغییر داده می‌شن.

در این دوره از Pandas، SQL، فایل‌های Parquet و پایپ‌لاین‌های داده استفاده می‌شه.

این دوره برای افرادی که می‌خوان وارد حوزه مهندسی داده بشن و کسانی که می‌خوان با پایپ‌لاین‌های داده آشنا بشن مناسبه.

دریافت اپلیکیشن فینکا

با اپلیکیشن فینکا، به بیشتر دوره‌ها و مسیرها روی موبایل دسترسی دارید، تمرین می‌کنید و یادگیری رو هم‌زمان روی موبایل و دسکتاپ ادامه می‌دید.