دوره

پاکسازی داده‌ها در پایتون

یاد بگیرید که چطور داده‌های کثیف رو عیب‌یابی و اصلاح کنید و مهارت‌های لازم برای تبدیل داده‌های خام به بینش‌های دقیق رو توسعه بدید!

پیشرفته
تاریخ به‌روزرسانی:
14 شهریور 1405
پایتون
۴ ساعت
۱۳ ویدیو
۳۱ تمرین
۵۲۲ شرکت‌کننده
۳۵۰
کاربرهای فینکا در چه شرکت‌هایی مشغول به کار هستند؟
توضیحات دوره

معمولا گفته می‌شه که دانشمندان داده 80% از زمانشون رو صرف پاکسازی و تغییر داده می‌کنن و تنها 20% زمانشون رو به تحلیل داده اختصاص می‌دن. این زمانِ پاکسازی حیاتیه، چون تحلیل داده‌های نامنظم و کثیف می‌تونه شما رو به نتیجه‌گیری‌های اشتباهی برسونه.
پاکسازی داده یک وظیفه اساسی در علم داده‌ست. بدون داشتن داده‌های درست و تمیز، نتایج هر تحلیل داده یا مدل یادگیری ماشین می‌تونه کاملا اشتباه از آب دربیاد. در این دوره، یاد می‌گیرید که چطور طیف وسیعی از مشکلات پاکسازی داده در پایتون (از ساده تا پیشرفته) رو شناسایی، عیب‌یابی و برطرف کنید. شما با انواع داده نامناسب دست‌وپنجه نرم می‌کنید، بررسی می‌کنید که داده‌هاتون تو محدوده درستی باشن، داده‌های گمشده رو مدیریت می‌کنید، اتصال رکوردها رو انجام می‌دید و خیلی کارهای دیگه!

همونیه که می‌خواید یاد بگیرید؟

  • 1

    یکنواختی و یکپارچگی داده‌ها رو با استفاده از تبدیل واحدها، اعتبارسنجی بین ویژگی‌ها و عبارت‌های assert ارزیابی کنید.

  • 2

    تفاوت بین روش‌های مدیریت داده‌های گمشده، مثل حذف، جایگذاری آماری و کدگذاری رو بر اساس الگوی گمشدگی داده‌ها تشخیص بدید.

  • 3

    تفاوت بین مشکلات داده‌های متنی، طبقه‌ای، عددی و تاریخی رو تشخیص بدید و توابع مناسب پاک‌سازی در Pandas و NumPy رو برای هرکدوم انتخاب کنید.

  • 4

    معیارهای تطبیق رشته‌ها و فرایندهای اتصال ردیف‌ها رو برای یک‌دست کردن ردیف‌های تکراریِ تقریبی ارزیابی کنید.

  • 5

    مشکلات رایج کیفیت داده، از جمله نوع داده نادرست، مقادیر خارج از محدوده، داده‌های تکراری، طبقه‌بندی‌های ناسازگار و مقادیر گمشده رو تشخیص بدید.

1
مشکلات رایج داده‌ها
شروع رایگان

در این بخش یاد می‌گیرید چطور بعضی از رایج‌ترین مشکلات داده‌های کثیف رو برطرف کنید. نوع داده‌ها رو تبدیل می‌کنید، با اعمال محدودیت بازه‌ای داده‌های مربوط به آینده رو حذف می‌کنید و داده‌های تکراری رو هم کنار می‌ذارید تا از دوباره‌شماری جلوگیری بشه.

2
مشکلات داده‌های متنی و داده طبقه‌ای

داده‌های طبقه‌ای ‌و متنی به‌دلیل ساختارنیافته‌بودن، اغلب جزو نامرتب‌ترین بخش‌های یک دیتاست به حساب میان. در این بخش یاد می‌گیرید چطور ناهماهنگی‌های مربوط به فاصله‌ها و حروف بزرگ و کوچک در برچسب طبقه‌ها رو برطرف کنید، چند طبقه رو در یک طبقه ادغام کنید و رشته‌ها رو برای یکدست‌شدن دوباره قالب‌بندی کنید.

3
مسائل پیشرفته داده

در این بخش وارد مسائل پیشرفته‌تر پاک‌سازی داده می‌شید؛ مثلا بررسی می‌کنید که همه وزن‌ها به‌جای پوند، با واحد کیلوگرم ثبت شده باشن. همچنین مهارت‌های مهمی یاد می‌گیرید که بهتون کمک می‌کنن مطمئن بشید مقادیر به‌درستی اضافه شده‌ان و داده‌های گمشده تاثیر منفی روی تحلیل‌هاتون نمی‌ذارن.

4
پیوند رکورد

پیوند رکوردها تکنیک قدرتمندیه که وقتی مقادیر شامل غلط تایپی یا املای متفاوت باشن، برای ادغام چند دیتاست با هم استفاده می‌شه. در این بخش یاد می‌گیرید چطور با محاسبه شباهت بین رشته‌ها، رکوردها رو به هم پیوند بدید. بعد هم از مهارت‌های جدیدتون استفاده می‌کنید تا دو دیتاست بررسی رستوران‌ها رو با هم ترکیب کنید و یک دیتاست اصلی و تمیز بسازید.

گواهی پایان دوره

%0
  • تأیید مهارت شما

    با تکمیل این دوره، شما یک گواهی معتبر دریافت می‌کنید که بیانگر کسب مهارت‌های لازم مرتبط با این دوره آموزشی است.

  • اعتبار و اصالت گواهی

    هر مدرک دارای شناسه یکتا و لینک اعتبارسنجی است که امکان بررسی و تأیید اصالت آن را فراهم می‌کند.

  • اشتراک‌گذاری

    می‌توانید گواهی‌های خود را به‌راحتی در شبکه‌های حرفه‌ای مانند لینکدین با دیگران به اشتراک بگذارید.

اشتراک‌گذاری
منابع
Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

سوالات متداول

پاک‌سازی داده‌ها یک مرحله اساسی برای دانشمندان داده‌ست، چون تضمین می‌کنه داده‌های مورد استفاده در تحلیل، تا حد ممکن قابل‌اعتماد و کارآمد هستند. این کار از طریق مراحل مختلفی انجام می‌شه؛ از جمله حذف داده‌های تکراری و رکوردهای ناقص، و همچنین اصلاح داده‌ها برای برطرف کردن نواقص اون‌ها. داده‌های کثیف به روش‌های مختلفی ایجاد می‌شن: ممکنه ناشی از خطای انسانی، خرابی تجهیزات سنجش، یا آسیب دیدن داده‌ها باشن. بنابراین وقتی به جای داده‌های تمیز از داده‌های کثیف استفاده کنید، نتایج و تصمیم‌گیری‌های شما غیردقیق و غیرقابل‌اعتماد خواهند بود.

یادگیری خودِ فرآیند پاک‌سازی داده‌ها نسبتاً راحته. با این حال، دانشمندان داده ۸۰% زمانشون رو صرف پاک‌سازی و کار با داده‌ها می‌کنند و روش‌های مختلفی هم وجود داره که داده‌ها دچار مشکل بشن. این یعنی فرآیند واقعی پاک‌سازی داده‌ها اغلب پیچیده و زمان‌بره.

بله! پس از اتمام دوره، گواهی‌نامه‌ای دریافت می‌کنید که می‌توانید اون رو با کارفرمایان و سایر افراد در شبکه حرفه‌ای‌تون به اشتراک بگذارید.

این دوره برای کسانی مناسبه که می‌خوان مهارت‌های پاک‌سازی و آماده‌سازی داده‌ها با پایتون رو یاد بگیرن یا تقویت کنن؛ مثل تحلیلگرهای داده، دانشمندهای داده و مهندس‌های داده.

این دوره به شما یاد میده چطور انواع مشکلات پاک‌سازی داده‌ها رو از ساده تا پیشرفته در پایتون شناسایی، ریشه‌یابی و برطرف کنید. شما با انواع داده‌های نادرست سروکار خواهید داشت، درست بودن محدوده داده‌ها رو بررسی می‌کنید، داده‌های گمشده رو مدیریت می‌کنید، تطبیق و پیوند رکوردها رو انجام می‌دید و موارد دیگه رو یاد می‌گیرید.

دریافت اپلیکیشن فینکا

با اپلیکیشن فینکا، به بیشتر دوره‌ها و مسیرها روی موبایل دسترسی دارید، تمرین می‌کنید و یادگیری رو هم‌زمان روی موبایل و دسکتاپ ادامه می‌دید.