درجه آزادی: تعریف، مفهوم و مثال‌ها

درجه آزادی یکی از اون اصطلاحات آماریه که اولش خیلی انتزاعی و گیج‌کننده به نظر می‌رسه. احتمالاً قبلاً این اصطلاح رو در کتاب‌های درسی دیدی.

اگه بخوایم خیلی خلاصه بگیم، درجه آزادی نشون می‌ده وقتی یه سری محدودیت خاص (مثل ثابت بودن میانگین یا مجموع) روی داده‌هات اعمال می‌شه، اون داده‌ها چقدر برای تغییر کردن آزادن. اگه هنوز برات واضح نیست اصلاً نگران نباش؛ در ادامهٔ این مقاله قراره این موضوع رو خیلی دقیق‌تر باز کنیم. می‌گیم که اصلاً چرا چیزی به اسم درجه آزادی وجود داره و چند تا مثال واضح هم می‌زنیم تا بتونی قشنگ بررسیش کنی و مفهومش رو عمیقاً یاد بگیری.

منظور از درجه آزادی چیه؟

درجه آزادی یعنی تعداد مقادیری در یک دیتاست یا محاسبه که بعد از در نظر گرفتن همهٔ محدودیت‌ها، هنوز می‌تونن آزادانه تغییر کنن.

فرض کن ازت می‌خوان سه تا عدد انتخاب کنی که جمعشون دقیقاً بشه ۳۰. تو می‌تونی دو تا عدد اول رو هر چی که دوست داری انتخاب کنی، ولی عدد سوم دیگه دست تو نیست و خودبه‌خود ثابت می‌شه تا جمع کل بشه ۳۰. همین مسئله باعث می‌شه تعداد مقادیری که واقعاً برای تغییر آزادن، کم بشه. پس در واقع درجه آزادی بهمون می‌گه بعد از اعمال محدودیت‌ها، چند بخش مستقل از اطلاعات برامون باقی مونده.

چطور درجه آزادی رو پیدا کنیم؟

به‌طور کلی، برای محاسبهٔ درجه آزادی باید تعداد مشاهدات (یعنی n) رو منهای تعداد محدودیت‌ها یا پارامترهایی کنیم که از روی داده‌ها تخمین زده شدن.

آزمون‌های آماری مختلف، محدودیت‌های متفاوتی دارن و به همین خاطره که فرمول‌هاشون با هم فرق می‌کنه (مثلاً فرمول n-1 در آزمون t تک‌نمونه‌ای). البته در عمل خیلی کم پیش میاد که بخوای درجه آزادی رو دستی حساب کنی؛ چون نرم‌افزارهای آماری خودشون این کار رو انجام می‌دن. با این حال، دونستن اصول کلیش قطعاً بهت کمک می‌کنه تا بتونی نتایج رو خیلی بهتر و درست‌تر تفسیر کنی.

چرا درجه آزادی در آمار مهمه؟

دلیل وجود درجه آزادی اینه که محاسبات آماری وابستگی شدیدی به برآوردهایی مثل میانگین یا واریانس نمونه دارن؛ این برآوردها برای محاسبه شدن، بخشی از اطلاعات موجود در داده‌ها رو «مصرف» می‌کنن. پس اگه این محدودیت‌ها رو در نظر نگیریم، تخمین‌هایی که از مواردی مثل تغییرپذیری، بازه‌های اطمینان یا p-valueها به دست میاریم اصلاً دقیق نخواهند بود.

به‌طور کلی، هرچی درجه آزادی بیشتر باشه، تخمین‌های دقیق‌تری داریم و بازه‌های اطمینانمون هم باریک‌تر می‌شه. این مفهوم در آزمون فرضیه هم خودش رو نشون می‌ده؛ چون مشخص می‌کنه باید از چه توزیعی استفاده کنیم و آزمونمون چقدر اطلاعات در اختیار داره. در نتیجه، درجه آزادی مستقیماً روی اعتبار نتیجه‌گیری‌های آماری ما تأثیر می‌ذاره.

توضیح درجه آزادی با یه مثال ساده

فرض کن سه تا دوست دارن یه صورت‌حساب ۶۰ دلاری رستوران رو بین خودشون تقسیم می‌کنن. قراره میانگین پرداختی هر نفر ۲۰ دلار باشه. پس این مراحل رو طی می‌کنی:

• پرداختی نفر اول رو کاملاً آزادانه ۱۵ دلار در نظر می‌گیری.
• پرداختی نفر دوم رو هم آزادانه ۲۵ دلار انتخاب می‌کنی.
• اما پرداختی نفر سوم مجبوره ۲۰ دلار باشه تا هم میانگین بشه ۲۰ و هم مجموع پرداختی‌ها به ۶۰ دلار برسه.

همون‌طور که می‌بینی، با وجود اینکه ما سه تا مقدار داشتیم، فقط دوتاشون برای تغییر کردن آزاد بودن. در واقع مقدار آخر به خاطر محدودیتی که داشتیم (یعنی ثابت بودن میانگین) بهمون تحمیل شد. به همین خاطره که درجه آزادی در این مثال برابر با 3-1=2 می‌شه.

این مثال به‌خوبی نشون می‌ده که تعداد نقاط داده (یعنی ۳) با درجه آزادی (یعنی ۲) یکی نیست. اصطلاحاً می‌گیم اون محدودیتی که داشتیم، یک درجه آزادی رو «مصرف» کرده.

درجه آزادی در آزمون‌های آماری رایج

در این بخش، چند تا مثال از درجه آزادی در آزمون‌های آماری معروف و نحوهٔ استفاده ازشون رو بررسی می‌کنیم.

درجه آزادی در آزمون t

در یک آزمون t تک‌نمونه‌ای، درجه آزادی برابر با n - 1 هست. در این حالت چون داریم میانگین نمونه رو از روی داده‌ها تخمین می‌زنیم، یک درجه آزادی مصرف می‌شه. هر چی اندازهٔ نمونه بزرگ‌تر بشه، درجه‌های آزادی هم بیشتر می‌شن و در نتیجه آزمون‌های t نتایج دقیق‌تر و قابل‌اعتمادتری بهمون می‌دن.

درجه آزادی در آزمون کای‌-دو (Chi-square)

در آزمون برازش کای‌-دو، درجه‌ آزادی برابر می‌شه با تعداد دسته‌ها منهای یک. دلیلش هم اینه که ما اینجا یه محدودیت داریم؛ اینکه مجموع فراوانی‌های مشاهده‌شده حتماً باید با مجموع فراوانی‌های موردانتظار برابر باشه.

درجه آزادی در آنووا (ANOVA)

در آزمون آنووا یک‌طرفه (یا همون تحلیل واریانس یک‌طرفه)، درجه‌های آزادی به دو بخش تقسیم می‌شن: یکی بین‌گروهی که برابر با k − 1 می‌شه (که در اون k تعداد گروه‌هاست) و یکی هم درون‌گروهی که برابر با N − k هست (که N کل اندازهٔ نمونه رو نشون می‌ده). این تقسیم‌بندی در واقع نشون‌دهندهٔ محدودیت‌هاییه که از میانگین گروه‌ها و همین‌طور میانگین کل داده‌ها به وجود میان.

باورهای غلط رایج درباره درجه آزادی

در این بخش می‌خوایم چند تا از اشتباهات رایج دربارهٔ درجه آزادی رو بررسی کنیم. اول از همه یادت باشه که درجه آزادی همون اندازهٔ نمونه نیست؛ چون به خاطر اعمال محدودیت‌ها، معمولا مقدارش از اندازهٔ نمونه کمتر می‌شه.

از طرفی، درجه آزادی با تعداد متغیرها یا پارامترها هم یکی نیست. در واقع درجه آزادی فقط داره تعداد بخش‌های مستقلی از اطلاعات رو می‌شماره که بعد از اعمال محدودیت‌ها برامون باقی موندن.

به‌علاوه، این‌طور نیست که درجه آزادی بالاتر همیشه بهتر باشه و یه جور موازنه این وسط وجود داره؛ یعنی بالا رفتنش به قیمت از دست رفتن یه مزیت دیگه تموم می‌شه. چون در بعضی شرایط، درجه آزادی خیلی بالا می‌تونه نشونهٔ بیش‌برازش (Overfitting) یا در نظر گرفتن فرض‌های غیرواقعی باشه.

مقایسه درجه آزادی و اندازه نمونه

اندازهٔ نمونه (n) همون تعداد کل مشاهدات ماست. با اینکه درجه آزادی دقیقاً با اندازهٔ نمونه برابر نیست، اما به‌شدت ازش تأثیر می‌گیره. دلیلش هم اینه که درجه آزادی معمولاً برابر می‌شه با n منهای تعداد محدودیت‌ها (یا همون پارامترهایی که تخمین زدیم). به همین خاطره که درجه آزادی تقریباً همیشه از n کوچیک‌تره. در واقع برآورد پارامترها، باعث ایجاد یه سری محدودیت روی داده‌های ما می‌شه و همین موضوع این رابطه رو بینشون ایجاد می‌کنه.

چطور درجه آزادی رو تفسیر کنیم؟

یه قانون سرانگشتی خیلی خوب اینه که کمتر درگیر محاسبات دقیقش بشی و بیشتر حواست به این باشه که اون محدودیت، واقعاً داره چه چیزی رو نشون می‌ده.

درجه آزادی پایین یعنی اطلاعات مستقلِ کمتری در دسترسه؛ و همین مسئله باعث می‌شه بازه‌های اطمینانمون وسیع‌تر بشن و توان آماری آزمون بیاد پایین. درسته که باید به خروجی نرم‌افزارت اعتماد کنی، ولی همیشه یه بررسی منطقی هم داشته باش. مثلاً از خودت بپرس با توجه به اندازهٔ نمونه و نوع آزمونی که داری انجام می‌دی، آیا این درجه آزادی گزارش‌شده اصلاً منطقیه یا نه؟

نتیجه‌گیری

درجه آزادی نشون می‌ده بعد از اینکه همهٔ محدودیت‌ها رو در نظر گرفتیم، چقدر اطلاعات واقعاً مستقل در داده‌های ما وجود داره. ایدهٔ اصلیش هم خیلی ساده‌ست: هر بار که پارامتری رو تخمین می‌زنی یا محدودیتی اعمال می‌کنی، یک درجه آزادی رو از دست می‌دی. درک این مفهوم می‌تونه شهود آماریت رو حسابی تقویت کنه و بهت کمک می‌کنه تا نتایج آزمون‌ها رو با اطمینان خیلی بیشتری تفسیر کنی. با کمی تمرین، مفهوم درجه آزادی برات کاملاً جا می‌افته و دیگه اصلا گیج‌کننده نخواهد بود.