واژه رگرسیون در فرهنگ لغت به معنی بازگشت است و اغلب جهت رساندن مفهوم "بازگشت به یک مقدار متوسط یا میانگین” به کار می رود. بدین معنی که برخی پدیده ها به مرور زمان از نظر کمی به طرف یک مقدار متوسط میل می کنند .
 بیش از 100 سال پیش در سال 1877 فرانسیس گالتون (Francis Galton) در مقاله ای که در همین زمینه منتشر کرد اظهار داشت که متوسط قد پسران دارای پدران قد بلند ، کمتر از قد پدرانشان می باشد . به نحو مشابه متوسط قد پسران دارای پدران کوتاه قد نیز بیشتر از قد پدرانشان گزارش شده است. به این ترتیب گالتون پدیده بازگشت به طرف میانگین را در داده هایش مورد تأکید قرار داد . برای گالتون رگرسیون مفهومی زیست شناختی داشت اما کارهای او توسط کارل پیرسون (Karl Pearson) برای مفاهیم آماری توسعه داده شده . گرچه گالتون برای تأکید بر پدیده "بازگشت به سمت مقدار متوسط" از تحلیل رگرسیون استفاده کرد، اما به هر حال امروزه واژه تحلیل رگرسیون جهت اشاره به مطالعات مربوط به روابط بین متغیرها به کار برده می شود .  

نمودار پراکندگی :

در حقیقت تحلیل رگرسیونی فن و تکنیکی آماری برای بررسی و مدل سازی ارتباط بین متغیرها است. رگرسیون تقریباً در هر زمینه ای از جمله مهندسی، فیزیک، اقتصاد، مدیریت، علوم زیستی، بیولوژی و علوم اجتماعی برای برآورد و پیشبینی مورد نیاز است . می توان گفت تحلیل رگرسیونی، پرکاربردترین روش در بین تکنیک های آماری است. شمایی کلی و خلاصه شده از یک تحلیل رگرسیونی ساده به صورت زیر می باشد:
در ابتدا تحلیل گر حدس می زند که بین دو متغیر نوعی ارتباط وجود دارد ، در حقیقت حدس می زند که یک رابطه به شکل یک خط بین دو متغیر وجود دارد و سپس به جمع آوری اطلاعات کمی از دو متغیر می پردازد و این داده ها را به صورت نقاطی در یک نمودار دو بعدی رسم می کند.

 
 این نمودار که به آن نمودار پراکندگی [scatter plot] گفته می شود نقش بسیار مهمی را در تحلیل های رگرسیونی و نمایش ارتباط بین متغیرها ایفا می کند.
 

در صورتی که نمودار نشان دهنده این باشد که داده ها تقریباً (نه لزوماً دقیق) در امتداد یک خط مستقیم پراکنده شده اند، حدس تحلیل گر تأیید شده و این ارتباط خطی به صورت زیر نمایش داده می شود:                                

y = a x + b

 که در آن  a عرض از مبدأ و b شیب این خط است.

متغیر ها و خطا : 

بین برخی از نقاط و تصویر آنها بر روی خط رگرسیونی (خط y) کمی تفاوت به چشم می­خورد که از آن به عنوان خطای برآورد یاد می کنیم.
 

این خطا ممکن است از خطا در اندازه گیری ، شرایط محیط ، تفاوت های طبیعی و... ناشی شده باشد. بنابراین معادله اولیه را به صورت زیر اصلاح می کنیم :

y = ax + b + ?

 معادله بالا یک مدل رگرسیون خطی نامیده می شود . معمولاً به x متغیر مستقل (رگرسیونی) و به y متغیر وابسته (پاسخ) گفته می­شود . که ? خطای تصادفی است که برای کامل شدن مدل و نشان دادن این که خطا نیز تا حدی وجود دارد در نظر گرفته می شود.

فرضیات : 

معمولا فرض میشود که خطاها یکدیگر را خنثی میکنند ، به عبارت دیگر مجموع خطا ها برابر صفر است . همچنین فرض میشود خطای موجود در یک مشاهده رابطه ای با خطاهای دیگر ندارد و در نهایت تغییرات بین خطاها ثابت در نظر گرفته میشود . این سه فرض برای ساختن یک مدل ضروری است و روشهای بسیاری برای پی بردن به وجود (یا عدم برقراری ) این فرض ها وجود دارد . یکی از دلایل استفاده های نادرست از رگرسیون معمولا نادیده گرفتن این فرض ها است که موجب استدلال های غلط خواهد شد .

در صورتی که در مدل رگرسیونی فقط یک متغیر مستقل وجود داشته باشد، مدل را مدل رگرسیونی خطی ساده می نامند.

روش های رگرسیونی : 

تا این مرحله مدل رگرسیونی معرفی شده و کافی است پارامترهای مجهول مدل (در اینجا a و b) برآورد شوند. برآورد پارامترها در مدل سازی با استفاده از روش های مختلف انجام میشود از جمله روش کمترین مربع خطا .

 
روش کمترین مربع خطا که یکی از روش های مورد استفاده در تحلیل رگرسیونی است اولین بار توسط لژندر (Legendre) ریاضیدان فرانسوی در سال 1805 و گوس (Gauss) ریاضیدان مشهور آلمانی در سال 1809 معرفی و در مطالعات نجومی به کار برده شد .

 پس تا این قسمت تحلیل گر مدلی مشخص را به عنوان الگویی برای داده ها معرفی کرده است. مرحله بعدی "کنترل مناسب بودن مدل" می باشد که مدل از نظر قابل استفاده بودن و این که تا چه حد می تواند خوب داده ها را بیان کند بررسی می شود و در مورد بکارگیری مدل تصمیم گرفته می شود. در نتیجه مدل یا قابل استفاده تشخیص داده می شود و یا اینکه باید اصلاح شود . بنابراین تحلیل رگرسیونی فرآیندی همراه با تکرار و بازنگری است، یعنی در ابتدا مدلی معرفی می شود، کیفیت مدل مورد بررسی قرار میگیرد ، مدل قبول و یا اینکه مجدداً اصلاح می شود.

رابطه قد و وزن، رابطه عرضه و تقاضا در علم اقتصاد، تعیین رابطه بین سن افراد و فشارخون آنها، رابطه بین میزان مطالعه دانش آموزان و سطح نمرات آنها، رابطه بین نمرات و میزان قبولی در کنکور سراسری مثال هایی ساده در کاربرد رگرسیون  هستند .

¤ نویسنده: سیامک داداشی