چکیده:
هدف پژوهش، برآورد میزان اتّکاپذیری نمرههای ارزیابی دانشجویان کارشناسی از عملکرد آموزشی استادان در چهارچوب نظریه تعمیمپذیری بود. برای این منظور، اطلاعات ارزیابی عملکرد استادان که در نیمسال اوّل سال تحصیلی 94-1393 در پایگاه سامانه آموزشی دانشگاه علّامه طباطبائی ثبت شده بود به عنوان جامعه آماری، تعریف شد. سپس به صورت تصادفی چند مرحلهای، نمرههای ارزیابی عملکرد آموزشی دوازده استاد به عنوان نمونه آماری انتخاب شد. دادهها با استفاده از یک طرح دو وجهی آشیان شده، تحلیل شد تا ضریب اتّکاپذیری دادهها برآورد شود. یافتهها نشان میدهد که اتّکاپذیری نظر دانشجویان نسبت به عملکرد آموزشی استاد در همه گروههای آموزشی برابر نیست. همچنین میانگین نمرههای ارزیابی، هشت استاد از بین دوازده استاد مورد مطالعه، به این علّت که ضریب اتّکاپذیری آنها کمتر از میزان مورد انتظار است نباید مبنای تصمیمگیری قرار بگیرد. بر اساس نتایج پیشنهاد میشود که پیش از بهکارگیری نظرات دانشجویان در ارتقاء یا تمدید قرارداد استادان مدعو یا پیمانی، ابتدا ضریب اتکاپذیری نظرات دانشجویان برآورد شود و چنانچه ضریب اتکاپذیری، کمتر از میزان قابل قبول بهدست آمد، نظر آنان مبنای تصمیمگیری قرار نگیرد.
خلاصه ماشینی:
"برای افزایش دقت نتایج ارزیابی عملکرد و پیش از برآورد ضریب پایایی، نیاز است که خطاهای منظم موجود در بافت ارزیابی، مورد توجه قرار گیرد تا مشخص شود که دادههای به دست آمده در چه شرایطی پایایی دارد و با تغییر در شرایط و موقعیت Keeley, Furr & Buskist اندازهگیری (مانند افزایش تعداد سؤالها یا تعداد پاسخگویان به پرسشنامه)، پایایی دادهها تا چه اندازه میتواند کاهش یا افزایش یابد؛ به همین دلیل، پژوهشهایی در کشور انجام شده است تا میزان پایایی نظرات دانشجویان را برآورد کنند.
آنان به این نتیجه رسیدند که پراکندگی در نظرات دانشجویان، بزرگترین منبع تغییرپذیری نمره ارزیابی عملکرد استادان محسوب میشود، به طوریکه یک سوم خطای منظم موجود در نمره مشاهده شده، ناشی از پراکندگی Ibrahim VanLeeuwen, Dormody & Seevers Barnes & Barnes Kane, Gillmore & Crooks نظرات دانشجویان هر کلاس است؛ اما سؤالهای پرسشنامه مورد استفاده تأثیر بسیار ناچیزی در کاهش اتکاپذیری نمره دارد.
جدول (3) مؤلفههای واریانس برآورد شده برای استادان دانشکده روانشناسی و علوم تربیتی منابع پراکندگی مؤلفههای واریانس برآورد شده (سهم مؤلفه در واریانس نمره کل به درصد) استاد روانشناسی کودکان استثنائی استاد روانشناسی بالینی استاد تکنولوژی آموزشی استاد مشاوره هدف اندازهگیری 169/0 (13%) 037/0 (4%) 074/0 (7%) 151/0 (15%) وجه دانشجویان آشیان شده درون کلاسها 832/0 (63%) 748/0 (70%) 722/0 (69%) 386/0 (39%) وجه سؤالهای پرسشنامه ارزیابی 011/0 (1%) 029/0 (3%) 015/0 (1%) 106/0 (11%) وجه تعامل کلاسها با سؤالهای پرسشنامه ارزیابی 009/0 (1%) 0 (0%) 003/0 (1%) 007/0 (1%) خطای اندازهگیری تصادفی 295/0 (22%) 251/0 (24%) 236/0 (22%) 327/0 (33%) مؤلفه واریانس وجه دانشجویان هر یک از استادان گروههای آموزشی روانشناسی کودکان استثنائی، روانشناسی بالینی، تکنولوژی آموزشی بیش از سه پنجم واریانس نمره مشاهده شده را به خود اختصاص داده است؛ به بیان دیگر، دانشجویان درون هر کلاس عملکرد استاد خود را بسیار متفاوت از دانشجویان هم کلاسی خود ارزیابی کردهاند؛ اما مؤلفه واریانس وجه دانشجویان استاد گروه آموزشی مشاوره کمتر از دو پنجم است و این وضعیت نشان میدهد که دانشجویان درون هر یک از کلاسهایی که این استاد برایشان تدریس داشته است، دیدگاه تقریبا مشابهی به عملکرد آموزشی استاد خود داشتهاند."