چکیده:
عملکرد موفقیتآمیز داوطلب دوره دکتری مهمترین عامل در تصمیمگیری اعضای کمیته پذیرش است که کمک میکند کدام داوطلب را بپذیرند. یکی از مباحثی که همیشه همراه با نمرههای آزمونهای پذیرش وجود داشته، مسئله روایی نمرههای در پیشبینی عملکرد موفقیتآمیز داوطلبان بوده است. هدف از اجرای این پژوهش، بررسی روایی ملاکی-پیشبین نمرههای آزمونهای تخصصی در چهار رشته دکتری مهندسی روی سنجههای مصاحبه بهعنوان ملاک عملکرد موفقیتآمیز بوده است. در این پژوهش که توصیفی از نوع همبستگی است، رتبههای داوطلبان در آزمونهای اختصاصی و مصاحبه در چهار رشته دکتری مهندسی در سال 1397 بر اساس تئوری تعمیمپذیری تحلیل شدند. بسته به رشته دانشگاهی دادههای آزمونشوندگان دربرگیرنده نمره آنها روی 3 تا 8 خردهآزمون اختصاصی و 2 نمره ترکیبی ملاک مصاحبه بود. دادهها با نرمافزار mGENOVA بر اساس یک طرح تکرویهای تحلیل شدند. سپس همبستگی بین دو نمره جهانی ترکیبی با توزیع نرمال دومتغیری در نمودار پراکندگی نشان داده شده است. نتایج نشان میدهد نمرههای آزمونهای تخصصی بهخوبی میتوانند نمرههای افراد را در ملاک مصاحبه بهعنوان شاخص عملکرد موفقیتآمیز یا کیفیت داوطلب پیشبینی کنند (بهجز در رشته فناوری اطلاعات)؛ تعداد زیاد خردهآزمونهای تخصصی، ناپایایی آنها و واریانس نابسته به سازه از عواملی هستند که میتوانند پیشبینیهای درست برای پذیرش یا رد داوطلبان را –بهویژه روی نمره برش- تحت تأثیر قرار دهند. اگرچه پیشبینی دقیق عملکرد موفقیتآمیز داوطلبان دوره دکتری به وسیله نمرههای آزمونها هدف دست نیافتنی است، اما تعریف بهتر آنچه ملاک موفقیت در دوره دکتری است و بااهمیتتر شدن آزمونهای عمومی زبان و استعداد و همزمان تعدیل سطوح دشواری این آزمونها و کاهش خطای اندازهگیری سنجههای پیشبینیکننده در یک برنامه سنجش دومرحلهای که در آن آزمونهای عمومی زبان و استعداد بهعنوان غربال اولیه توسط سازمان سنجش برگزار شود و آزمونهای اختصاصی و مصاحبه توسط دانشگاهها، میتواند راه بهینهای باشد برای افزایش روایی نمرههای آزمونها در پیشبینی عملکرد موفقیتآمیز داوطلبان و پذیرش دانشجویان باکیفیتتر.
The quality of a PhD candidate’s performance is the most important factor that can affect admission committee members’ decision-making and selection of applicants. One of the issues that has always accompanied candidates’ scores in admission exams is the validity of these scores in predicting the candidates’ successful performance . The primary purpose of this research was evaluating the predictive criterion validity of subject tests scores in four engineering PhDprograms on interview measures as the criterion for successful performance . In this descriptive correlational study, candidates’ scores in subject tests and interviews in four engineering PhD programs in 2018 were analyzed based on the Generalizability theory. Depending on their majors, examinees’ data included their scores on 3 to 8 subtests in subject tests and 2 composite interview criteria . Data were analyzed using mGENOVA software based on a multivariate analysis with a single facet design. The relationship between two composite universe scores was illustrated by the bivariate normal distribution in a typical scatter diagram. The results show that subject tests scores can predict candidates’ scores on the interview criterion as an index for successful performance except in the field of Information Technology. The large number of subtests in subject tests,their instability, and the construct irrelevant variance were among the factors that may influence the accuracy of predictions, especially on the cut scores, for accepting or rejecting candidates. Accurately predicting the success of an applicant’s performance based on test scores is an unattainable goal. However, precisely defining the criteria for success in PhD programs, increasing the significance of general English and aptitude tests, adjusting the difficulty level of tests, reducing measurement error in predictive measures , having a two-step assessment program in which the general language and aptitude tests are administered as a primary screening by NOET and the subject tests and interviews by universities can be effective method to increase the criterion validity of test scores in predicting candidates’ successful performance and enhance the chances of admitting more qualified students.
خلاصه ماشینی:
هدف از اجراي اين پژوهش ، بررسي روايي ملاکي-پيش بين نمره هاي آزمون هاي تخصصي در چهار رشته دکتري مهندسي روي سنجه هاي مصاحبه به عنوان ملاک عملکرد موفقيت آميز بوده است .
نتايج نشان ميدهد نمره هاي آزمون هاي تخصصي به خوبي ميتوانند نمره هاي افراد را در ملاک مصاحبه به عنوان شاخص عملکرد موفقيت آميز يا کيفيت داوطلب پيش بيني کنند (به جز در رشته فناوري اطلاعات )؛ تعداد زياد خرده آزمون هاي تخصصي، ناپايايي آنها و واريانس نابسته به سازه از عواملي هستند که ميتوانند پيش بينيهاي درست براي پذيرش يا رد داوطلبان را –به ويژه روي نمره برش - تحت تأثير قرار دهند.
اگرچه پيش بيني دقيق عملکرد موفقيت آميز داوطلبان دوره دکتري به وسيله نمره هاي آزمون ها هدف دست نيافتني است ، اما تعريف بهتر آنچه ملاک موفقيت در دوره دکتري است و بااهميت تر شدن آزمون هاي عمومي زبان و استعداد و هم زمان تعديل سطوح دشواري اين آزمون ها و کاهش خطاي اندازه گيري سنجه هاي پيش بينيکننده در يک برنامه سنجش دومرحله اي که در آن آزمون هاي عمومي زبان و استعداد به عنوان غربال اوليه توسط سازمان سنجش برگزار شود و آزمون هاي اختصاصي و مصاحبه توسط دانشگاه ها، ميتواند راه بهينه اي باشد براي افزايش روايي نمره هاي آزمون ها در پيش بيني عملکرد موفقيت آميز داوطلبان و پذيرش دانشجويان باکيفيت تر.