چکیده:
هدف: سامانههای پیشنهاددهنده مقالههای علمی در تلاشاند بهجای الزام کاربر به اصلاح راهبرد جستجو و فرمولبندی واژگان پرسش، الگوریتمها و رویکردهای مناسب را برای عرضه مرتبطترین مدارک بهکار گیرند. علاوه بر ربط، رتبهبندی مدارک بازیابیشده نیز میتواند رضایت کاربران را تضمین کند. این مقاله نتیجه تحلیل رتبه مقالهها را در سامانههای پیشنهاددهنده پایگاه وبآوساینس و موتور جستجوی گوگلاسکالر از دیدگاه کاربران و سنجه (NDCG) Normalized Discounted Cumulative Gain گزارش میکند. روششناسی: از 120 دانشجوی داوطلب دکترای دانشگاه شیراز در رشتههای علوم انسانی، علوم پایه، فنی-مهندسی، کشاورزی، و دامپزشکی (از هریک ۳۰ نفر) خواسته شد 2400 مقاله (1200 مقاله پیشنهادی گوگلاسکالر و 1200 مقاله پایگاه وبآوساینس) را بهلحاظ ربط، رتبهبندی کنند. دادهها با پرسشنامه و نرمافزار پژوهشگرساخته گردآوری شد. یافتهها: میان رتبه انتسابی کاربران و رتبه انتسابی پایگاه شباهت ضعیف بود. شباهت رتبهبندی مقالات در سامانههای هر دو پایگاه نیز ضعیف، اما معنادار بود.الگوریتمها و شاخصهای سامانههای پیشنهاددهنده هر دو پایگاه برای رتبهبندی چندان موفق نیست و نیاز به بازنگری دارد. نتیجهگیری: الگوریتمها و شاخصهایی که سامانه پیشنهاددهنده دو پایگاه برای رتبهبندی مقالههای مرتبط پیشنهادی درنظر گرفتهاند، در تأمین رضایت کاربران زیاد موفق نبوده است؛ بنابراین بازنگری در الگوریتمهای رتبهبندی این دو پایگاه ضروری بهنظر میرسد.
Purpose: To compare the rankings of articles by Google Scholar and Web of Science recommender systems against users’ perspectives. Methodology: 120 PhD candidates of Shiraz University in the fields of humanities, sciences, engineering and agriculture, (30 from each field) voluntarily participated in the study. They were asked to introduce three articles had recently read for their thesis. One of the three which was indexed by both databases was chosen and named as the core article. For each core article 10 recommended articles recommended by each recommender system were retrieved (2,400 overall). Using imitating software exclusively designed for this study, participants were asked to rank the articles retrieved by the two recommender systems for their core articles. Normalized Discounted Cumulative Gain (NDCG) measure was employed for analysis. Findings: There was a noticeable but weak relationship between the users’ assigned rankings and the rankings of Google Scholar and Web of Science databases. Correlation between the rankings of both databases with NDCG measure was also weak. Conclusion: The algorithms used for ranking by both recommender systems hardly in matched that of the users. Therefore, ranking algorithms of both databases may need some revision.
خلاصه ماشینی:
و حتی گاه فقط به سه نتیجه نخست توجه کنند 20092006 ,Bar-Ilan, Levene, Mat-Hassan ;2003) Su, 2003; Nowicki, 2003; Beg 2005; Patil, Alpert, Karat, & Wolf, 2005; Bar-Ilan, 1390 (Teevan, Dumaisروشی جدید برای ارزیابی نتایج بازیابی بر اساس شاخص اثر بخشی یعنی دقت از نگاه استفاده کننده است؛ با این تفاوت که با استفاده از آن میتوان رتبه بندی را بر اساس ربط چند درجه ای ارزیابی کرد نه همچون گذشته دو درجه ای مرتبط نامرتبط ربط چند درجه پیشتر برای بررسی اثر بخشی سامانههای بازیابی اطلاعات به کار رفته است NDCG) سنجه2011 ,Keenoy Yaari, & Levene, 2007; Hariri) & Horvitz, 2005; Kekalainen, 2005; Sakai, 2007; Al-Maskari, Sanderson, & Clough, 2007; .
سبب اکتفا به ۱۰ مقاله صفحه نخست آن بود که پژوهش نشان داده است بیش از نیمی از کاربران ۵۸ درصد فقط به صفحه اول نتایج بازیابی شده توجه میک (2000 ,Jansen, Spink, & Saracevic) در پژوهشهایی دیگر نیز تعداد ۱۰ نتیجه اول بازیابی شده از سامانه بازیابی اطلاعات مبنای کار پژوهشگران قرار گرفته است کنند ۱۳۹۲ )ریاحی،نیا ،رحیمی لطیفی و بخشیان (۱۳۹۴ ,Joachims Granka, Pan, Hembrooke, & Gay ،فرهودی و حریری 2005(2014 ,Kinley, Tondronegoro, Partridge, & Edwards اطلاعات کتاب شناختی ۱۰ مقاله در یک فایل اکسل ذخیره و برای هر یک دو فایل اکسل باز کردیم؛ یکی شامل کلیدواژه ها عنوانها و چکیده های ۱۰ مقاله ابتدایی بازیابی شده در گزینه مقاله های مرتبط پیشنهادی موتور جستجوی گوگل اسکالر و دیگری شامل مقاله های مرتبط پیشنهادی پایگاه وب آوساینس بود.