چکیده:
هدف این پژوهش، استفاده از ترکیب تکنیک های دسته بندی و خلاصه سازی و بررسی تاثیر افزایش تعداد اسناد می باشد که تأثیر پارامترهای خلاصه سازی TF وISF و چهار تکنیک دسته بندی بیزین، درخت تصمیم، قانون و بردار پشتیبان و سه معیار ارزیابی دقت، صحت و فراخوان بر روی 1000 سند متن اصلی و خلاصه محاسبه و تفاوت ها بررسی شدند. نتیجه ی این پژوهش حاکی از برتری اسناد 1000 تایی، روش خلاصه ساز ISF نسبت به TF، روش های دسته بندی بیزین و بردار پشتیان نسبت به روش قانون و درخت تصمیم، متن اصلی نسبت به متن خلاصه می باشد که بیشترین مقدار %96.67 از معیار صحت در دسته بندی SVM و اسناد 1000 تایی متن اصلی از تکنیک خلاصه ساز ISF حاصل شد.
The purpose of this study is to verify combination of some classification and summarization techniques and to examine evaluation metrics of classification. The proposed framework implemented in seven main stages. First, 1,000 documents collected from yjc.ir website. The selection of documents is based on the appropriate content and a minimum of 100 and a maximum of 350 words. These documents divided into three categories: document title, document summary and original text of the document. Summary text and the original text grouped into 250, 500 and 1000 documents in two stages, with a 100% growth in the number of documents. The pre-processing of text performed and the stop-words deleted from the sentences. Next, the TF-ISF summarizer techniques implemented. A variety of classification algorithms such as Decision trees, Support vector machine, Bayesian and Rule implemented by the RapidMiner software, which provided 120 Excel outputs from the results of the evaluation criteria (accuracy, precision, and recall). Finally, five comparisons between the results considered. The results of this study indicate that the superiority of 1,000 documents, the ISF summarizer method versus TF, Bayesian and SVM classification versus Rule and Decision tree classifications, the original text versus summary text with highest of 96.67% of accuracy in SVM classification, 1000 documents and ISF summarizer technique.
خلاصه ماشینی:
Inverse sentence frequency مجموعه استاد ورودی مرحله پیش پردازش داده حذف کلمات ایست واژه یاهازی :: TF اده ازی :: TSF مرحله استخراج کلمات خروجی غلاسه ساز خروجی TF Tree خروجی 1SF پیاده سازی الگوریتم های دسته بندی Rule خروجی precision خروجی recall خروجی Accuracy مقایسه شکل ۱ چهارچوب گامهای اجرایی در پژوهش جدول ۱ تعداد برچسب ها در اسناد جمع آوری شده تعداد برچسب در ۱۰۰۰ برچسب تعداد برچسب در ۲۵۰ سند تعداد برچسب در ۵۰۰ سند ورزش بین الملل فرهنگی انتخابات اقتصاد سیاسی علمی- پزشکی در این پژوهش به جای سیستم وزن دهی کلاسیک TF-IDF از معیار TF-ISF استفاده شد که معیار محاسبه وزن در واحد جمله است پارامترهای TF و ISF به ترتیب نشان دهنده تعداد تکرار واژه در هر سند و معکوس تعداد جمله های حاوی کلمه در هر سند است و از آنها برای انتخاب جملههای .
نتایج به دست آمده از این پژوهش حاکی از تأثیر مثبت استفاده از تکنیکهای خلاصه سازی در کارایی الگوریتمهای دسته بندی متون فارسی است (حداکثر مقدار ۸۸/۴۴ درصد در معیار صحت الگوریتم دسته بندی بیزین توسط پارامتر TF خلاصه).