چکیده:
مقدمه: در این مقاله یک واسط مغز و رایانه برای طبقهبندی تصور حرکت دست راست و چپ با استفاده از روش یادگیری عمیق از روی سیگنالهای مغزی ارائه شده است. واسط مغز و رایانه به منظور دستیابی به یک راه ارتباطی بین مغز و یک دستگاه خارجی برای بیمارانی مانند اسکلروز جانبی آمیوتروفیک طراحی میشود به گونهای که کاربر بدون هیچگونه استفاده از اندامهای بدن و با استفاده از مغز خود دستگاه بیرونی از جمله یک ویلچر را کنترل کند.
روش کار: سیگنال الکتروانسفالوگرافی و طیفسنجی نور مادون قرمز از 29 فرد سالم ثبت شد و پیش پردازش سیگنالها به منظور حذف نویز انجام گرفت. سپس سیگنالها به صورت جداگانه و به صورت ترکیبی به تصاویر دو بعدی زمان فرکانس اسکیلوگرام با استفاده از تبدیل موجک پیوسته تبدیل شدند و تصاویر هر ناحیه از مغز به صورت جداگانه و ترکیبی به شبکه عصبی کانولوشنی از پیش آموزش دیده ResNet 18 برای استخراج ویژگی و طبقهبندی وارد شدند.
یافتهها: نتایج به دست آمده از شبکه عصبی کانولوشنی از پیش آموزش دیده ResNet18 برای تصاویر اسکیلوگرام در نواحی Frontal-Central, Central-Parietal مغز برای سیگنال الکتروانسفالوگرافی 88 درصد، برای تصاویر اسکیلوگرام سیگنال طیفسنجی نور مادون قرمز 85 درصد و برای مجموع تصاویر اسکیلوگرام، دقت 90 درصد به دست آمد.
نتیجهگیری: ترکیب تصاویر اسکیلوگرام سیگنالهای مغزی و روش یادگیری عمیق استفاده شده منجر به بهبود دقت طبقهبندی تصور حرکت دست راست و چپ نسبت به مطالعات گذشته شد.
Introduction: In this paper, a hybrid brain-computer interface for classification of right and left hand motor imagery using deep learning method is presented to increase accuracy and performance. A hybrid brain-computer interface is designed to achieve a way of communicating between the brain and an external device for patients such as amyotrophic lateral sclerosis. So, the user can control the external device such as a Wheelchair without using any organs of the body and only using brain.
Methods: Two electroencephalographic and near-infrared spectroscopy signals were recorded from 29 healthy men and women and pre-processing of the signals was done to eliminate noise. The wavelet transform was used to obtain the scalogram as two-dimensional images for both of the signals, and images were inserted separately from each region of brain and merge region into the pre-trained convolutional neural network to extract feature, classification, and prediction of left and right hand motor imagery.
Results: The results for combination of scalogram images of Frontal-Central and Central-Parietal regions in electroencephalographic signal reached 88%, for Near infrared light spectroscopy reached 85% and for merge of two scalogram images reached 90%.
Conclusion: The combination of scalogram images and the deep learning method used in this study reached significant improvement in the prediction accuracy of right and left hand motor imagery for wheelchair motion control.