Journal of Health and Biomedical Informatics

fa ادغام داده‌های تصویری و جدولی در یک مدل سیامی برای طبقه‌بندی بیماران دیابتی با استفاده از ترموگرافی: یک رویکرد چندوجهی مبتنی بر EfficientNetB3 Integration of Image and Tabular Data in a Siamese Network for Diabetic Patient Classification Using Thermography: A Multimodal EfficientNetB3-Based Approach هوش مصنوعی در حوزه سلامت Artificial Intelligence in Healthcare پژوهشي اصیل Original Article <div style="text-align: justify;">مقدمه: پای دیابتی یکی از مهم‌ترین عوارض مزمن دیابت است که در صورت عدم تشخیص به‌موقع، می‌تواند به زخم‌های مزمن و حتی قطع عضو منجر شود. تشخیص زودهنگام این عارضه، به‌ویژه از طریق روش‌های غیرتهاجمی نظیر ترموگرافی، نقش کلیدی در پیشگیری از عوارض جدی دارد. با این حال، روش‌های سنتی مبتنی بر آستانه یا تحلیل‌های آماری، در شناسایی تغییرات حرارتی ظریف و نامتقارن میان دو پا کارایی کافی ندارند. پژوهش حاضر با هدف طراحی یک سامانه هوشمند برای تشخیص پای دیابتی، مبتنی بر تصاویر ترموگرافی و داده‌های عددی همراه، انجام شده است. روش کار: در این مطالعه، از پایگاه داده Plantar Thermogram Database شامل ۱۶۷ نمونه استفاده شد که به سه مجموعه آموزش (۱۱۶ نمونه)، اعتبارسنجی (۲۵ نمونه) و آزمون (۲۶ نمونه) تقسیم گردید. معماری سیامی چندوجهی مبتنی بر EfficientNetB3 طراحی شد که دو تصویر ترموگرافی پای چپ و راست را به‌طور همزمان پردازش می‌کند. خروجی دو شاخه سیامی، پس از استخراج ویژگی، به‌وسیله عملیات تفاضل قدرمطلق (∣L−R∣) و ضرب‌عنصری (L⊙R) ترکیب شده و سپس با داده‌های عددی نرمال‌سازی‌شده ادغام می‌گردد. پیاده‌سازی مدل در بستر TensorFlow و Keras انجام شد و برای مقابله با عدم‌توازن داده‌ها، از وزن‌دهی کلاس‌ها در تابع زیان استفاده گردید. یافته ها: مدل پیشنهادی در مجموعه آزمون با دقت کلی 96/15%، حساسیت 95% و ویژگی ۱۰۰‌% به عملکرد بالینی مطلوبی دست یافت. همچنین مقادیر دقت (Precision) برابر 100%، ارزش اخباری منفی (NPV) برابر 85/71%، نمره F1 برابر 97/44% و دقت متوازن (Balanced Accuracy) برابر 97/5% به‌دست آمد. نتایج آموزش نشان داد که مدل بدون بروز بیش‌برازش، به سرعت همگرا شده و عملکردی پایدار بر روی داده‌های نادیده ارائه می‌دهد. نتیجه‌گیری: این نتایج نشان می‌دهند که معماری سیامی پیشنهادی، با بهره‌گیری همزمان از داده‌های تصویری و عددی، می‌تواند به‌عنوان یک روش غیرتهاجمی، سریع و دقیق برای غربالگری و پایش بیماران دیابتی مورد استفاده قرار گیرد و زمینه توسعه سامانه‌های بالینی تشخیص زودهنگام پای دیابتی را فراهم آورد.  </div> <div style="text-align: justify;">Introduction: Diabetic foot is a serious chronic complication of diabetes that can lead to ulcers and limb amputation if not diagnosed early. while non-invasive techniques like thermography can prevent severe complications, traditional methods often fail to identify subtle thermal changes.  This study developed an intelligent system for diabetic foot detection using thermographic images and numerical features. Method: The Plantar Thermogram Database, containing 167 samples, was divided into training (116 samples), validation (25 samples), and test (26 samples) sets. A multimodal Siamese architecture based on EfficientNetB3 processed left and right foot thermograms simultaneously.  Outputs were combined using ∣L−R∣ and L⊙R to model thermal asymmetry, then fused with normalized tabular features. Implementation used TensorFlow and Keras, with class weighting to address data imbalance. Results: The model achieved 96.15% accuracy, 95% sensitivity, 100% specificity, 100% precision, 85.71% NPV, 97.44% F1-score, and 97.5% balanced accuracy on the test set.  Learning curves showed rapid convergence with no overfitting and stable performance. Conclusion: The proposed Siamese architecture, utilizing both image and tabular data, offers a non-invasive, rapid, and accurate approach for screening and monitoring diabetic patients, potentially facilitating early diagnostic clinical systems for diabetic foot detection.</div> پای دیابتی, ترموگرافی, معماری سیامی, داده‌های چندوجهی, تشخیص زودهنگام, EfficientNetB3 Diabetic foot, Thermography, Siamese architecture, Multimodal data, Early detection, EfficientNetB3 315 333 http://jhbmi.ir/browse.php?a_code=A-10-505-5&slc_lang=fa&sid=1 Zahra Ahmadi Rad زهرا احمدی راد a.ahmadirad@vru.ac.ir 100319475328460011035 100319475328460011035 No M.Sc. Student, Department of Electrical Engineering, Faculty of Engineering, Vali-e-Asr University of Rafsanjan, Rafsanjan, Iran دانشجوی کارشناسی ارشد، گروه مهندسی برق، دانشکده فنی و مهندسی ، دانشگاه ولی عصر (عج) رفسنجان، رفسنجان، ایران Hossein Ghayoumi Zadeh حسین قیومی زاده h.ghayoumizadeh@vru.ac.ir 100319475328460011036 100319475328460011036 Yes Ph.D. in Biomedical Engineering, Associate Professor, Department of Electrical Engineering, Faculty of Engineering, Vali-e-Asr University of Rafsanjan, Rafsanjan, Iran دکترای مهندسی پزشکی، دانشیار، گروه مهندسی برق، دانشکده فنی و مهندسی ، دانشگاه ولی عصر (عج) رفسنجان، رفسنجان، ایران Ali Fayazi علی فیاضی a.fayazi@vru.ac.ir 100319475328460011037 100319475328460011037 No Ph.D. in Control Engineering, Associate Professor, Department of Electrical Engineering, Faculty of Engineering, Vali-e-Asr University of Rafsanjan, Rafsanjan, Iran دکترای مهندسی کنترل، دانشیار ،گروه مهندسی برق، دانشکده فنی و مهندسی ، دانشگاه ولی عصر (عج) رفسنجان، رفسنجان، ایران Khosro Rezaee خسرو رضایی kh.rezaee@meybod.ac.ir 100319475328460011038 100319475328460011038 No Ph.D. in Biomedical Engineering, Associate Professor, Department of Biomedical Engineering, Meybod University, Meybod, Iran دکترای مهندسی پزشکی، دانشیار، گروه مهندسی پزشکی، دانشگاه میبد، میبد، ایران