عنوان مقاله English
نویسندگان English
Background: Assessing learners’ performance is a critical component of any educational system. This study investigated the agreement and reliability of using a simplified 4-point scale (A, B, C, and D) compared to the Iranian conventional 20-point grading scale for evaluating dental students' practical orthodontic skills.
Methods and Materials: This cross-sectional study was conducted in Fall 2023 at the School of Dentistry, Tabriz (Iran). Seventy-five practical tasks performed by 15 fourth-year dental students enrolled in the Orthodontics Practical 1 course were evaluated. Student performance on five orthodontic tasks was independently assessed by two faculty members using both a 4-point and a 20-point grading scale. Inter-assessor agreement was assessed using weighted Cohen’s kappa for the 4-point scale and intraclass correlation coefficients (ICC) for the 20-point scale. Agreement between the two grading systems was evaluated using ICC and Bland–Altman analysis. A significance level of 0.05 was considered.
Results: The 4-point scale demonstrated moderate inter-assessor agreement (weighted kappa = 0.50), while the 20-point scale showed moderate agreement (ICC = 0.47). After conversion of the 4-point scores to their corresponding 20-point values, strong agreement was observed between the two grading systems (ICC = 0.944 and 0.969).
Conclusion: A 4-point scale may be a potential alternative to the traditional 20-point scale for assessing dental students' practical skills. This scale offers advantages in terms of simplicity and efficiency while maintaining a level of reliability. The choice between these scales ultimately depends on the specific needs and goals of the educational context
کلیدواژهها English
مقدمه
ارزیابی عملکرد دانشجویان یک جزء حیاتی در هر سیستم آموزشی است و همانطور که از Cowan نقل شده است "ارزیابی، موتور محرکه یادگیری است". روش های ارزیابی می توانند در کشورها و در زمینه های آموزشی مختلف، متفاوت باشند. هر نهاد و هر سیستم آموزشی ممکن است سیستم نمره دهی خود را بر اساس سیاست های آموزشی محلی، هنجارهای فرهنگی رایج و تجربه اعضای هیأت علمی خود اتخاذ کند.(1)
اما هر سیستم نمره دهی باید از سطح قابل قبولی از پایایی و روایی برخوردار باشد تا دقت نتیجه ارزیابی را افزایش دهد.(2) سیستم های ارزیابی قابل اعتماد، ثبات و دقت را در ارزیابی عملکرد دانشجویان ارتقا داده و احتمال سوگیری (bias) و فردیت (subjectivity) در نمره دهی را کاهش می دهند. در غیر این صورت، این امر می تواند منجر به سوگیری در ارزیابی عملکرد دانشجویان شده و بر اعتبار و قابلیت مقایسه نتایج تأثیر بگذارد. (3)
سیستم های نمره دهی در کشورهای مختلف متفاوت است. برخی از درصد و برخی از نمرات عددی یا نمرات حروفی استفاده میکنند. در حال حاضر اکثر سیستم های نمره دهی از جمله سیستم های لیکرت و همچنین اغلب مقیاسهای سنجش نگرش و عملکرد، دارای پنج تا هفت سطح A تا F در ایالات متحده، 1 تا 5 در استرالیا، 1 تا 6 در آلمان، A تا G در انگلستان و ... هستند، اما در کنار آنها سیستم های نمره دهی کاملاً متفاوتی مانند متد 20-0 در فرانسه وجود دارند، که سیستم استاندارد رایج در کشورمان نیز می باشد.(7-4)
علیرغم دههها تحقیق، مساله تعداد بهینه scaleها در سیستم های نمره دهی همچنان محل بحث و پژوهش میباشد. به طور سنتی، سیستم های ارزیابی در کشور ما از سیستم 20 نمرهای برای ارزیابی جنبه های مختلف یادگیری فراگیران استفاده می کنند. در حالی که این سیستمهای جامع، ارزیابی کاملی را ارائه میدهند، در عین حال میتوانند زمانبر و پیچیده بوده و منجر به چالشهایی در دستیابی به پایایی و قابلیت تکرار بین ارزیابان شوند.(8) این شیوه به دلیل دارا بودن سطوح متعدد نمره (21 نمره صحیح و سه جز کسری برای هر نمره) میتواند برای نمره دهنده با مقداری عدم قطعیت همراه باشد که گاهی اوقات غیر ضروری به نظر میرسد. این امر به ویژه در دورههای عملی یا تکالیف عملی که مدرس عملکرد فراگیر را بر اساس ذهنیت و مبتنی بر تجربه ارزیابی می کند، محسوس تر است.(9)
با توجه به این ملاحظات، مدرسین به دنبال روشهای ارزیابی جایگزین هستند که تعادل بین ارزیابی جامع و سهولت استفاده را برقرار کنند. یکی از این رویکردها میتواند اتخاذ یک سیستم ساده 4 رتبهای باشد. مزیت اصلی سیستم 4 رتبهای در قابلیت استفاده آن نهفته است، زیرا تعداد دسته بندی های نمره دهی را به طور قابل توجهی در مقایسه با سیستم های 20 نمرهای سنتی کاهش می دهد. با ارائه تنها چهار گزینه نمره، مدرسان می توانند به سرعت در مورد عملکرد دانشجویان تصمیم گیری کرده و آن را ارزیابی کنند. استفاده از چهار گزینه میتواند یک گزینه قابل کاربرد برای اعضای هیات علمی دندانپزشکی باشد.
با این حال، سوال اصلی که با استفاده از سیستم 4 رتبهای مطرح می شود این است که آیا می تواند قابلیت اعتماد و پایایی سیستم های جامع تر دارای سطوح نمره دهی بیشتر را حفظ کند. در مطالعه حاضر، تکرارپذیری استفاده از سیستم 4 رتبهای در ارزیابی عملکرد دانشجویان سال چهار دندانپزشکی در واحد ارتودنسی 1 عملی (پره کلینیک) بررسی گردید.
هدف از این مطالعه بررسی وجود توافق بین نمرات سیستم 4 رتبه ای و سیستم 20 نمره ای بود.
مواد و روش ها
این مطالعه به تایید کمیته اخلاق دانشگاه علوم پزشکی تبریز (به شماره 709177-D-5) رسیده است و به صورت یک پژوهش مشاهدهای مقطعی در دانشکده دندانپزشکی دانشگاه علوم پزشکی تبریز در پاییز 1402 اجرا شده است. این پروژه تحقیقاتی از پروتکل و استانداردهای اخلاقی برای تحقیقات آموزشی انسانی پیروی کرد. از تمام شرکتکنندگان رضایت برای حضور در این مطالعه، اخذ و محرمانگی آنها و اطلاعات مربوطه در طول مطالعه حفظ گردید. شرکت کنندگان این مطالعه، پانزده دانشجوی سال چهار دندانپزشکی که در واحد ارتودنسی عملی 1 (پره کلینیک) حضور داشتند، بودند. واحد مطالعه (unit of study) در این پژوهش، کار عملی ارائه شده توسط دانشجویان در نظر گرفته شده بود.
برای محاسبه حجم نمونه، از رویکرد متداول برای مطالعات توافق و از ضریب همبستگی درونردهای (Intraclass correlation coefficient: ICC) به عنوان معیار توافق، استفاده شد. در این فرمول، با فرض ICC مورد انتظار 75/0، دقت برآورد 1/0، سطح معنی داری(𝛼) ۰۵/۰ و در صورت استفاده از دو ارزیاب، حجم نمونه مورد نیاز 75 محاسبه شد. علت تعیین دو نفر به عنوان ارزیاب این بود که این واحد درسی توسط دو عضو هیات علمی ارائه می شد.
این مطالعه با یک طراحی بررسی توافق inter-method و inter-assessor اجرا شد و در آن دو عضو هیئت علمی (مدرس A و B) به طور مستقل از یکدیگر، عملکرد عملی دانشجویان را ارزیابی کردند. ارزیابی شامل پنج تکلیف در واحد ارتودنسی پره کلینیک برای هر یک از فراگیران بود که شامل فرم دادن وایر ارتودنسی (wire bending) روی یک برگه کار نمونه (worksheet)، ساخت C-clasp روی کانین کست فک پایین، ساخت Adams-clasp روی مولر اول کست فک بالا، ساخت Ball clasp روی دندانهای قدامی کست فک پایین و تریسینگ سفالومتری لترال روی کاغذ استات بود. اعضای هیات علمی در این ارزیابی، کارهای عملی را با استفاده از هر دو سیستم 4 رتبهای (A-B-C-D) و سیستم سنتی 20 نمرهای، ارزیابی و نمره دهی کردند.
جزئیات هر سیستم ارزیابی عبارت بودند از:
الف) سیستم 4 رتبهای: این سیستم شامل چهار سطح عملکرد:
A: عالی،
B: خوب،
C: قابل قبول (قبول لب مرزی) و
D: غیرقابل قبول (مردود) بود.
ب) سیستم 20 نمرهای: این سیستم شامل سیستم رایج نمره دهی صفر تا بیست بود.
دو مدرس A و B، به طور مستقل از یکدیگر، عملکرد دانشجویان در پنج تکلیف عملی را با استفاده از سیستم 4 رتبهای و مجدداً همان پنج تکلیف را با استفاده از سیستم 20 نمرهای ارزیابی کردند. بدین منظور، تکلیف wire bending و تمرین ساخت کلاسپ آدامز همه دانشجویان کدگذاری و بدون نام دانشجو در اختیار اساتید قرار داده شد و مدرس A، این تکالیف را با استفاده از سیستم 4 رتبهای و مدرس B با استفاده از سیستم 20 نمرهای، ارزیابی و نمرهدهی کردند. دو هفته بعد، مدرس A این بار با استفاده از سیستم رایج ۲۰ نمره ای و مدرس B با استفاده از روش چهار رتبهای تکالیف ساخت ball clasp ، C-clasp و تریسینگ دانشجویان را ارزیابی نمودند. این فرآیند در هفته سوم و چهارم نیز تکرار شد و در این دورها، دو مدرس به شیوه دوم (اگر در دور اول با سیستم 4 رتبهای نمره داده بود، با سیستم 20-0 و بالعکس) کارهای عملی دانشجویان را ارزیابی و نمره دهی کردند.
ترتیب ارائه تکالیف به اساتید به صورت تصادفی انجام شد تا هرگونه اثرات احتمالی ترتیب را به حداقل رساند. بین دو ارزیابی 2 هفته فاصله بود تا مطمئن شویم نمرات داده شده توسط هر روش از یکدیگر مستقل هستند. ارزیابان نسبت به نام دانشجویان، نمره دانشجویی که 2 هفته پیش ارزیابی شده بود و همچنین نمرات مدرس بی اطلاع (blind) بودند. در مجموع 300 نمره دهی انجام شد: (15 دانشجو X 5 کار عملی برای هر دانشجو X 2 مدرس X 2 روش نمره دهی = 300 مشاهده).
توافق بین دو مدرس (inter-assessor agreement) برای بررسی پایایی در هر روش نمره دهی محاسبه شد:
برای تعیین میزان توافق inter-assessor در سیستم 4 رتبهای، آماره weighted Cohen’s kappa و فاصله اطمینانی 95% آن محاسبه گردید.
تکرارپذیری سیستم 20 نمرهای نیز با استفاده از ضریب همبستگی درونردهای (ICC) بر اساس یک مدل two-way consistency for single measures همراه با فاصله اطمینانی 95% محاسبه شد.
برای ارزیابی توافق بین دو روش نمرهدهی، توافق درون ارزیاب (intra-assessor agreement) برای هر روش مورد استفاده قرار گرفت:
برای ارزیابی توافق بین دو روش نمره دهی، از آنجایی که در سیستم نمره دهی 4 رتبهای، از نمرات کیفی رتبه ای (A، B، C، و D) استفاده می کند، این چهار حرف را به نمرات متناظر عددی تبدیل کردیم و به این منظور به رتبه A مقدار 20، به B مقدار 16، به C مقدار 12 و به D نمره 8 را اختصاص دادیم. (در سیستم معمول 20 نمرهای، نمرات زیر 12 در دانشکده دندانپزشکی تبریز، مردود محسوب میشوند.)
به این صورت تمامی حروف رتبه ای به اعداد متناظرشان عددگذاری شدند. سپس اختلاف نمرات هر تکلیف (تفاوت نمره اخذ شده از سیستم 4 رتبهای recode شده با نمره اخذ شده در سیستم 20 نمرهای) محاسبه شد. همچنین، دو نمره معدل تکالیف برای هر دانشجو با استفاده از هر دو شیوه نمره دهی (سیستم 20 نمرهای و اعداد متناظر با نمره اخذ شده با سیستم 4 رتبهای) و تفاوت این دو معدل محاسبه شد.
تمام تحلیل داده ها در MedCalc Statistical Software (MedCalc Software Ltd, Ostend, Belgium) نسخه 22 و Microsoft Excel انجام شد. سطح معنی داری آماری 05/0 مفروض گردید.
یافته ها
مقایسه قابلیت اعتماد هر روش (توافق inter-assessor برای هر روش):
توافق بین مدرس A و B در استفاده از سیستم 4 رتبهای با آماره kappa برآورد گردید. فراوانی مشاهده شده از نمره های داده شده توسط هر یک از مدرسین در جدول 1 ارائه شده است.
نتایج توافق بین دو مدرس در سیستم 4 رتبهای نشان دهنده ضریب weighted kappa ۵/۰ با خطای استاندارد ۰۷/۰ و فاصله اطمینانی 95% در محدوده ۳۶/۰ تا ۶۴/۰ بود و این نشان دهنده سطح متوسطی از توافق بین دو مدرس در به کار گیری سیستم 4 رتبهای برای ارزیابی عملکرد دانشجویان دندانپزشکی است.
ضریب همبستگی درونردهای (ICC) برای ارزیابی توافق بین دو عضو هیئت علمی در استفاده از سیستم 20 نمرهای برابر با 47/0 با فاصله اطمینان 95% در بازه ۳۶/۰ تا ۶۴/۰ به دست آمد که در محدوده توافق نزدیک به متوسط قابل تفسیر است (جدول 2).
مقایسه توافق بین روشها:
معدل هر دانشجو در هر دو سیستم 4 رتبهای (بعد از عددگذاری متناظر) و سیستم 20 نمرهای محاسبه شد (جدول 3). توافق بین نمرات سیستم 4 رتبهای و نمرات سیستم 20 نمرهای برای هر ارزیاب با استفاده از ضریب همبستگی درونردهای اندازه گیری شد و نتایج، نشان دهنده توافقی برابر با ۹۴۴/۰ (با فاصله اطمینانی 95%، 842/0 الی 981/0) برای مدرس A و ۹۶۹/۰ (با فاصله اطمینانی 95%، 909/0 الی 981/0) برای مدرس B (جدول 4)بود، که مطابق با طبقه بندی Koo & Li در محدوده توافق های خوب تا عالی و عالی قرار می گیرند.(10)
|
جدول 1. فراوانی نمرات داده شده در سیستم 4 رتبهای به تفکیک دو مدرس
جدول 2. توافق بین ارزیاب برای دو روش (سیستم 4 رتبهای در مقابل سیستم 20 نمرهای)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
در نمودار Bland-Altman (شکل 1) تفاوت نمره میانگین هر دانشجو در دو سیستم نمرهدهی در برابر میانگین نمره ماخوذه در دو سیستم، به تفکیک دانشجویان و مدرسین ترسیم شده (شکل ۱ ). حداکثر اختلاف بین سیستم 4 رتبهای کمی شده (converted to 20-point)، و نمره اخذ شده از سیستم 20 نمرهای همواره کمتر از 2 نمره و عمدتاً در محدوده 1- تا 1+ نمره اختلاف بوده است.
|
جدول 3. معدل نمره تکالیف هر دانشجو به تفکیک سیستم نمره دهی و به تفکیک مدرسین
* نمرات سیستم ۴ رتبهای بر اساس الگوی زیر کمی (Recoded) شدهاند: A=20، B=16، C=12، D=8
جدول 4. میزان توافق بین دو روش به تفکیک مدرسین
* نمرات سیستم ۴ رتبهای بر اساس الگوی زیر کمی (Recoded) شدهاند: A=20، B=16، C=12، D=8
|
بحث
ضریب کاپای وزنی بین دو عضو هیئت علمی در سیستم نمرهدهی ۴ رتبهای برابر با ۰۵/۰ بود که نشاندهندهی توافق متوسط است.(10) بر این اساس، فرضیه صفر مبنی بر عدم وجود توافق بین دو سیستم نمرهدهی رد شد. این یافته نشان میدهد که هر دو مدرس، برداشت نسبتاً مشابه و متناظری از سطوح سیستم ۴ رتبهای در ارزیابی عملکرد دانشجویان داشتهاند. همچنین، خطای استاندارد ۰۷/۰ بیانگر پراکندگی اندک در برآورد ضریب کاپا است و این موضوع، تکرارپذیری توافق میان دو مدرس را در سیستم ۴ رتبهای تأیید میکند.(11)
|
شکل 1. نمودار Bland-Altman برای توافق بین نمره های سیستم بیست نمره ای و نمره های تبدیل شده (کمی شده) از سیستم 4 رتبهای به تفکیک دو مدرس A و B |
از سوی دیگر، برای سیستم 20 نمرهای، مقدار ICC برابر با 47/0 (CI 95%، 6۴/0-۳6/0) به دست آمد. با مقایسه این دو سیستم، دیده می شود که در سیستم 4 رتبهای، ضریب توافق بین مدرسین (inter-assessor) اندکی بالاتر بوده هر چند این تفاوت نه از نظر آماری و نه از نظر کاربردی معنی دار نمی باشد.
یکی از مزایای اصلی سیستم 4 رتبهای، سادگی و کاربردی بودن آن است. بدین معنی که برای مدرسین، تصمیم گیری و نمره دهی به یک دانشجو از بین چهار رتبه، آسان تر و سریع تر از انتخاب نمره مناسب از بین 21 نمره خواهد بود.(12) علی رغم داشتن سطوح کمتر، سیستم 4 رتبهای سطح خوبی از توافق را بین ناظران نشان داد و می تواند ابزاری قابل اعتماد و تکرارپذیر برای ارزیابی عملکرد دانشجویان، به ویژه در دوره های عملی باشد.
سیستم آموزشی در کشورمان به طور سنتی از سیستم 20 نمرهای استفاده می کند.(13) این سیستم بیش از یک قرن پیش از سیستم نمره دهی کشور فرانسه اقتباس شده است. این سیستم نمره دهی همچنین در بلژیک، لبنان، پرتغال (برای آموزش متوسطه و عالی) و گاهی در برخی از موسسات کشورهای دیگر مانند دانشگاه سنت اندروز در اسکاتلند استفاده می شود.(15، 14)
تقریباً یک قرن پیش، دکتر رنسیس لیکرت(16) سیستم 5 رتبه ای را معرفی و گسترش داد. با این حال، این احتمال وجود دارد که سیستم لیکرت اگر 7 رتبه یا بیشتر داشته باشد می تواند پایایی و اعتبار سنجش ها را افزایش دهد، همچنان که سیستم نمره دهی سنتی و متداول در کشورمان، دارای 21 سطح (از نمره صفر تا 20) می باشد و می تواند ارزیابی دقیق تری از عملکرد فراگیران ارائه داده و امکان بازخورد بهتری را فراهم می کند. در این مطالعه، مقادیر ICC برای سیستم 20 نمرهای نشان دهنده توافق در محدده متوسط بود و با مقادیر متناظر به دست آمده برای سیستم 4 رتبهای قابل مقایسه بود. لازم به ذکر است که برخی از محققان استدلال می کنند که افراد نمیتوانند، در آنِ واحد و به طور همزمان، بیش از هفت گزینه متمایز را در مورد یک موضوع در ذهن تمایز دهند و ضرائب پایایی در فراتر از هفت سطح بهبود نمی یابد. در یک مطالعه عنوان شد که در مورد میزان اطلاعاتی که می توانیم همزمان پردازش کنیم محدودیت هایی وجود دارد.(17) طبق این نظریه، ما فقط می توانیم حدود هفت دسته مختلف را تشخیص دهیم، حدود هفت مورد را در حافظه کوتاه مدت به خاطر بسپاریم و همزمان روی حدود شش چیز تمرکز کنیم. این بدان معنی است که استفاده از بیش از شش یا هفت گزینه ممکن است موثر نباشد، زیرا فراتر از توانایی های شناختی ما بوده و نیاز به تلاش ذهنی بیشتر و تولید داده های دقیق تر دارد.(18)
کاهش سطوح نمره دهی به صورت قبول/مردود در خیلی از مطالعات مطرح شده و از آن دفاع شده است. برای مثال Bloodgood و همکاران(19) ، نشان دادند این میزان سطوح نمره دهی در کاهش اضطراب دانشجویان و نیز بدون تاثیر بر عملکرد نهایی آنها در آزمون USMLE موثر است. در چند مطالعه دیگر همین نتیجه بدست آمده و حتی در یک مرور سیستماتیک این مساله تایید شده است.(23-20) این میزان تغییر در سطوح نمره دهی به نظر نویسندگان این مطالعه باید با احتیاط بیشتری انجام شود و کاهش سطوح نمره دهی ابتدا در سطوح کمتر بررسی و ارزیابی شود. در واقع گذار شتاب زده به نمره دهی دو سطحی که تعداد بسیار زیاد مطالعات منجر به مرور سیستماتیک هم همین را نشان میدهند، باید با ارزیابی های محتاطانه تری نظیر مطالعه حاضر کنترل شود.
Taherdoost و همکاران(24)، نشان دادند که سیستم هفت سطحی به نظر می رسد متضمن بهترین نتیجه باشد. مطالعه تأثیرگذار دیگری توسط Revilla و همکاران با کار بر روی داده های چهار آزمایش نظرسنجی اجتماعی اروپا (European Social Survey experiments) نشان داد که پاسخ دهندگان هنگام پاسخ دادن به نظرسنجی های طولانی که هر آیتم از تعداد سطوح زیادی برخوردار است، دچار افت و کاهش توجه و تمرکز می شوند و پیشنهاد کردند که یک سوال 5 سطحی بهتر از 7 یا 11 سطح است.(25)
در مطالعه دیگری، محققان تأثیر گزینه های پاسخ بر اثربخشی نظرسنجیها را بررسی کردند. شرکت کنندگان از پرسشنامهها برای نظردهی در خصوص اجزای ارائه خدمات در یک فروشگاه یا در یک رستوران استفاده کردند. این پرسشنامهها دارای سوالات متنوعی با تعداد متفاوتی از گزینهها برای انتخاب (از 2 الی 11 گزینه) بودند. نشان داده شد که در حالی که همه انواع سوالات (از لحاظ تعداد گزینهها) انسجام داخلی مناسبی را نشان می دادند، در آنهایی که بیش از 10 گزینه پاسخ داشتند، در طول زمان ثبات پاسخ کمتری مشاهده گردید و نتیجه گیری شد برای ارتقای تکرارپذیری پاسخ، بهتر است تعداد سطوح سنجش زیر 10 مورد نگاه داشته شود.(18)
به طور کلی، در این مطالعه، هر دو سیستم نمره دهی، سطح معقولی از تکرارپذیری و توافق (Internal consistency) در ارزیابی مهارت های ارتودنسی عملی دانشجویان دندانپزشکی نشان دادند. انتخاب بین سیستم 4 رتبهای و یا سیستم 20 نمرهای به زمینه آموزشی (context)، اهداف ارزیابی و امکانات و منابع موجود بستگی دارد. مطالعه ما تفاوتهای اندکی بین سیستم های 20 نمرهای و 4 رتبهای نشان داد و سیستم 4 رتبهای میتواند به خاطر سادگی و سهولت کاربردی اش، به ویژه در سناریوهایی که ارزیابی سریع و کارآمد ضروری است، با اطمینان خاطر مورد ترجیح مدرسین واقع شود. از سوی دیگر، سیستم 20 نمرهای ارزیابی های دقیق تر و با تقسیمات ظریف تری را ارائه می دهد که آن را برای موقعیت هایی که ارزیابی های جامع و تمیز بیشتر مورد نیاز است، مناسب می سازد. قابل توجه است که این نتیجه گیری در نمودار بلاند-آلتمن (شکل 1) نیز مورد تأیید قرار گرفت. در این نمودار مشاهده می شود که نقاط نشان دهنده توافق بین دو سیستم نمره دهی به طور کلی در محدوده یک نمره از یکدیگر اختلاف داشتند (یک نمره در بیست نمره(. این امر به ویژه برای ارزیابیهایی که در آنها فراگیران به جای یک مورد در چندین ماژول مورد ارزیابی قرار میگیرند، مفید خواهد بود (مانند این مطالعه که در آن از 5 ماژول و تکلبف عملی برای ارزیابی دانشجویان استفاده شده بود). وجود چند ماژول در یک ارزیابی، با استفاده از اصل برگشت به میانگین (regression toward the mean) به کاهش نوسانات در نمرات کمک می کند و در نهایت منجر به ارزیابی معتبرتری می شود. به طور کلی، ارزیابیهایی با ماژولهایی دارای طراحی بهینه، قابل اعتمادتر بوده و تصویر دقیقتری از یادگیری فراگیران ارائه می دهند.(26)
یک نقطه قوت کلیدی این مطالعه، استفاده از روشهای آماری قوی برای ارزیابی توافق بین روشهای اندازهگیری بود. محققین این زمینه اغلب مایل اند که نتایج حاصل از دو (یا بیشتر) مدرس یا تکنیک مختلف را با هم مقایسه نمایند. روشهای ساده مانند روشهای مورد استفاده برای تجزیه و تحلیل جداول توافقی 2x2 (برای دادههای کیفی) و یا همبستگی (در مورد دادههای کمی) جهت این منظور روشهای معمول هستند، اما محدودیتهای بارزی نیز دارند.(27) در این مطالعه، با استفاده از آزمونهای توافق kappa و ICC، که درک دقیقتری از میزان توافق بین روشها را ارائه میدهند، از این محدودیتها اجتناب کردیم.
ضمناً برای به دست آوردن تصویر جامعتری از الگو، مقدار و جهت توافق بین دو روش نمرهدهی، در کنار آزمونهای توافق kappa و ICC، از نمودار بلاند-آلتمن استفاده نمودیم. این نمودار به طور ساده و بصری کمک کرد تا سوگیری سیستماتیک (تفاوت میانگین) بین روشها را بررسی و مشاهده کنیم. این نمودار همچنین دامنه (محدوده توافق) را به صورت 95% تفاوتهای حاصل از روش دوم در قیاس با روش اول نشان می دهد.(28) با این حال، ضروری است توجه شود که نمودار بلاند-آلتمن فقط فاصلههای بین روشها را نشان می دهد و تفسیر این که آیا این اختلاف، از نظر کاربردی قابل قبول می باشد یا خیر را بر عهده خواننده می گذارد. در این مطالعه، اختلاف بیش از 1-75/0 نمره (از بیست نمره) به عنوان اختلاف معنی دار کاربردی مفروض شد.
تحقیقات بیشتری برای بررسی قابلیت تعمیم این یافتهها به سایر فیلدهای آموزش دندانپزشکی و مقایسه عملکرد سیستم 20 نمرهای با سایر روشهای ارزیابی ضروری است. از آنجا که مقدار ICC پیش از مطالعه و در مرحله طراحی و محاسبه حجم نمونه قابل پیشبینی نبود، محاسبه حجم نمونه بر اساس بهترین برآورد و شواهد موجود انجام شد. پایینتر بودن ICC مشاهدهشده نسبت به مقدار مورد انتظار ممکن است به دلیل کاهش توان واقعی مطالعه نسبت به توان برنامهریزیشده باشد. بنابراین، ضرورت دارد که عدم مشاهده تفاوت آماری معنیدار بین دو سیستم نمرهدهی با احتیاط تفسیر شود و نیز انجام مطالعات با حجم نمونه بالاتر برای تأیید یافتههای حاضر پیشنهاد میگردد.
نتیجه گیری
هر دو سیستم نمرهدهی، پایایی مناسبی در ارزیابی مهارت های ارتودنسی عملی دانشجویان دندانپزشکی نشان دادند. انتخاب بین سیستم چهار رتبه ای و یا سیستم 20 نمرهای به زمینه آموزشی (context) و اهداف ارزیابی بستگی دارد. سیستم 20 نمرهای، ارزیابی دقیق تری از عملکرد دانشجویان، همراه با تکرارپذیری متوسط تا بالا ارائه می دهد و در عین حال، برای نمره دهی دقیق، نیاز به تمرکز و زمان دارد. سیستم چهار رتبه ای میتواند انتخاب اعضای هیات علمی در مواقعی که اولویت با سادگی و سهولت اجرا است، باشد و سیستم 20 نمرهای در ارزیابی های نیازمند جزئیات و تمیز بیشتر ترجیح داده شود.
تشکر و قدردانی
این تحقیق هیچگونه کمک مالی از ارگانهای دانشگاهی، تجاری یا غیرانتفاعی دریافت نکرده است. نویسندگان از تمامی دانشجویان شرکتکننده صمیمانه تقدیر مینمایند.
تضاد و منافع
هیچ موردی برای اعلام وجود ندارد.
