Evaluation of 30 Structural Validity and Content Quality Indices of Theoretical Dental Exams

Document Type : original article

Authors

1 MD, PhD Student, School of Medical Education, Shahid Beheshti University of Medical Sciences, Tehran, Iran.

2 DDS, MS , Associate Professor, Dept of Operative Dentistry, School of Dentistry, Shahid Beheshti University of Medical Sciences, Tehran, Iran.

3 DDS, Postgraduate Student, Dept of Oral Medicine, School of Dentistry, Kerman University of Medical Sciences, Kerman, Iran.

4 DDS, MS, Associate Professor, Dept of Oral Medicine, School of Dentistry, Shahid Beheshti University of Medical Sciences, Tehran, Iran.

Abstract

Introduction: Exam is an inseparable part of education and the main tool to evaluate the results of educational process. If based on scientific rules, it can show the level of achievement to educational goals. This study was accomplished to evaluate the quality of theoretical exams in different departments of Dental School, Shahid Beheshti University of Medical Sciences
Materials & Methods: In this cross-sectional study, the quality of all written final exams of the first theoretical courses of 10 departments were evaluated in terms of 30 indices regarding structural validity, content relevance and content coverage, differential index, difficulty index, value of distracters, and taxonomy. Millman's check list, content analysis table and standard formula were used to collect the data. SPSS software version15 was used to analyze the data.        
Results: Out of 544 questions, 67.5% were multiple choice questions, 13% were descriptive and 19.5% were true–false queries. Content relevance and content coverage was considered in 85.4% and 84.5% of questions respectively. Standard structural rules were observed in 96.4% of questions and 72.2% of exams. Difficulty index and value of distracters were estimated to be 67.8%, 22.3%, and 24.5% respectively. 84.6% of questions were of taxonomy I, and the remaining 15.4% were of taxonomy II.
Conclusion: Content relevance, content coverage, consideration of structural rules, and difficulty index were acceptable in theoretical written exams, whereas taxonomy, differential index and value of distracters needed to be reconsidered.

Keywords

Full Text

مقدمه

ارزیابی عبارت است از فرایند نظام‏مند گردآوری، تحلیل و تفسیر داده‏ها به منظور ارزش‏گذاری و قضاوت؛ به طوری که تعیین کند آیا هدف مورد نظر تحقق یافته یا در حال تحقق یافتن است و میزان تحقق یافتن آن به چه میزان است.(1) دراین میان آزمون به عنوان ابزار اصلی ارزیابی، بخش جدایی‏ناپذیر فرآیند آموزش و تدریس بوده و چنانچه بر اساس اصول و موازین علمی و به طور مستمر انجام گیرد، نشانگر میزان دستیابی استاد و دانشجو به اهداف از پیش تعیین شده و یادگیری دانشجویان و در نهایت میزان دستیابی به اهداف آموزشی می‏باشد. این در حالی است که اگر یک آزمون از طراحی مطلوب در زمینه انتخاب تاکسونومی سوالات، رعایت قواعد ساختاری، روایی محتوا و سایر شاخص‏های استاندارد‏سازی آزمون برخوردار نباشد، نه تنها نقش اصلی آزمون از دست می‏رود بلکه این امر بر انگیزه فراگیران اثرات منفی بر جای گذاشته و خطر به هدر رفتن تلاش استادان و سیستم آموزشی را خواهد داشت. لذا بررسی کیفیت سوالات و استاندارد بودن آزمون ضروری است.(2) با وجود این سطح از اهمیت، مطالعات جامعی که سوالات آزمون‏های نظری را از نظرشاخص‏های مختلف کیفی بررسی کرده باشند، اندک می‏باشد. نتایج حاصل از تحقیقات معدود صورت گرفته در این حوزه نشان می‏دهد که در اغلب آزمون‏ها از سوالات مناسب کمتر استفاده شده است و استادان مهارت کافی در ساخت آزمون‏های درسی را نداشته و برای اندازه‏گیری پیشرفت تحصیلی دانشجویان اغلب مفاهیم ساده و سطحی درس را اندازه‏گیری می‏کنند و در اکثر مواقع سوالات مبهم بوده و بسیاری از مدرسان بدون این که آموزش کافی در سنجش و اندازه‏گیری و شیوه ساخت آزمون‏ها کسب کرده باشند تدریس می‏نمایند.(5-3) از آنجایی که برای رفع این مشکل ابتدا باید اولویت‏ها، کاستی‏ها و نقاط ضعف موجود در هر بخش را شناسایی کرد ما برآن شدیم تا با انجام این مطالعه جامع میزان انطباق سوالات آزمون‏های نظری بخش‏های مختلف دانشکده دندانپزشکی شهیدبهشتی را با 30 شاخص مربوط به اصول طراحی سوال و آزمون چون اعتبار ساختاری، ارتباط و پوشش محتوایی
(Content relevance and content coverage)، تاکسونومی، ضریب دشواری، ضریب تمیز، رعایت قواعد ساختاری، نگارش صحیح و صریح ارزیابی نماییم.

مواد و روش‏ها

در این مطالعه توصیفی- مقطعی تمامی سوالات آزمون‏های کتبی دروس 1 نظری پایان ترم بخش‏های ارتودنسی، بیماری‏های دهان، فک و صورت، پریودانتیکس، اطفال، ترمیمی، رادیولوژی دهان، فک و صورت، جراحی دهان، فک و صورت، آسیب شناسی دهان، فک و صورت، پروتز ثابت و متحرک دانشکده دندانپزشکی شهید بهشتی در نیمسال اول سال تحصیلی 91-1390 به صورت سرشماری از نظر 24 شاخص مربوط به رعایت قواعد ساختاری طراحی سوال و قواعد نگارشی آزمون (اعتبار صوری) و 6 معیار مربوط به محتوای آزمون شامل پوشش محتوایی (Content coverage) یا همسویی با طرح درس، ارتباط محتوایی (Content relevance)، تاکسونومی، ضریب دشواری، ضریب تمیز، و ارزش مورد نظر برای هر گزینه انحرافی مورد ارزیابی قرار گرفتند.

با توجه به اینکه بعضی بخش‏ها (ارتودنسی، آسیب شناسی دهان، فک و صورت و پروتز ثابت و متحرک) فقط نمونه سوال آزمون پایان ترم خود را در اختیار محقق گذاشتند و محقق دسترسی به برگه‏های تصحیح شده نداشت، در نتیجه برای این آزمون‏ها، ضریب دشواری و ضریب تمیز و ارزش مورد نظر برای هر گزینه انحرافی محاسبه نشد. ولی در مورد همه بخش‏های شرکت‏کننده در مطالعه (چه دسترسی به نمونه سوالات امتحانی، چه برگه‏های تصحیح شده) ارتباط و پوشش محتوایی، سطح شناختی (تاکسونومی) و میزان رعایت شدن قواعد ساختاری سوالات و قواعد نگارشی آزمون‏ها بررسی شد. بخش اندودانتیکس و دندانپزشکی جامعه نگر نیز در این تحقیق شرکت نکردند.

برای محاسبه ضریب دشواری سؤال کافی است که تعداد کل افرادی را که به آن سؤال جواب درست داده‏اند بر تعداد کل آزمون شوندگان تقسیم کنیم و نتیجه را در 100 ضرب نماییم. هر اندازه ضریب دشواری یک سؤال بزرگ‏تر باشد، آن سؤال آسان‏تر است و هر اندازه کوچک‏تر باشد، سؤال دشوارتر است. به طور کلی ضرایب دشواری بین 30/0 تا 70/0 حداکثر اطلاع را درباره تفاوت بین آزمودنی‏ها به دست می‏دهد.

برای محاسبه ضریب تمیز یک سوال تعداد انتخاب‏های درست گروه پایین از تعداد انتخاب‏های درست گروه بالا کسر می‏گردد و حاصل بر تعداد افراد یک گروه تقسیم می‏شود.

برای محاسبه ارزش مورد نظر برای هر گزینه انحرافی تعداد انتخاب‏های گروه بالا با تعداد انتخاب‏های گروه پایین جمع و بر مجموع تعداد دو گروه تقسیم می‏شود.

برای به دست آوردن تعداد افراد هر گروه (بالا و پایین) برای هر آزمون، لیست نمرات دانشجویان از نمرات بیشتر به کمتر مرتب شد. یک سوم تعداد دانشجویانی که نمرات بالای دامنه را کسب نموده بودند گروه بالا و یک سوم دانشجویانی که نمرات پایین دامنه را کسب کرده بودند گروه پایین را تشکیل دادند (مثلا اگر آزمونی 45 نفر شرکت‏کننده داشت 15 نفر گروه بالا و 15 نفر گروه پایین را تشکیل دادند). چنانچه تعداد دانشجویان بیش از 50 نفر باشد گروه بالا و پایین به صورت 27 درصد کل دانشجویان محاسبه می‏شود.

لیست نمرات هر آزمون از طریق آموزش در اختیار محقق قرار داده شد که از لیست نمرات اصلی کپی گرفته شده اسامی دانشجویان از لیست نمرات جدا شد و فقط نمرات در لیست‏های کپی شده موجود بود. سپس برگه‏های امتحانی افراد گروه بالا و گروه پایین هر آزمون از بین برگه‏های آزمون جدا شد و برای هر سوال به صورت مجزا تعداد انتخاب‏های درست در هر گروه شمرده شد و در فرمول‏های فوق گذاشته شد تا ضریب تمیز یا ضریب دشواری برای هرسوال به دست آید.

سنجش انتخاب‏های درست برای سوالات چند گزینه‏ای یا صحیح و غلط به راحتی صورت می‏گیرد.

در سوالات تشریحی تک قسمتی نیز، مانند سوالات چند گزینه‏ای می‏توان به راحتی انتخاب‏های درست را شمرد. در سوالات تشریحی چند قسمتی برای هر قسمت به صورت جداگانه تعداد انتخاب‏های درست شمرده شد (مثلا اگر در سوال تشریحی ذکر شده 4 مورد را ذکر کنید برای هر مورد جداگانه تعداد انتخاب‏های درست تعیین شد).

تطابق سوالات و آزمون‏ها با قواعد ساختاری  سوالات و قواعد نگارشی آزمون بر اساس چک لیست Millman سنجیده شد.(6)

سطح شناختی (تاکسونومی) سوالات و ارتباط و پوشش محتوایی آزمون‏ها توسط سه نفر از اعضای هیئت علمی هر بخش سنجیده شد. تاکسونومی به دو دسته یک و دو تقسیم شد. عدد 1 برای سوالاتی که محفوظات دانشجو را می‏سنجد و فقط جنبه یادآوری را دارند و عدد 2 برای سوالاتی که دانشجو برای پاسخگویی نیاز به تجزیه و تحلیل دارد.

ارتباط محتوایی، مشخص‏کننده مرتبط بودن سوالات آزمون با اهداف آموزشی مورد نظر آن درس می‏باشد و وقتی 100 درصد می‏باشد که همه سوالات مرتبط با اهداف آموزشی باشند و سوالی نباشد که هدفی را نسنجیده باشد یا غیرمرتبط با اهداف یا محتوای درس مورد نظر باشد. درصد ارتباط محتوایی از تقسیم کردن تعداد سوالات مرتبط با اهداف درس بر تعداد کل سوالات و ضرب حاصل آن در 100 به دست می‏آید.

پوشش محتوایی، مشخص‏کننده پوشش اهداف آموزشی می‏باشد یا به عبارت دیگر برای هر هدف متناسب با اهمیت آن تعداد مناسبی سوال در نظر گرفته شده باشد و هدفی نباشد که برای سنجش آن سوالی در نظر گرفته نشده باشد. درصد پوشش محتوایی از تقسیم کردن تعداد اهداف لحاظ شده در سوالات بر تعداد کل اهداف آموزشی و ضرب حاصل مربوطه در 100 به دست می‏آید.

لازم به ذکر است که سوالات از بخش‏های مختلف دانشکده بدون نام اساتید طرح‏کننده دریافت شد و به کلیه اساتیدی که داوطلبانه و با تایید مدیران گروه برای همکاری در این تحقیق اعلام آمادگی نمودند گواهی شرکت در کارگاه مربوطه اعطا گردید.

داده‏های به دست آمده از مطالعه با استفاده از نرم‏افزار آماری SPSS با ویرایش 15 مورد تجزیه و تحلیل قرار گرفت و جهت توصیف یافته‏ها از جداول فراوانی و درصد فراوانی استفاده شد.

یافته‏ها

از مجموع 12 بخش تخصصی دانشکده دندانپزشکی شهید بهشتی، 10 بخش با در اختیار گذاشتن سوالات پایان ترم نیمسال اول تحصیلی 91-90 در این مطالعه شرکت کردند. در مجموع 544 سوال، شامل 368 سوال (5/67 درصد) چندگزینه‏ای، 70 سوال (13 درصد) تشریحی و 106 سوال (5/19 درصد) از نوع صحیح و غلط از لحاظ 24 شاخص مربوط به قواعد ساختاری سوالات و و قواعد نگارشی آزمون و 6 معیار مربوط به محتوای آزمون مورد بررسی قرار گرفتند. میزان رعایت اصول طراحی سوال در آزمون‏های بخش‏های مختلف دانشکده دندانپزشکی شهید بهشتی در جدول 1 نشان داده شده است. بر اساس این جدول میزان رعایت قوانین ساختاری سوالات از 92 درصد تا 98 درصد در بخش‏های مختلف متغیر بود. همچنین میزان رعایت قواعد نگارشی آزمون‏ها از 50 درصد تا 100 درصد و درصد ضریب دشواری آزمون‏ها از 60 درصد تا 76 درصد متغیر بود. نتایج جدول بالا نشان می‏دهد که ضریب تمیز اکثریت آزمون‏ها ضعیف بوده است چون هیچکدام از آنها ضریب تمیز بالای 30 درصد نداشتند. این درحالی است که ضریب تمیز هر چقدر به 1 نزدیک‏تر باشد بهتر است. ولی ضریب دشواری اکثر آزمون‏ها مناسب بود چون همه آنها بین 25/0 تا 75/0 بودند که از نظر آموزشی مناسب می‏باشد.

در جدول 2 رعایت شدن 24 معیار از قواعد ساختاری سوالات آزمون‏ها به تفکیک نشان داده شده است. طبق این جدول اکثر قواعد در بیش از 90 درصد موارد رعایت شده‏اند و تنها «برجسته کردن کلمات منفی در سوال» در 88 درصد موارد رعایت شده بود.

میزان رعایت شدن شاخص‏های کیفیت آزمون به تفکیک بخش‏های شرکت‏کننده در مطالعه، در جدول 3 آورده شده است. این جدول نشان می‏دهد آزمون‏های دانشکده دندانپزشکی شهید بهشتی دارای ارتباط محتوایی 4/85 درصد و پوشش محتوایی 5/84 درصد بودند. همچنین قواعد ساختاری سوال در 4/96 درصد موارد و قواعد نگارشی آزمون در 2/72 درصد موارد رعایت شده بود. ضریب دشواری سوالات 8/67 درصد ضریب تمیز 3/22 درصد و ارزش مورد نظر برای هر گزینه انحرافی 5/24 درصد برآورد شد. 6/84 درصد سوالات دارای تاکسونومی 1 و 4/15 درصد سوالات، دارای تاکسونومی 2 بودند.

 

 

 

 

 

 

 

جدول 2 : میزان رعایت شدن قواعد ساختاری در سوالات بخش‏های مختلف دانشکده دندانپزشکی شهید بهشتی

تعداد کل موارد

تعداد موارد رعایت شده

درصد موارد رعایت شده

شاخص‏ها

نوع سوالات

70

70

0/100

از کاربرد کلمات چه کسی و چه وقت پرهیز شود

تشریحی

106

106

0/100

طول متن سوالات صحیح و غلط یکسان

صحیح / غلط

368

346

8/94

همسانی طول گزینه‏ها

چند گزینه ای

368

347

1/95

طولانی نبودن گزینه‏ها

368

321

0/88

کلمات منفی مشخص و برجسته

368

355

3/97

عدم کاربرد گزینه‏های متضاد که یکی از آنها صحیح است.

368

366

7/99

عدم طراحی سوالات منفی مضاعف

368

368

0/100

فقط یک جواب صحیح

368

360

4/98

گزینه انحرافی از لحاظ طولانی بودن، ساختار، کلمات به کار رفته

368

364

5/99

عدم استفاده از واژه‏های مشابه درساقه‏ها وگزینه‏ها

368

345

7/93

عدم استفاده از عبارت الف و ب یا ب وج

368

366

7/99

عدم تکرار یک عبارت در همه گزینه‏ها

368

350

1/95

عدم استفاده از عبارت همه موارد یا هیچکدام

544

534

0/99

عدم استفاده ازقیودمطلق مثل فقط،هرگزوهمیشه وکلماتی مانندغالبا،بعضی وقتها

کلیه سوالات

544

520

0/96

رعایت نکات دستوری

544

524

7/96

عدم کاربرد جای خالی در اول یا وسط متن سوال

544

500

0/92

عدم استفاده از علائم اختصاری

544

536

2/99

بدون اشکال انشایی

544

520

0/96

بدون غلط املایی

544

534

0/99

مطلب اصلی بطور کامل در متن اصلی سوال

544

532

5/98

سوال واضح و روشن

544

529

7/97

ارزیابی یک هدف اختصاصی

544

534

0/99

طولانی نبودن نا مرتبط متن سوال

544

508

5/93

استفاده از افعال مثبت

 

 

 

 

 

 

 

 

 

 

 

جدول 3 : شاخص‏های کیفیت آزمون‏ها ی دانشکده دندانپزشکی شهید بهشتی بر اساس معدل

تعداد کل آزمون‏ها

درصد موارد رعایت شده

نام متغیر

10

5/84

پوشش محتوایی

10

4/85

ارتباط محتوایی

10

4/96

رعایت شدن قواعد ساختاری سوالات

10

2/72

رعایت قواعد نگارشی آزمون

7

8/67

ضریب دشواری

6

3/22

ضریب تمیز

6

5/24

ارزش مورد نظر برای هر گزینه انحرافی

10

6/84

تاکسونومی I

10

4/15

تاکسونومی II

 

 

 

 

 

 

 

 

 

 

 

بحث

با توجه به نتایج حاصل از تجزیه و تحلیل داده‏ها، 5/67 درصد سوالات آزمون‏ها چندگزینه‏ای، 13 درصد تشریحی و 5/19 درصد صحیح و غلط بوده است. این یافته‏ها با نتایج تحقیق شکورنیا(3) که به این نتیجه رسید بیشتر اساتید در پایان ترم از سوالات چهار گزینه‏ای استفاده می‏کنند هماهنگ است. بر این اساس می‏توان گفت که بیشتر اساتید دانشگاه از سوالات عینی جهت سنجش پیشرفت تحصیلی دانشجویان استفاده می‏کنند و از آزمون‏های ذهنی یا تشریحی کمتر استفاده می‏شود و این امر شاید به دلیل سهولت تصحیح سوالات عینی باشد.

قواعد ساختاری بین 50 تا 100 درصد در بخش‏های مختلف رعایت شده بود. مواردی که به طور کامل رعایت شده بودند عبارت بودند از پرهیز از کاربرد کلمات چه کسی و چه وقت، یکسان بودن طول متن سوالات صحیح و غلط و داشتن فقط یک جواب صحیح. مواردی که کمتر رعایت شده بودند عبارت بودند از مشخص و برجسته بودن کلمات منفی، عدم استفاده از علائم اختصاری، همسان بودن طول گزینه‏ها، استفاده از افعال مثبت و نداشتن غلط املایی. این نتایج با یافته‏های تحقیق واعظی(7) و امام جمعه و زاهدی فر(8) و توده زعیم(9) همسویی دارد. بر این اساس می‏توان گفت که به طور متوسط میزان رعایت قواعد ساختاری سوالات توسط اساتید بیشتر از 65 درصد می‏باشد که این امر نشان‏دهنده ضعف در رعایت قواعد ساختاری سوالات عینی می‏باشد.

در 100 درصد از سوالات از کاربرد کلمات چه کسی و چه وقت پرهیز شده است. در سوالات صحیح / غلط در 100 درصد موارد طول متن سوالات یکسان بود. در سوالات چند گزینه‏ای اکثریت قواعد ساختاری در بیش از 95 درصد سوالات رعایت شده بود و فقط برجسته کردن و مشخص کردن کلمات منفی در 88 درصد سوالات رعایت شده بود. در مجموع در 95 درصد سوالات کلیه قواعد ساختاری یعنی عدم استفاده از قیود مطلق مثل فقط، هرگز و همیشه و کلماتی مانند غالباً، بعضی وقت‏ها، رعایت نکات دستوری، عدم کاربرد جای خالی در اول یا وسط متن سوال، عدم استفاده از علائم اختصاری، بدون اشکال انشایی، بدون غلط املایی، مطلب اصلی به طور کامل در متن اصلی سوال، سوال واضح و روشن، ارزیابی یک هدف اختصاصی، استفاده از افعال مثبت رعایت شده بود. این نتایج با یافته‏های منصوریان(10) که به این نتیجه رسیدند در اکثر موارد مشکلات مربوط به روایی صوری سوالات چند گزینه‏ای شامل، وجود سوالات منفی، وجود کلمات اضافه و تکراری در گزینه‏ها، ناقص بودن تنه سوال، عدم به کارگیری سطوح مختلف حیطه شناختی و به کارگیری علایم اختصاری بوده است، همخوانی دارد. بر این اساس می‏توان گفت که اکثریت استادان دانشکده دندانپزشکی دانشگاه علوم پزشکی شهید بهشتی آشنایی خوبی با قواعد ساختاری تدوین آزمون دارند.

ارتباط محتوایی آزمون‏های مورد بررسی بین 69 درصد تا 99 درصد درصد و به طور میانگین 4/85 درصد و پوشش محتوایی آزمون‏ها بین 81 تا 100 درصد و به طور میانگین 5/84 درصد متغیر بوده است. این نتایج با یافته‏های تحقیق کاظمی و احسان پور(11) که نشان دادند در ارزیابی 1013 سؤال از مجموع ارزشیابی هجده درس 38/92 درصد سؤالات روایی محتوایی و 45/80 درصد سؤالات روایی صوری داشتند، مطابقت دارد. با توجه به نتایج ذکر شده می‏توان گفت که ارتباط و پوشش محتوایی آزمون اکثریت دروس مناسب بوده است یعنی سوالات آزمون با مطالب محتوای هر فصل همخوانی دارد.

با توجه به جدول 1، ضریب دشواری آزمون‏ها بین 60 تا 76 درصد بوده است. این نتایج با یافته‏های تحقیق امام جمعه و زاهدی فر(8) که به این نتیجه رسیدند حدود 62 درصد از سؤال‏ها آسان، 3/19 درصد متوسط و 7/18 درصد آنها مشکل طراحی شده بودند همخوانی دارد. با توجه به اینکه بهترین ضریب دشواری در دامنه 70-30 درصد می‏باشد می‏توان گفت که ضریب دشواری آزمون‏های برگزار شده در بیشتر دروس توسط اساتید دانشکده دندانپزشکی شهید بهشتی دارای ضریب دشواری مناسب بوده است.

همچنین میزان ضریب تمیز سوالات بین 19 تا 27 درصد به دست آمد. با توجه به این که ضریب تمیز بزرگ‏تر نشان‏دهنده قوه تمیز آن سوال است و هر چقدر درصد این ضریب به عدد 100 نزدیک‏تر باشد مناسب‏تر است. می‏توان گفت که ضریب تمیز آزمون‏های برگزار شده در بیشتر دروس مختلف توسط اساتید خیلی پایین بوده و قدرت تشخیص لازم برای دانشجویان ضعیف و قوی را نداشته است.

جدول 1 نشان می‏دهد که ارزش مورد نظر برای هر گزینه انحرافی بین 20 تا 31 درصد متغیر بوده است. با توجه به اینکه ضریب حدود 25 درصد در سوالات چهار گزینه‏ای برای هر گزینه انحرافی مناسب می‏باشد.(2) بنابراین ارزش مورد نظر برای هر گزینه انحرافی در سوالات دروس مختلف مورد بررسی در این تحقیق مناسب می‏باشد و گزینه‏های انحرافی آزمون‏هایی که ارزش مورد نظر آنها کمتر از 25/0 می‏باشد نیاز به بازبینی دارند.

با توجه به نتایج حاصل از تجزیه و تحلیل داده‏ها، 69 درصد تا 99 درصد سوالات بخش‏های مختلف دانشکده دندانپزشکی از نوع تاکسونومی Iبوده است و میزان تاکسونومی II، بین 1 تا 31 درصد متغیر بوده است. این نتایج با یافته‏های تحقیق شکورنیا(3) که نشان داد90 درصد سوالات چندگزینه‏ای در سطح تاکسونومی I طراحی شده بود، شباهت دارد. با توجه به اینکه سوالاتی که در سطح تاکسونومی I تنظیم و طراحی می‏شوند، بیشتر سطح دانش و فهمیدن پاسخگویان یا همان مفروضات ذهنی آنها را می‏سنجد و سوالاتی که در سطح تاکسونومی II تنظیم و طراحی می‏شوند بیشتر سطح کاربرد، تجزیه و تحلیل، ترکیب و ارزشیابی سطوح شناختی Bloom را می‏سنجد؛ بر این اساس می‏توان گفت که بیشتر سوالاتی که اساتید از دانشجویان امتحان می‏گرفتند مفروضات ذهنی آنها را سنجیده بود.

با توجه به نتایج حاصل از تجزیه و تحلیل داده‏ها، در کل میزان ارتباط و پوشش محتوایی دروس به ترتیب 4/85 و5/84 درصد، رعایت شدن قواعد ساختاری (روایی صوری) سوالات 4/96 درصد، رعایت قواعد نگارشی (روایی صوری) کل آزمون 2/72 درصد، ضریب دشواری 8/67 درصد، ضریب تمیز 3/22 درصد، ارزش مورد نظر برای هر گزینه انحرافی 5/24 درصد، تاکسونومی I، 6/84 درصد و تاکسونومی II، 4/15 درصد بوده است، بر این اساس ارتباط و پوشش محتوایی، روایی صوری سوالات و آزمون، ارزش مورد نظر برای هر گزینه انحرافی و ضریب دشواری آزمون‏های اساتید مناسب و خوب بوده‏اند، اما ضریب تمیز، میزان سوالات مربوط به تاکسونومی I و تاکسونومی II نامناسب بوده است. این یافته‏ها با نتایج تحقیقات منصوریان(10)، حق شناس(5)و کاظمی و احسان پور(11)، امین(12)، شکورنیا(3)، امام جمعه و زاهدی فر(8) به نوعی هماهنگی دارد.

از جمله محدودیت‏های این مطالعه می‏توان به عدم همکاری بعضی از اساتید با محقق در زمینه ارائه سوالات یا آزمون‏های تصحیح شده و عدم همکاری در زمینه پر کردن جدول مربوط به تاکسونومی و ارتباط و پوشش محتوایی، کمبود منابع اطلاعاتی درباره موضوع این تحقیق، عدم وجود حد نصاب استاندارد برای سنجش بعضی از متغیرها (مثلاً ارتباط و پوشش محتوایی یا میزان رعایت شدن قواعد ساختاری) اشاره نمود.

پیشنهاد می‏شود پژوهش‏هایی با این موضوع در دانشکده‏های دیگر نیز انجام شودو پس از بررسی وضعیت موجود در صورت لزوم گارگاه‏هایی به منظور آموزش طراحی سوال برای اساتید برگزار شود و کیقیت سوالات قبل و پس از برگزاری کارگاه بررسی گردد.

نتیجه گیری

آزمون‏های کتبی دروس  نظری دانشکده دندانپزشکی شهید بهشتی از لحاظ ارتباط و پوشش محتوایی، رعایت قواعد ساختاری و ضریب دشواری در وضعیت مطلوبی می‏باشند ولی از نظر طراحی گزینه‏های انحرافی و تاکسونومی نیاز به بازنگری دارند.

 

تشکر و قدردانی

این مقاله بر اساس پایان نامه شماره 3089 دوره دکترای عمومی دانشکده دندانپزشکی دانشگاه علوم پزشکی شهید بهشتی که توسط الهام عباس زاده و با راهنمایی دکتر مریم بهاروند و مشاوره دکتر محمد حسین‏زاده و دکتر زهرا جابری انصاری در سال تحصیلی 91-90 انجام شد، نوشته شده است. بدین وسیله از کلیه مدیران محترم گروه‏های آموزشی و اساتیدی که در مراحل مختلف انجام این تحقیق همکاری نمودند صمیمانه قدردانی می‏شود. این تحقیق با حمایت و تحت نظارت مرکز توسعه آموزش دانشگاه علوم پزشکی شهید بهشتی و دفتر توسعه آموزش دانشکده دندانپزشکی شهید بهشتی انجام گرفته است.

References

  1. Bazargan A. Educational Evaluation. 5th ed. Tehran: Samt Co; 2001. P. 79-91.
  2. Seif A. Educational Measurement, Assessment and Evaluation. 3rd ed. Tehran: Agah Co; 2007. P. 60-132.
  3. Shakoornia A, Khosravi A, Shariati A, Zarei A. Survey on multiple choice questions of faculty members of Jondi Shapor Medical University of Ahwaz. The 8th National Congress of Medical Education; 2007, Kerman, Iran.
  4. Sepasi H, Atari YA. The study of psychometric characteristics of Shahid Chamran University faculty members' final test scores. J Educ Psych 2006; 12(4): 1-20.
  5. Haghshenas MR, Vahidshahi K, Mahmoudi M, Shahbaznejad L, Parvinnejad N, Emadi A. Evaluation of multiple choice questions in the school of medicine, Mazandaran University of Medical Sciences, the first semester of 2007. Studies in Development of Medical Education 2009; 5(2): 119-26. (Persian)
  6. Millman J. Handbook of Teacher Evaluation: National Council on Measurement in Education. 1st ed. Beverly Hills: SAGE Publications; 1981. P. 146-66.
  7. Vaezi A, Hosseini M, Aghily H, Mirjalili M. The investigation of applying multiple-choice question making rules in final exams of the faculty members of Yazd Medical Shahid Sadoughi University. J Med Educ Develop 2007; 2(1): 31-8. (Persian])
  8. Emamjomeh MM, Zahedifar F. Analysis of multiple choice questions on health sciences at health faculty of Qazvin University of Medical Sciences (2009). The Journal of Qazvin University of Medical Sciences 2012; 15(4): 108-10. (Persian)
  9. Toodehzaiem M, Daneshkazemi A, Aghili H, Haerian A, Mahdavi F. Evaluation of face-validity of multiple choice questions in special lessons of dentistry at Shahid Sadoughi University of Medical Sciences. J Med Educ Develop 2012; 7(2): 55-65. (Persian)
  10. Mansourian H, Shoja M, Salimi T, Mojahed S, Karimi H, Aghili H, et al. Evaluating the course plan status of faculty staff of Shahid Saduoghi University of Medical Sciences of Yazd in the year 2002. Iran J Med Educ 2002; 2(0): 37-8. (Persian)
  11. Kazemi A, Ehsanpour S. Item analysis of core theoretical courses exams for midwifery students in Isfahan University of Medical Sciences. Iran J Med Educ 2011; 10(5): 643-50. (Persian)
  12. Amin M, Shayan S, Hashemi H, Poursafa P, Ebrahimi A. Analysis of multiple choice questions based on classical test theory. Iran J Med Educ 2011; 10(5): 719-25. (Persian)
Journal of Mashhad Dental School
Volume 38, Issue 4 - Serial Number 91
January 2015
Pages 291-302

Files

History

  • Receive Date: 07 September 2014
  • Accept Date: 07 September 2014

Share

How to cite

Statistics