چگونه سطح دشواری سؤالات آزمون را تعیین کنیم؟

سطح دشواری یک سؤال را نمی‌توان فقط از روی ظاهر، طول یا نظر طراح آن مشخص کرد. روش علمی این است که پیش از آزمون، دشواری مورد انتظار سؤال بر اساس محتوای آموزشی و فرایند ذهنی موردنیاز برآورد شود و پس از آزمون، دشواری واقعی با استفاده از پاسخ آزمون‌شوندگان محاسبه گردد. مهم‌ترین معیار، نسبت افرادی است که به سؤال پاسخ صحیح داده‌اند. بااین‌حال، برای قضاوت درباره کیفیت سؤال باید شاخص دشواری در کنار ضریب تمیز، عملکرد گزینه‌های نادرست، هدف آزمون و ویژگی‌های جامعه آزمون‌شوندگان بررسی شود.

سطح دشواری سؤال آزمون چیست؟

سطح دشواری نشان می‌دهد پاسخ صحیح به یک سؤال برای جامعه مشخصی از آزمون‌شوندگان تا چه اندازه آسان یا دشوار است.

این تعریف یک نکته مهم دارد: دشواری الزاماً ویژگی ثابت و ذاتی سؤال نیست. ممکن است یک سؤال برای دانش‌آموزان پایه دهم دشوار، اما برای دانشجویان همان رشته بسیار آسان باشد.

در نظریه کلاسیک آزمون، دشواری سؤال بر اساس عملکرد افرادی که به آن پاسخ داده‌اند تعیین می‌شود. بنابراین برای اظهار نظر دقیق درباره دشواری واقعی یک سؤال، باید داده حاصل از اجرای آن را داشته باشیم. پژوهش‌های سنجش آموزشی نیز دشواری را مفهومی آماری می‌دانند که با عملکرد آزمون‌شوندگان ارتباط دارد.

در نتیجه باید میان دو مفهوم تفاوت قائل شد:

دشواری مورد انتظار: برآوردی که طراح سؤال پیش از اجرای آزمون انجام می‌دهد.

دشواری واقعی: مقداری که پس از اجرای سؤال و تحلیل پاسخ آزمون‌شوندگان به دست می‌آید.

این دو مقدار همیشه با یکدیگر برابر نیستند.

چگونه شاخص دشواری سؤال را محاسبه کنیم؟

برای سؤال‌هایی که یک پاسخ صحیح و یک امتیاز دارند، رایج‌ترین روش محاسبه بسیار ساده است:

شاخص دشواری = تعداد پاسخ‌های صحیح ÷ تعداد کل پاسخ‌دهندگان

این شاخص معمولاً با حرف p نمایش داده می‌شود.

مثال محاسبه شاخص دشواری

فرض کنید 100 نفر در یک آزمون شرکت کرده‌اند و 62 نفر به سؤال شماره 8 پاسخ صحیح داده‌اند.

بنابراین:

p = 62 ÷ 100 = 0.62

یا به‌صورت درصد:

62 درصد

یعنی 62 درصد آزمون‌شوندگان توانسته‌اند به سؤال پاسخ صحیح دهند.

نکته‌ای که ممکن است در ابتدا خلاف انتظار باشد این است که:

هرچه شاخص دشواری بزرگ‌تر باشد، سؤال آسان‌تر است.

برای مثال، سؤال با شاخص 0.90 بسیار آسان‌تر از سؤالی با شاخص 0.25 است؛ زیرا در سؤال اول 90 درصد افراد پاسخ صحیح داده‌اند، اما در سؤال دوم فقط 25 درصد موفق شده‌اند.

این تعریف با روش متداول تحلیل سؤال در نظریه کلاسیک آزمون مطابقت دارد.

جدول تفسیر سطح دشواری سؤال

برای کاربردهای آموزشی می‌توان از یک طبقه‌بندی عملی مانند جدول زیر استفاده کرد:

این مرزبندی یک قانون جهانی نیست. برای نمونه، سامانه تحلیل آزمون دانشگاه واشینگتن سؤال با 85 درصد پاسخ صحیح یا بیشتر را آسان، بین 51 تا 84 درصد را متوسط و 50 درصد یا کمتر را دشوار طبقه‌بندی می‌کند. بنابراین حدود طبقات باید با هدف ساخت آزمون آنلاین سازگار باشند.

آیا می‌توان قبل از برگزاری آزمون دشواری سؤال را تعیین کرد؟

بله، اما در این مرحله بهتر است از عبارت «دشواری مورد انتظار» استفاده کنیم.

پیش از اجرای آزمون هنوز نمی‌دانیم چه درصدی از جامعه هدف به سؤال پاسخ صحیح خواهد داد. بنابراین طراح سؤال باید بر اساس ویژگی‌های سؤال و شناخت خود از آزمون‌شوندگان، سطح دشواری را تخمین بزند.

پژوهش‌ها نشان داده‌اند حتی متخصصان موضوعی نیز الزاماً نمی‌توانند دشواری و قدرت تمیز سؤال را با دقت بالا پیش‌بینی کنند. به همین دلیل، قضاوت متخصص باید در صورت امکان با اجرای آزمایشی و داده‌های واقعی تکمیل شود.

معیارهای برآورد دشواری قبل از آزمون

بهتر است طراح هنگام ثبت سؤال در بانک سؤال، سطح مورد انتظار را نیز ثبت کند. پس از چند بار اجرای سؤال، این برچسب را می‌توان با داده واقعی اصلاح کرد.

آیا سؤال تحلیلی همیشه دشوار است؟

خیر. سطح شناختی و سطح دشواری دو مفهوم متفاوت هستند.

این تمایز در طراحی آزمون بسیار مهم است.

فرض کنید سؤال اول از دانش‌آموز می‌خواهد یک تعریف تخصصی و کم‌کاربرد را به خاطر بیاورد. سؤال از نظر فرایند ذهنی ساده است؛ فقط به یادآوری نیاز دارد. بااین‌حال ممکن است تنها 20 درصد دانش‌آموزان پاسخ صحیح دهند.

در مقابل، سؤال دیگری ممکن است نیازمند تحلیل باشد، اما مسئله‌ای بسیار آشنا را مطرح کند و 80 درصد دانش‌آموزان آن را حل کنند.

در این وضعیت:

بنابراین استفاده از عباراتی مانند «سؤال تحلیلی است، پس حتماً سخت است» از نظر سنجش دقیق نیست.

سطح دشواری مناسب برای آزمون چقدر است؟

پاسخ به هدف آزمون بستگی دارد.

اگر هدف آزمون بررسی یادگیری مطالب پایه باشد، وجود تعداد بیشتری سؤال نسبتاً آسان منطقی است. اگر آزمون برای رتبه‌بندی یا انتخاب افراد طراحی شده باشد، به سؤالاتی نیاز داریم که بتوانند تفاوت توانایی آزمون‌شوندگان را بهتر آشکار کنند.

به همین دلیل نمی‌توان گفت همه سؤالات یک آزمون استاندارد باید شاخص دشواری 0.50 داشته باشند.

یک الگوی عملی برای آزمون‌های آموزشی

در یک آزمون عمومی، در صورت نبود الزام تخصصی دیگر، می‌توان ترکیبی مانند این را به‌عنوان نقطه شروع طراحی در نظر گرفت:

 

این درصدها استاندارد اجباری روان‌سنجی نیستند؛ بلکه الگویی عملی برای ایجاد تعادل اولیه‌اند. نسبت نهایی باید بر اساس هدف آزمون، سطح فراگیران و تصمیمی که قرار است بر مبنای نمره گرفته شود تعیین شود.

چرا سؤال متوسط همیشه بهترین سؤال نیست؟

شاخص دشواری فقط به ما می‌گوید چند درصد افراد پاسخ صحیح داده‌اند؛ اما مشخص نمی‌کند چه کسانی پاسخ صحیح داده‌اند.

فرض کنید دو سؤال داریم:

سؤال الف: 60 درصد پاسخ صحیح
سؤال ب: 60 درصد پاسخ صحیح

هر دو شاخص دشواری 0.60 دارند.

اما ممکن است سؤال الف بیشتر توسط افراد دارای نمره بالا پاسخ داده شده باشد، در حالی که در سؤال ب افراد قوی و ضعیف تقریباً به یک نسبت موفق شده باشند.

سؤال الف احتمالاً توان بیشتری برای تشخیص تفاوت سطح افراد دارد.

برای بررسی این ویژگی باید ضریب تمیز سؤال را نیز محاسبه کنیم.

ضریب تمیز سؤال چیست؟

ضریب تمیز نشان می‌دهد یک سؤال تا چه اندازه می‌تواند آزمون‌شوندگان قوی‌تر را از آزمون‌شوندگان ضعیف‌تر متمایز کند.

یک روش ساده این است که عملکرد گروه دارای نمرات بالا و گروه دارای نمرات پایین را مقایسه کنیم:

ضریب تمیز = نسبت پاسخ صحیح گروه بالا − نسبت پاسخ صحیح گروه پایین

فرض کنید:

• 85 درصد افراد گروه قوی سؤال را درست پاسخ داده‌اند.
• 35 درصد افراد گروه ضعیف سؤال را درست پاسخ داده‌اند.

در نتیجه:

0.85 − 0.35 = 0.50

این نتیجه نشان می‌دهد سؤال توان مناسبی برای تفکیک دو گروه داشته است.

در تحلیل‌های رایانه‌ای می‌توان به‌جای تقسیم آزمون‌شوندگان به دو گروه، ارتباط عملکرد در هر سؤال با عملکرد در کل آزمون را محاسبه کرد. دانشگاه واشینگتن نیز از چنین روشی در تحلیل قدرت تمیز سؤال استفاده می‌کند.

تفسیر ضریب تمیز

به‌عنوان یک راهنمای اولیه:

این حدود نیز باید متناسب با آزمون تفسیر شوند. منفی شدن ضریب تمیز به‌خصوص مهم است؛ زیرا می‌تواند نشان دهد افراد ضعیف‌تر بیش از افراد قوی‌تر سؤال را درست پاسخ داده‌اند.

در چنین شرایطی باید احتمال‌هایی مانند اشتباه بودن کلید، ابهام در صورت سؤال، وجود بیش از یک پاسخ قابل دفاع یا اشکال در گزینه‌ها بررسی شوند.

نقش گزینه‌های نادرست در دشواری سؤال

در سؤال چهارگزینه‌ای، فقط پاسخ صحیح مهم نیست. سه گزینه دیگر نیز بخشی از کیفیت اندازه‌گیری سؤال هستند.

یک گزینه نادرست خوب باید برای فردی که مفهوم را کامل یاد نگرفته است باورپذیر باشد، اما برای فرد مسلط قابل تشخیص باشد.

گزینه نادرستی که هیچ‌کس انتخاب نمی‌کند، معمولاً اطلاعات زیادی به آزمون اضافه نمی‌کند.

برای مثال:

کدام عدد اول است؟

الف) 17
ب) 18
ج) 200
د) 1000

سه گزینه نادرست به‌آسانی حذف می‌شوند.

اما اگر گزینه‌ها از خطاهای واقعی دانش‌آموزان ساخته شوند، سؤال می‌تواند قدرت سنجش بیشتری داشته باشد.

تحلیل فراوانی انتخاب گزینه‌ها نیز می‌تواند سوءبرداشت‌های رایج را آشکار کند. در گزارش‌های تحلیل سؤال، گزینه نادرستی که تعداد قابل توجهی از افراد آن را انتخاب کرده‌اند می‌تواند نشانه یک تصور غلط رایج یا در برخی موارد، ابهام خود سؤال باشد.

آیا تعداد گزینه‌ها بر دشواری اثر دارد؟

احتمال حدس تصادفی در سؤال‌های چندگزینه‌ای باید در تحلیل دشواری در نظر گرفته شود.

اگر همه گزینه‌ها از نظر انتخاب تصادفی شانس یکسان داشته باشند:

بنابراین شاخص دشواری یک سؤال چندگزینه‌ای را نباید بدون توجه به ساختار گزینه‌ها تفسیر کرد.

برای مثال، p=0.50 در یک سؤال چهارگزینه‌ای با p=0.50 در یک سؤال تشریحی الزاماً معنای سنجشی یکسانی ندارد.

سؤال خیلی آسان یا خیلی سخت را باید حذف کرد؟

نه لزوماً.

این یکی از رایج‌ترین برداشت‌های اشتباه در تحلیل آزمون است.

یک سؤال بسیار آسان ممکن است برای سنجش یک شایستگی پایه ضروری باشد. به همین ترتیب، سؤال بسیار دشوار ممکن است برای تشخیص افراد دارای تسلط بسیار بالا موردنیاز باشد.

بنابراین:

دشواری نامناسب ≠ سؤال نامعتبر

برای مثال، اگر هدف آزمون این باشد که مشخص کند آیا کارکنان یک کارخانه مهم‌ترین اصل ایمنی را می‌دانند یا خیر، شاید انتظار داشته باشیم بیش از 95 درصد افراد سؤال مربوط به آن اصل را درست پاسخ دهند. آسان بودن چنین سؤالی به‌تنهایی دلیل حذف آن نیست.

دانشگاه واشینگتن نیز هشدار می‌دهد که سؤالات بسیار آسان یا دشوار ممکن است قدرت تمیز کمی داشته باشند، اما گاهی برای پوشش مناسب محتوا و اهداف آزمون ضروری‌اند.

چگونه سطح دشواری کل آزمون را تنظیم کنیم؟

بهترین روش این نیست که ابتدا مثلاً 20 سؤال آسان، سپس 20 سؤال متوسط و در پایان 20 سؤال دشوار انتخاب کنیم.

طراحی باید از جدول مشخصات آزمون آغاز شود.

در این جدول حداقل سه محور مشخص می‌شوند:

1. موضوع یا محتوای آموزشی؛
2. سطح شناختی مورد انتظار؛
3. دشواری مورد انتظار.

برای مثال:

در این نمونه، آزمون 40 سؤال دارد و طراح تلاش کرده است هم محتوای موردنظر و هم دامنه‌ای از دشواری را پوشش دهد.

پس از اجرای آزمون باید دشواری واقعی سؤالات جایگزین برآورد اولیه شود.

روش حرفه‌ای تعیین دشواری سؤالات

برای آزمون‌هایی که قرار است چند بار اجرا شوند یا بانک سؤال داشته باشند، فرایند زیر قابل اتکاتر است:

مرحله 1: تعیین هدف آزمون

ابتدا مشخص کنید آزمون برای یادگیری، تشخیص نقاط ضعف، صدور گواهی، استخدام، انتخاب یا رتبه‌بندی طراحی شده است.

مرحله 2: طراحی جدول مشخصات

مشخص کنید از هر حوزه محتوایی و هر سطح شناختی چند سؤال لازم است.

مرحله 3: تعیین دشواری مورد انتظار

طراح یا گروه متخصص، سؤال را در سطح آسان، متوسط یا دشوار قرار دهد.

مرحله 4: اجرای آزمایشی

در صورت امکان، سؤال روی نمونه‌ای مشابه جامعه اصلی اجرا شود.

مرحله 5: محاسبه شاخص دشواری

درصد پاسخ‌های صحیح هر سؤال محاسبه شود.

مرحله 6: بررسی ضریب تمیز

مشخص شود سؤال تا چه حد با سطح کلی عملکرد آزمون‌شوندگان سازگار است.

مرحله 7: تحلیل گزینه‌ها

بررسی شود هر گزینه نادرست چند بار و توسط چه افرادی انتخاب شده است.

مرحله 8: بازبینی تخصصی

سؤالات دارای نتایج غیرعادی از نظر محتوایی، نگارشی، کلید پاسخ و گزینه‌ها بازبینی شوند.

مرحله 9: ثبت سابقه در بانک سؤال

برای هر سؤال، دشواری واقعی، ضریب تمیز، تعداد دفعات اجرا، تاریخ اجرا و سایر اطلاعات لازم ثبت شود.

این چرخه باعث می‌شود بانک سؤال به‌تدریج از مجموعه‌ای از سؤالات برچسب‌خورده بر اساس حدس طراح، به یک بانک سؤال دارای شواهد آماری تبدیل شود.

نظریه پاسخ به سؤال چه تفاوتی ایجاد می‌کند؟

برای آزمون‌های کلاسی و بسیاری از آزمون‌های سازمانی، روش‌های ساده‌تر نظریه کلاسیک آزمون معمولاً نقطه شروع مناسبی هستند.

اما در آزمون‌های بزرگ، بانک‌های سؤال گسترده و آزمون‌های تطبیقی رایانه‌ای می‌توان از نظریه پاسخ به سؤال استفاده کرد.

در این رویکرد، به‌جای اینکه دشواری فقط به شکل درصد پاسخ صحیح گزارش شود، یک مدل آماری رابطه میان توانایی آزمون‌شونده و احتمال پاسخ صحیح به سؤال را برآورد می‌کند.

بسته به مدل مورد استفاده، پارامترهایی مانند این موارد قابل برآورد هستند:

• دشواری سؤال؛
• قدرت تمیز سؤال؛
• و در برخی مدل‌ها، اثر حدس.

یکی از مزیت‌های مهم این رویکرد، تلاش برای جداسازی ویژگی‌های سؤال از سطح توانایی نمونه آزمون‌شوندگان است. در مقابل، شاخص‌های نظریه کلاسیک بیشتر به نمونه‌ای که سؤال روی آن اجرا شده وابسته‌اند.

برای یک آزمون کوچک کلاسی، استفاده از مدل‌های پیچیده آماری الزاماً ارزش افزوده ندارد؛ اما برای آزمون‌های مقیاس‌بالا این روش‌ها اهمیت بیشتری پیدا می‌کنند.

خطاهای رایج در تعیین سطح دشواری

تعیین دشواری فقط بر اساس نظر طراح: قضاوت متخصص مفید است، اما جای داده واقعی را نمی‌گیرد.

یکسان گرفتن دشواری و سطح شناختی: سؤال تحلیلی الزاماً دشوار و سؤال حفظی الزاماً آسان نیست.

حذف خودکار سؤالات بسیار آسان: ممکن است سؤال برای پوشش یک هدف آموزشی پایه ضروری باشد.

استفاده از شاخص دشواری بدون ضریب تمیز: دو سؤال با درصد پاسخ صحیح یکسان می‌توانند کیفیت سنجشی کاملاً متفاوتی داشته باشند.

نادیده گرفتن جامعه آزمون‌شوندگان: دشواری به سطح دانش و توانایی افرادی که سؤال روی آنها اجرا شده وابسته است.

نادیده گرفتن گزینه‌های نادرست: گزینه‌های ضعیف می‌توانند سؤال را مصنوعی آسان کنند.

تغییر سؤال بدون محاسبه مجدد دشواری: اگر صورت سؤال یا گزینه‌ها به شکل معناداری تغییر کنند، آمار نسخه قبلی الزاماً برای نسخه جدید معتبر نیست.

تفسیر آمار بدون توجه به هدف آزمون: تحلیل سؤال باید در بافت آزمون انجام شود. حتی قدرت تمیز پایین نیز همیشه به معنای سؤال بد نیست.

چه اطلاعاتی برای هر سؤال در بانک سؤال ذخیره کنیم؟

اگر هدف ایجاد یک بانک سؤال حرفه‌ای است، حداقل این اطلاعات برای هر سؤال مفید است:

نکته مهم این است که آمار سؤال باید همراه با اطلاعات اجرای آن نگهداری شود. شاخص‌های تحلیل سؤال تحت تأثیر نوع و تعداد آزمون‌شوندگان و شرایط اجرا قرار می‌گیرند و نباید به‌عنوان ویژگی‌های کاملاً ثابت سؤال در نظر گرفته شوند.

بهترین روش برای تصمیم‌گیری درباره هر سؤال

برای تصمیم درباره نگهداری، اصلاح یا حذف سؤال، بهتر است به‌جای یک شاخص، چند نشانه هم‌زمان بررسی شوند:

این جدول یک چارچوب تصمیم‌گیری اولیه است، نه استاندارد قطعی حذف و نگهداری سؤال.

جمع‌بندی

برای تعیین علمی سطح دشواری سؤال، ابتدا باید میان دشواری مورد انتظار و دشواری واقعی تفاوت قائل شد.

پیش از آزمون، طراح می‌تواند بر اساس سطح شناختی، تعداد مراحل حل، میزان دانش پیش‌نیاز، تازگی مسئله و کیفیت گزینه‌ها، دشواری را برآورد کند. اما پس از اجرا، معیار اصلی در روش کلاسیک نسبت پاسخ‌های صحیح به کل پاسخ‌ها است.

اگر 40 درصد افراد پاسخ صحیح دهند، شاخص دشواری 0.40 و اگر 80 درصد پاسخ صحیح دهند، شاخص 0.80 خواهد بود. در نتیجه، شاخص بزرگ‌تر نشان‌دهنده سؤال آسان‌تر است.

بااین‌حال، هیچ سؤال حرفه‌ای نباید فقط بر اساس این عدد ارزیابی شود. ضریب تمیز، عملکرد گزینه‌های نادرست، هدف آزمون، سطح شناختی و ویژگی جامعه آزمون‌شوندگان نیز باید بررسی شوند.

در نهایت، سؤال خوب الزاماً سؤال دشوار نیست؛ سؤال خوب سؤالی است که همان دانش، مهارت یا توانایی موردنظر آزمون را با دقت و کمترین ابهام اندازه‌گیری کند. داده‌های تحلیل سؤال نیز شواهدی برای ارزیابی کیفیت هستند و به‌تنهایی معادل اعتبار سؤال محسوب نمی‌شوند.