ANÁLISE DE QUESTÕES DE MÚLTIPLA ESCOLHA E PROPOSTA DE ESTRATÉGIAS PARA A MELHORIA DA ELABORAÇÃO DE AVALIAÇÕES COGNITIVAS DO CURSO DE MEDICINA DA UNIVERSIDADE MUNICIPAL DE SÃO CAETANO DO SUL - CAMPUS SÃO PAULO

Abstract

Os processos avaliativos são um pilar fundamental do ensino. Contudo, a elaboração de avaliações de qualidade é desafiadora. Muitos estudos identificaram falhas em questões de múltipla escolha (QME) em avaliações na área da saúde. Para atingir todo o seu potencial educativo, estas devem ser confiáveis e válidas. Por meio da análise psicométrica, este trabalho se propõe a interpretar com precisão os resultados obtidos em algumas avaliações e identificar oportunidades de melhoria na sua elaboração, bem como no processo ensino-aprendizagem. Para tanto, foi realizado um estudo observacional retrospectivo utilizando as QME aplicadas nas avaliações do 2º ano de um curso de graduação em Medicina em 2019, analisando-as também segundo os critérios propostos pelo National Board of Medical Examiners (NBME) e pela Taxonomia de Bloom revisada. Os dados obtidos possibilitaram a análise dos índices de dificuldade e de discriminação e da eficiência dos distratores. Foi também realizada a avaliação da confiabilidade da avaliação como um todo por meio do KR-20. Todas as avaliações apresentaram coeficientes de KR-20 < 0,8. A média dos índices de dificuldade e de discriminação e da eficiência dos distratores foi de 72,7%, 0,23 e 50,3%, respectivamente. O índice de discriminação e a eficiência dos distratores apresentaram correlação direta estatisticamente significativa, enquanto ambos apresentaram correlação inversa com o índice de dificuldade. Da amostra total, 37,1% das questões não estavam de acordo com as recomendações do NBME. Dentre outras coisas, este estudo mostrou que as avaliações e as questões de múltipla escolha avaliadas são pouco confiáveis ou válidas, e que apresentam oportunidades de melhoria nos critérios de qualidade.

Assessment processes are a fundamental pillar of teaching. However, the development of quality assessments is challenging. Many studies have identified shortcomings in multiple choice questions (MCQ) in health assessments. To achieve their full educational potential, they must be reliable and valid. By means of psychometric analysis, this work aims to accurately interpret the results obtained in assessments and identify opportunities for improvement in its elaboration, as well as in the teaching-learning process. For that, a retrospective observational study was performed using the QME applied in the assessments of the 2nd year of an undergraduate medical course in 2019, evaluating than also according to the criteria proposed by the National Board of Medical Examiners (NBME) and the revised Bloom Taxonomy. The data obtained made it possible to analyze the difficulty and discrimination indices, and the efficiency of the distractors. The reliability of the assessment as a whole was also performed using the KR-20 formula. All evaluations presented KR-20 coefficients < 0.8. The means of the difficulty and discrimination indices and the distractor efficiency were 72.7%, 0.23 and 50,3%, respectively. The discrimination index and the distractor efficiency showed a statistically significant direct correlation, while both presented an inverse correlation with the difficulty index. Of the total sample, 37.1% of the questions were not in line with the NBME recommendations. Hence, this study showed that the assessments and multiple choice questions evaluated are not reliable or valid, and that they present opportunities for improvement in quality criteria.