Imprimir Resumo


Congresso Brasileiro de Microbiologia 2023
Resumo: 616-1

616-1

“Você sabe quem está falando?” – A Inteligência artificial confronta a avaliação docente.

Autores:
Alexandre Lourenço (FMJ - Faculdade de Medicina de Jundiaí, USCS - Universidade de São Caetano do Sul, UNIP - Universidade Paulista, UNIFACCAMP - Centro Universitário Campo Limpo Paulista) ; Rana Zahi Rached (USCS - Universidade de São Caetano do Sul, UNISO - Universidade de Sorocaba)

Resumo:
Embora a Inteligência Artificial (IA) já exista na rotina diária há tempos, ela se tornou “personificada” para o público leigo quando a OpenAI lançou o ChatGPT para o mundo em novembro de 2022. Programa aberto e gratuito, rapidamente alcançou mais de 100 milhões de usuários. Sua controversa existência trouxe extraordinárias expectativas e sombrias previsões. Especialmente a segunda galvanizou o mundo, e a área de ensino foi uma das mais impactadas. Um país chegou a proibir o ChatGPT e várias instituições de ensino norte-americanas tentaram restringir seu uso. Em ambos os casos, pareceu ser mais uma reação apressada e paliativa do que uma estratégia eficaz para lidar com a tecnologia. No ambiente universitário, restringir o uso de uma ferramenta de livre acesso apresenta grandes dificuldades. Provas presenciais manuscritas não são influenciadas pela IA, mas trabalhos que envolvem elaboração de textos, sim. Por isso é fundamental que os docentes tenham consciência das suas limitações de julgamento e análises a partir daqui. Buscando evidenciar o grau do problema, foram escolhidas duas perguntas sobre microbiologia geral, uma focada no nível Conhecimento da Taxonomia de Bloom e outra focada no nível Compreensão. Ambas foram colocadas no ChatGPT, que forneceu suas respostas. As questões com as respostas feitas pela IA foram submetidas à correção de 24 professores ligados à área de microbiologia de diferentes instituições de ensino superior e cursos (amostra de conveniência). Os docentes foram instados a corrigir ambas as respostas, com notas de zero a um, sem saber quem as tinha produzido. Segundo nossa análise, a resposta do ChatGPT para a primeira questão estava basicamente correta, embora eventualmente um pouco incompleta e levemente difusa. Consideramos que uma correção adequada deveria atribuir nota de 0,7 a 1,0. A média das notas atribuídas por professores para essa resposta foi 0,81, estando dentro do esperado. A resposta do ChatGPT à segunda questão estava incorreta e bastante prolixa, possibilitando uma nota zero. Todavia, a média das notas dos docentes se situou em torno de 0,56. Em ambos os casos os docentes podiam fazer comentários acerca das respostas. Nenhum comentário aventou a hipótese de as respostas não serem genuínas de um estudante de instituições de nível superior. Um quinto dos docentes salientou a falta de objetividade e o texto longo das respostas. Apesar disso, alguns docentes acabaram atribuindo notas altas para a segunda questão, possivelmente motivados pelo conteudismo demonstrado, a despeito de não ter respondido corretamente ao que fora questionado. Se as questões representassem uma avaliação disciplinar, o aluno teria sido aprovado, considerando a média mínima de aprovação de 6,0 pontos, aplicada na maioria das IES (69% de aproveitamento). Este dado aponta para um indicativo de que trabalhos passados para serem feitos extra-aula podem ser fácil e rapidamente elaborados com uso de IA. Embora isso pudesse acontecer também no passado por outros mecanismos, a enorme facilidade e velocidade com que pode ser feito agora sugere que trabalhos não autênticos se tornarão cada vez mais comuns e discentes podem conseguir aprovação mesmo sem estarem aptos. Talvez o uso das IAs seja a pá de cal sobre os trabalhos escritos feitos em casa.

Palavras-chave:
 Avaliação, ChatGPT, Inteligência artificial, Tecnologia no ensino


Agência de fomento:
NENHUMA