MENTOR: Feedback Automático para Exercícios Introdutórios de Programação (Portuguese)

A crescente procura por programação deu origem a todos os tipos de cursos focados em exercícios de programação introdutórios. Como consequência do elevado número de alunos inscritos, o desafio principal nestes cursos é fornecer feedback útil e personalizado aos estudantes. Neste trabalho irei apresentar o sistema MENTOR, uma ferramenta de reparação automática de programas orientada para fornecer feedback automatizado para exercícios introdutórios de programação. O MENTOR aborda este desafio gerando possíveis reparações semânticas para programas dos alunos, permitindo reparações semânticas validadas através da execução de um conjunto de testes e indicando os segmentos defeituosos aos estudantes. A abordagem do MENTOR baseada em Modelos de Linguagem de Grande Escala (LLMs) permite reparações mais flexíveis, sem necessidade de alinhamento estrutural rigoroso. O MENTOR agrupa submissões corretas independentemente dos CFGs e emprega um módulo de alinhamento de variáveis baseado em Redes Neurais em Grafo (GNNs) para maior precisão. O módulo de localização de falhas do MENTOR, utiliza técnicas de optimização de lógica computational para identificar segmentos defeituosos com precisão. Este trabalho propõe também um sistema de avaliação automática, que fornece feedback personalizado aos alunos sobre as submissões de código e integra com sucesso o MENTOR para uma deteção eficaz de falhas no código dos estudantes. Resultados experimentais demonstram que o MENTOR melhora significativamente as taxas de sucesso na reparação, alcançando 64,4% em reparações, comparado com apenas 6,3% e 34,6% para o até então estado da arte.

Apr 11, 2025 5:00 PM — 6:30 PM