Estudantes treinaram com o ChatGPT no lugar do professor. Quem foi melhor na prova prática?

Aprender a mexer com as mãos dentro da boca de alguém exige horas de prática e um professor ao lado para dizer “não, assim não”. Professor é o recurso mais escasso de qualquer escola de saúde. E se uma parte desse papel pudesse ser feita por um chatbot? Um grupo da China testou isso com 123 estudantes e mediu até o que acontecia nos olhos e no cérebro deles.

O estudo saiu no Journal of Medical Internet Research, assinado por Wen, Wen, Huang e colegas. Foi um ensaio clínico randomizado, isto é, os estudantes foram sorteados entre dois grupos. Todos cursavam o 4º ou o 5º ano de odontologia e nunca tinham usado o simulador.

O treino foi num simulador de realidade virtual, com instrumentos que dão resposta de toque, 1 hora por dia durante 7 dias. A tarefa era o preparo básico de um dente. Dos 129 recrutados, 6 saíram na calibração do rastreador de olhar, e 123 foram sorteados: 61 com o instrutor e 62 com o ChatGPT.

A diferença estava só em quem respondia às dúvidas. No grupo de controle, o estudante chamava um instrutor presente na sala, quantas vezes quisesse. No outro, digitava a pergunta num computador separado e recebia a resposta do ChatGPT, com modelos de pergunta padronizados. Assistentes de pesquisa conferiam o que a IA dizia.

Ao fim, dois avaliadores, que não sabiam quem era de qual grupo, deram uma nota de 0 a 100 para a prova prática.

O grupo do ChatGPT fez 77 pontos em média. O grupo do instrutor, 67. A diferença, de quase 10 pontos, tem uma faixa plausível de 4,8 a 14,9: mesmo no extremo mais baixo, a vantagem não some.

Parece uma vitória da máquina sobre o professor. Antes de concluir isso, vale olhar o que de fato foi comparado.

O grupo de controle tinha instrutores profissionais, o ensino de sempre. O grupo da IA tinha modelos de pergunta padronizados e pesquisadores conferindo as respostas. E a prova veio logo depois dos 7 dias de treino.

Ninguém mediu o que ficou depois de a IA sair de cena. Os próprios autores dizem que não testaram quanto da habilidade permanece, nem o desempenho num paciente real.

Os outros resultados de olhar e de cérebro o estudo trata como exploratórios, isto é, pistas, sem peso de prova. Os estudantes do ChatGPT tiveram uma pupila que dilatou menos, sinal que costuma acompanhar menos esforço mental. Olharam mais para a área do dente e menos para o painel de instrumentos. E a ativação de regiões do cérebro, medida com um aparelho de luz infravermelha, foi maior.

Aqui eu leio com cuidado. Mais ativação cerebral pode ser aprender melhor, mas também pode ser novidade, esforço ou dificuldade. Os próprios autores dizem que o estudo não consegue separar uma coisa da outra.

Há também as respostas dos estudantes. Quem usou o ChatGPT disse gostar mais do treino e se sentir mais engajado. Entre os alunos que partiam de notas baixas, a autoavaliação da capacidade de organizar o próprio estudo subiu mais. São respostas em questionário, e o aluno sabia qual método estava usando.

Esse último ponto vale para o estudo inteiro. Avaliadores e analistas estavam às cegas, mas alunos e assistentes sabiam quem estava com o ChatGPT. Os autores listam isso como limite, junto de outros: o treino cobriu só um procedimento básico, não se registrou como cada aluno usou o chatbot, e não foi possível verificar uma a uma as respostas da IA.

Também escrevem que os alunos podem passar a delegar o raciocínio e depender demais do feedback da IA.

Quanto ao financiamento, o trabalho veio de fundos da própria universidade e de uma fundação científica da província de Hubei. Os autores declaram não ter vínculo com os fabricantes do simulador, dos sensores ou de empresas de IA.

A mudança maior que eu enxergo não está na nota. O gargalo do ensino prático deixa de ser a hora do professor e passa a ser a confiança no que a IA diz a quem ainda não sabe checar. Essa é uma aposta minha, não um dado do estudo: quem ensina vai gastar menos tempo respondendo dúvida repetida e mais tempo conferindo se o aluno entendeu.

Resumo: num treino de 7 dias, estudantes de odontologia que tiraram dúvidas com o ChatGPT tiraram nota prática maior que os que perguntaram ao instrutor, e o estudo ainda não diz se isso dura, se vale para procedimentos mais complexos ou se ajuda no paciente real. É um começo concreto de que um tutor de IA pode ensinar uma habilidade manual, e a minha aposta é que vamos ver muito mais testes assim, agora com acompanhamento de meses.

Os números, para quem quer conferir

• Participantes: 129 recrutados, 6 excluídos na calibração, 123 sorteados (62 ChatGPT, 61 instrutor).
• Nota prática (0 a 100): 77,25 (ChatGPT) contra 67,39 (instrutor); diferença de 9,86 pontos, faixa de 4,81 a 14,91.
• Tamanho do efeito (d de Cohen): 0,70.
• Pupila, aumento em relação ao início: 0,180 mm (ChatGPT) contra 0,346 mm (instrutor).
• Raciocínio espacial (cartas, cubos e rotação mental): o grupo ChatGPT foi melhor nos 3 testes (P de .003, .004 e .004, já corrigidos).
• Prazer no treino (avaliado em questionário): efeito de 0,98 a favor do ChatGPT; raiva menor, efeito de 1,05; frustração sem diferença clara (P=.07).
• Autorregulação do estudo nos alunos de nota baixa: 26,52 contra 20,39 pontos na escala do estudo.
• Treino: 7 dias, 1 hora por dia, VR com resposta de toque; prova prática de 30 minutos.
• Dados brutos: disponíveis com os autores, sob pedido razoável.