quarta-feira, 20 de novembro de 2013

Avaliação Escolar - Testes Adaptativos Inteligentes

A avaliação escolar é sempre um tema que ocupa a pauta da educação. As métricas e os sistemas de avaliação são sempre objetos de discussão principalmente no que se refere à qual é o modelo ideal para se construir e, assim adotar, um programa de avaliação realmente de resultados. Neste ponto me parece claro que o primeiro passo é definir qual é o objetivo do processo avaliativo. - O que se busca com a avaliação?

Alguns defendem que a educação não necessita de avaliação e sustentam a tese baseando-se no modelo, por exemplo, da Finlândia. Por lá não existem avaliações de larga escala como àquelas aplicadas pelos Estados e pelo MEC.
Outros não imaginam um sistema de ensino que se sustente sem a avaliação das habilidades adquiridas pelos alunos, ao longo do seu desenvolvimento escolar.
É bem verdade que os programas de avaliação de larga escala no Brasil têm, além do aspecto da identificação de proficiência / habilidades, todo um processo que envolve questões de Censo Escolar e análises de investimentos versus resultados, uma vez que o ensino público é financiado pelo Estado.

De qualquer forma, focando-se apenas no aspecto da identificação das habilidades, diante dos extremos de pensamentos, chega-se a conclusão que pode-se sim abrir mão das avaliações de larga escala como objeto norteador do conhecimento da proficiência, desde que, o processo avaliativo das escolas não seja pautado no conhecimento de habilidades e, sim, se consolide ao conhecimento prévio das dificuldades que cada aluno apresenta na sua individualidade. Contudo, destaque-se que há todo um universo que separa a construção de uma avaliação voltada a medir habilidades, de outra, que se propõe a identificar dificuldades no campo das individualidades. - A escola necessitaria criar uma avaliação diferenciada para cada um dos alunos da rede de ensino.

Nessa linha de raciocínio cabe a resposta dada por 100% dos professores quando perguntados o que lhe seria mais útil na sala de aula. - Conhecer as habilidades dos seus alunos, ou, as dificuldades individuais que cada um deles carrega sobre os conteúdos já trabalhados?

Em resumo, é claro que a necessidade de se conhecer previamente as dificuldades pontuais dos alunos é o interesse comum de todo professor. Significa então que, uma avaliação voltada a medir habilidades torna-se redundante para os professores, na medida em que eles conhecem, na sua sala de aula, quais habilidades têm cada um dos seus alunos. – A sala de aula não é um local desconhecido, empírico!
Assim, conclui-se que o que lhes escapa aos olhos, diante da dinâmica do dia a dia da sala de aula e da escola, é o conhecimento prévio da dificuldade individual, a tempo de promover as ações pedagógicas de recuperação para cada aluno, à cada tópico, conteúdo, por ele trabalhado em classe.

Indague-se: - Foram os pré requisitos do conteúdo trabalhado em classe compreendidos e assimilados por cada um dos seus diferentes alunos para que o professor possa seguir com uma nova matéria e, assim, iniciar um novo conteúdo?

É neste ponto, objetivando dar esta resposta com um nível de 100% de precisão que surge como uma importante ferramenta pedagógico o fomento dos Testes Adaptativos Informatizados. Softwares dotados de inteligência artificial com uma métrica estatística que reconhece e se adapta à proficiência de cada aluno e, consegue, através desses complexos algoritmos lógisticos, extrair as dificuldades que os alunos individualmente e momentaneamente apresentam, à cada conteúdo que é trabalhado em sala de aula pelo professor. – Destaco que tal tarefa é impossível de ser realizada pela escola sem que haja um instrumental tecnológico capaz de atender a este princípio conceitual.

Importante lembrar que é preciso ter cuidado com qual produto software pode ser adquirido pela escola para que o objetivo da avaliação inteligente, seja uma realidade possível de ser alcançada trazendo resultados reais à sala de aula. Não é comum no mercado encontrar tecnologias inteligentes na área da avaliação as quais estejam especificamente voltadas a identificação de dificuldades no campo das individualidades. No Brasil, desde 2006, temos sido pioneiros no desenvolvimento das plataformas inteligentes que atendem a este novo conceito. Vide literaturas no menu principal deste site.

Inúmeras empresas, Ong´s e Institutos, por exemplo, se apresentam como tendo a solução para o ensino por meio dos seus métodos e sistemas de avaliação. Ocorre que a maioria delas têm na verdade um banco de questões/itens pré-testados e que acaba tornando-se, de forma oculta, o objeto da venda. Ou seja, as redes de ensino compram bancos de questões e não uma metodologia / sistema, ou, uma tecnologia, que possibilite a avaliação contínua por meio da liberdade de criação, aplicabilidade, adequação pedagógica aos conteúdos da rede e atualização da mesma.

Nenhuma plataforma, por exemplo, baseada no TCT – Teoria Clássica dos Testes, tem fundamento estatístico lógico que contemple o alcance destes resultados. A TCT aplica-se normalmente ao campo da identificação de habilidades e não de dificuldades. Lembre-se há diferenças! A dificuldade não é uma derivada da contrapartida da habilidade. Assim, seria correto afirmar que a identificação de dificuldades está muito mais próxima do campo das análises de aptidão e competências do que das habilidades. Logo podemos ter alunos que têm habilidade mas não têm aptidão e competência. Assim como poderíamos nos deparar com uma sala de aula heterogênea, contendo alguns alunos que não tem habilidade mas têm aptidão e competência. Este tema sobre habilidades, aptidão e competências pode ser encontrado nas obras literárias do professor Dr. Nelson Valente.

Note que a avaliação pura e simples que mede habilidades, começa a se distanciar dos objetivos de alcance de resultados no processo da aprendizagem. A avaliação de resultados deve estar preparada para interpretar outras variáveis importantes à compreensão, não da habilidade, mas sim, da dificuldade. Habilidade é, aos olhos do professor, uma informação redundante.

Após uma série de pesquisas e estudos na busca de respostas para este conceito que contempla ter uma escola preparada para o alcance da qualidade, estando ela, a escola, focada em trabalhar dificuldades e não habilidades, foi desenvolvida toda uma tecnologia baseada na Teoria da Resposta ao Item, modelo 3Pl, que possibilita análises estatísticas fundamentadas nas ciências da psicometria, como também, nos estudos estatísticos da área dos diagnósticos da medicina. O ganho, sob a óptica do resultado final, é que essa tecnologia se apresenta capaz de atender aos objetivos de uma avaliação inteligente, voltada realmente a trazer inúmeros benefícios ao trabalho diário de cada professor em sala de aula.

Como dito anteriormente, o alto custo para aquisição de sistemas de avaliação se dá justamente devida a operação de formulação da questão, ou, do item e, do seu pré-teste. Cada questão/item necessita no mínimo ser submetido à uma amostragem de 30.000 respondentes para que este único item, possa fornecer dados para um processo de parametrização de valores confiáveis, tais como: dificuldade, discriminação, erro ao acaso, etc.
No modelo de pré-teste de itens, quanto maior for a amostragem, maior será a precisão na formulação dos parâmetros do mesmo e da sua confiabilidade.

Esta equação foi totalmente solucionada nos algoritmos da aplicação aqui apresentada, por meio de uma modelagem de dados que se desenvolve por auto-calibragem de itens, permitindo assim, que os professores possam criar suas questões sem que as mesmas sejam submetidas às elevadas condições de amostragem mínima acima mencionadas. Esta inovação reflete na redução drástica dos custos para as redes de ensino que passam a fazer uso desta tecnologia e, têm sempre a possibilidade, senão, a liberdade, de atualização constante do seu banco de questões/itens.

Outro ganho na utilização deste instrumental tecnológico desenhado sob medida "para atender ao dia a dia do professor em benefício da qualidade do seu trabalho e do ensino” é que as chances matemáticas de uma mesma questão, ou, item, estar sendo respondida no mesmo teste e, ao mesmo tempo por mais de um aluno, é infinitamente pequena. Assim como, as chances matemáticas de repetição do item em novos testes é também reduzida por controle lógistico do algoritmo, cujo o objetivo é de se evitar o desgaste por meio da frequência de exposição na aplicabilidade do item. O professor, por sua vez, não cria as atividades e nem as corrige, sua tarefa limita-se a liberá-las de acordo com o seu interesse momentâneo de compreensão das dificuldades da turma, disponibilizando a atividade/teste para computadores, tablets ou celulares.

Por exemplo, em uma tarefa de casa, ou, de classe, os itens/questões são escolhidos pelo processo matemático estatístico de adaptação do teste ao aluno. A escolha do item está paramétricamente intrínseca nos algoritmos de inteligência artificial do software. Desta forma, levando-se em conta o princípio da individualidade que conceitua todo este modelo de avaliação, teremos sempre um teste diferente do outro, independentemente do tamanho da sala de aula, da escola, ou, da rede de ensino. - O teste reconhece e se adapta por inteligência artificial à cada aluno respondente.

(*) É CEO da ETIBrasil Empresa de Tecnologia Educacional Pesquisador na área das avaliações e das Ciências Sociais. Autor de obras literárias publicadas na área da gestão e da tecnologia na educação. Consultor e Palestrante na área de tecnologias educacionais.

Fonte: ETI Brasil – Marcelo Zuccarone.

(Editor: Otávio Araújo)

Nenhum comentário:

Postar um comentário