Tópico 4: Avaliação de objetos de aprendizagem
Objetivo: Aplicar um modelo de avaliação no processo de design instrucional, incorporando critérios de avaliação de LO.
4.1. MODELOS DE AVALIAÇÃO
A avaliação é importante no design instrucional sob vários aspectos, pois ajuda a esclarecer quem é a audiência do curso e seus valores, a identificar necessidades, considerar formas alternativas para satisfazer as necessidades das partes interessadas (incluindo a seleção de LOs). A avaliação auxilia ainda na concepção do design, no desenvolvimento de protótipos e unidades didáticas que combinam vários LOs, na implementação e entrega da instrução, no gerenciamento da experiência de aprendizagem, e até mesmo na melhoria da própria avaliação. A avaliação deve considerar todos os padrões associados com objetos, aprendizes, teorias instrucionais, e outros valores das partes interessadas e estimar a qualidade da instrução em termos de tais padrões, tanto na modalidade formativa (para propósitos de desenvolvimento), como na modalidade somativa (avaliação pós-implementação), bem como para determinar o grau de cumprimento com os padrões técnicos. Neste tópico vamos examinar modelos de avaliação relevantes e diretrizes práticas para se embutir os princípios de avaliação em todo o processo de DI com LO.
Embora as várias abordagens para avaliação possam variar na forma, todas elas enfatizam o fato de que as avaliações são feitas para participantes específicos, cujos valores variam, mas que devem ser endereçados de uma forma justa e sistemática, de forma que tais participantes tenham interesse em usar os resultados da avaliação. De fato, ao longo do tempo, a avaliação tem se tornado cada vez mais voltada às necessidades e interesses de um grupo diversificado.
A abordagem proposta por Stufflebeam conhecida como CIPP (contexto, input, processo, produto), organiza os interesses, perguntas, valores e participação dos usuários em potencial da avaliação e partes interessadas em torno de quatro tipos de avaliação que fazem paralelo com os estágios de desenvolvimento do design instrucional:
- Avaliações de CONTEXTO que investigam as variáveis sócio-politicas, organizacionais e outras variáveis de contexto associadas com a necessidade de LOs, cursos e esforços de apoio;
- Avaliações de INPUT que comparam inputs alternativos ou meios para se satisfazer as necessidades encontradas em avaliações de contexto, incluindo LOs;
- Avaliações de PROCESSO que avaliam formativamente o planejamento, design, desenvolvimento e implementação de LOs e esforços associados a eles, incluindo as tentativas de se adaptar a instrução com base nas diferenças expressas nos diferentes perfis de aprendiz, etc , e,
- Avaliações de PRODUTO que permitem julgamentos de forma somativa com relação à qualidade, utilidade e valor dos LOs e as infra-estruturas que lhes dão suporte.
Modelo de Avaliação - CIPP
Figura 1. Modelo de Stufflebeam's - CIPP (Contexto, Input, Processo, Produto)
Idealmente, avaliações dos quatro tipos ocorrerão simultaneamente e repetidamente através da vida de uma organização (no nível macro) que possui vários projetos, programas, iniciativas, e cursos, bem como através de toda a vida de um LO (no nível micro).
A abordagem orientada a participante, apresentada aqui, combina a abordagem de Stufflebeam com a de Patton, cujo enfoque está no usuário (Patton 1997), ilustrada na Figura 2, em um modelo mais completo, apresentado na Figura 3.
Patton - Abordagem focada na Utilização
Figura 2 – Modelo de Avaliação de Patton – focado na Utilização
Conforme apresentado na figura acima, Patton argumenta que o segredo para a utilidade da avaliação é identificar pessoas que estejam dispostas a aprender a partir da mesma. Ele delineia vários procedimentos para se identificar os usuários e, então, trabalhar com eles para se esclarecer o que eles querem saber e o que provavelmente farão com a informação obtida durante a avaliação.
Conforme mostrado na Figura 3, a combinação das abordagens de Stufflebeam e Patton sugere que usuários diferentes com perguntas, critérios e necessidades de informação diferentes podem ser mais ou menos importantes em diferentes estágios na vida do objeto sendo avaliado. Para serem o mais útil possível, as avaliações devem ser organizadas de tal forma que satisfaçam as necessidades da maioria das partes em cada um dos diferentes estágios.
Por exemplo, vamos imaginar que certa imagem está sendo considerada para ser usada na elaboração de um LO. Tal abordagem sugere que os usuários de tal imagem em potencial devam ser identificados e suas perguntas e preocupações sobre contextos de aprendizagem devam ser examinados em uma avaliação de CONTEXTO. Se for determinado que exista uma necessidade de se usar a imagem como LO, uma subseqüente avaliação de INPUT de formas alternativas para satisfazer tal necessidade deve ser conduzida. Neste estágio, usuários em potencial devem ser envolvidos para se esclarecer os critérios para a imagem ilustrativa, de forma que se comparem imagens parecidas que poderão satisfazer a necessidade dos usuários de uma forma melhor. Subseqüentemente, assumindo-se que um tipo específico de imagem é selecionado para inclusão no LO, aqueles usuários devem estar envolvidos em uma avaliação de PROCESSO para se determinar quão bem a imagem está sendo implementada como um LO. Finalmente, quando estiver claro que a imagem está sendo usada como intencionado, ou seja, como um LO, uma avaliação de PRODUTO deve ser conduzida, de forma que os usuários possam esclarecer o que eles pretendem que o LO alcance e quão bem o LO está atingindo os objetivos definidos.
Combinação do Modelo CIPP & Modelo focado na Utilização
Figure 3 - Modelo CIPP e Modelo focado na Utilização combinados
A meta-avaliação também deve acontecer, conforme mostra a figura acima, ou seja, a avaliação sobre a avaliação, de forma que se assegure que a avaliação está agregando valor ao processo instrucional . Tal modelo de avaliação proposto combina as abordagens de Stufflebeam e Patton em um esquema que usa uma lógica de avaliação básica, comparando o que se tem com o que se deveria ter, ou o que é com o que deveria ser, como mostra a Figura 4. De um lado, existem os critérios dos usuários, a definição de objeto avaliado, os níveis de desempenho ideais, necessidades de informação, perguntas e padrões de meta-avaliação, enquanto, de outro, existem os métodos para coleta de dados e descrições resultantes do objeto avaliado.
Esquema Básico de Avaliação
| Avaliação e julgamentos pelos usuários com critérios e necessidades | Dados e atividades |
| Verifique as partes interessadas e:
|
Verifique os avaliadores e:
Colete e interprete a informação |
Uma elaboração mais profunda mostrada na Figura 5 delineia um processo para se fazer avaliações de vários tipos de objetos por diferentes audiência usando este modelo de avaliação.
Detalhamento do Modelo de Avaliação
De acordo com a abordagem proposta, como parte da avaliação as seguintes atividades devem ser conduzidas por participantes qualificados:
- Verifique quem são os usuários da avaliação (quem tem interesse?), tais como administradores, professores, alunos, designers instrucionais etc.
- Convide os usuários a expressarem o que é o objeto avaliado (o que é aquilo em que eles se interessam pela avaliação e em quais estágios de seu ciclo?) Por exemplo, LOs de vários tipos bem como diversas variáveis de contexto, inputs alternativos, elementos do processo, ou produtos alternativos ou dimensões de tais produtos poderiam ser consideradas.
- Trabalhe com os usuários para esclarecer critérios ou indicadores de sucesso com os quais se possa julgar o objeto avaliado (o que é sucesso?). Por exemplo, qual a definição de LO com a qual eles acordaram usar? Quais metadados ou padrões serão aderidos?
- Trabalhe com usuários para esclarecer as perguntas que eles têm (para elaborar as questões a serem usadas na avaliação de quão bem o objeto avaliado está atingindo os critérios estabelecidos) e o que eles farão com os resultados (o quê perguntar?)
- Use os passos de 1-4 para determinar os métodos de pesquisa, os recursos necessários, cronograma, custos etc para se levar a cabo um projeto de avaliação específico, assumindo que vários projetos diferentes por diversos participantes, ao longo do tempo, farão parte de um sistema de avaliação contínuo, sendo uma parte integral do processo de DI e do trabalho de professores, alunos e administradores que têm interesse na instrução.
- Meta-avalie o plano, o processo e as atividades de avaliação, de maneira formativa e somativa, numa base contínua para melhorá-los, enquanto se aperfeiçoa os objetos avaliados.
Sumário: Então, o que tudo isso tem a ver com LOs? Como o mundo de valores se encaixa ou não se encaixa no mundo dos LOs? Note-se que LOs são objetos sujeitos à avaliação de um grupo de usuários específicos de LOs. Um dos primeiros passos para se avaliar um LO é quem quer avaliá-lo e usá-lo. A seguir, qual a definição que os usuários têm de LO e os critérios para julgá-lo, de forma que fique claro o que eles esperam que o LO faça. Finalmente, os dados sobre como os LOs correspondem a esses critérios devem ser coletados e usados para se fazer avaliações de acordo com os padrões de meta-avaliação existentes. Em conclusão, o mundo de LOs e da avaliação são bastante compatíveis, quando considera-se que os usuários de LOs querem avaliar a sua qualidade e que eles têm um conceito do que significa qualidade.