UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL

INSTITUTO DE INFORMÁTICA

CURSO DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

LUCIANO EMILIO HACK

Porto Alegre, março de 1999.

O salto evolutivo ocorrido na área de redes de computadores, proporcionando-se condições de trabalhar-se de forma aceitável à Distância, faz com que aproveite-se este recurso para a Educação à Distância. Podendo-se considerar a Internet como a ferramenta mais completa, abrangente e complexa para o aprendizado.

No entanto, no que refere-se a maneiras de avaliar-se o aluno, mesmo à distância, os procedimentos ainda precisam ser mais trabalhados e divulgados. A avaliação precisa acompanhar as evoluções ocorridas, deixando de ser algo isolado, para ser um componente presente em todo o processo de aprendizado.

Seguindo este pensamento, este trabalho pretende apresentar mecanismos complementares, que venham a auxiliar o professor na avaliação do aluno, fazendo com que a avaliação possa ser mais completa e abrangente. Para tanto, busca-se a implementação de algumas ferramentas, como o rastreamento do aluno e um ambiente colaborativo, segundo os quatro níveis do modelo de Kirkpartrick.

Como resultado tem-se um ambiente aberto para novas ferramentas e objetos idependentes.

Uma das definições que consegue captar o que realmente vem ser avaliação, no sentido mais completo, é a apresentada por Bloom, Hastings e Madaus [MEN 98]: "Avaliação é a coleta sistemática de evidências por meio das quais determinam-se mudanças que ocorrem nos alunos e como elas ocorreram. Inclui uma grande variedade de evidências que vão além do tradicional exame final de lápis e papel. É um sistema de controle de qualidade pelo qual pode ser determinada, em certa etapa do processo ensino-aprendizagem, a efetividade ou não do processo e, em caso negativo, que mudanças precisam ser feitas para assegurar sua efetividade antes que seja tarde".

Para verificar o nível de aprendizado dos alunos em aulas presenciais, além dos mecanismos formais, como testes, trabalhos, exercícios, etc, os professores utilizam também alguns mecanismos complementares como a observação da expressão facial do aluno, a participação em aula, perguntas que reforçam o material apresentado, etc. Desta forma, o professor poderá fazer ajustes nos seus procedimentos de ensino, diminuindo ou aumentado o ritmo da aula, fazendo revisões, passando material complementar, etc.

Na Educação à Distância, o que normalmente tem-se visto é a utilização apenas dos mecanismos formais [DIR 98]. Os professores estão deixando de lado os mecanismos complementares, para que mesmo à distância possam ter uma mais completa e abrangente avaliação do aluno. Isto devido ao fato de não terem, de forma acessível, mecanismos que possam auxiliá-lo neste trabalho. Mas também, porque muitos professores tem se acomodado e utilizado apenas os métodos tradicionais de avaliação [DIR 98].

No entanto, é graças a evolução da área de redes de computadores, especialmente no que refere-se a Internet, que tem-se hoje em dia mecanismos que podem quebrar esta barreira e trazer até os professores ferramentas com as quais poderão ter um melhor acompanhamento dos alunos [LOY 98], sem que com isto tenham um aumento significativo em suas atividades. Acredita-se que a educação e treinamentos baseados na Web, que começou suas atividades apenas por volta de 1997, terá um mercado de 2 bilhões de dolares no ano 2000 [LAB 98].

Esta evolução teve um efeito direto na forma como algumas Universidades, como a Open University da Inglaterra e a Universidade do Iowa (Estados Unidostem disponibilizado atualmente alguns cursos, e buscado forma de utilizar o meio eletrônico para auxiliar na obtenção de informações para avaliar o aluno.

Existem também hoje, disponíveis no mercado, uma gama de sistemas que visam preencher este buraco, trazendo, através da Internet, informações mais detalhadas sobre a evolução do aluno no decorrer do curso. Pode-se destacar a nível mundial o CyberQ [TUC 95], Carnegie Mellon University [BRU 97] [REH 97], WebCT [GOL 97], TopClass [LEN 98] e o ClassNet [GOR 96]. A nível de Brasil, pode-se apresentar o AulaNet [LAB 98].

Foi através da observação destes sistemas, da forma como tratam a avaliação do aluno, bem como da necessidade de implantar-se uma metodologia de avaliação mais próxima do aluno, ou seja, que o veja mais de perto no seu dia-a-dia e que consiga captar o seu real estado de aprendizado, que busca-se através deste trabalho mecanismos que proporcionem ao professor, sem grandes conhecimentos tecnológicos e pouca utilização do seu tempo de trabalho, acompanhar a evolução do aluno, também através de mecanismos inovadores. Pois acredita-se que se o ambiente em que o aluno aprende é um sistema baseado na Internet, também deve ser através deste ambiente, rico em possibilidades, que o professor deverá obter informações suficientes para perceber se o aluno está avançando adequadamente no curso, e se ao final alcançou um bom nível de aprendizado, dentro das metas desejadas.

Acredita-se também, que é através da maneira como conduz-se a avaliação, uma das principais formas de comprovar-se a seriedade e a credibilidade de um curso. Isto evidencia-se ainda mais em um sistema de Educação à Distância, que exige, pela sua própria natureza, uma maior acompanhamento da evolução do aluno.

Tendo como base esta necessidade dos sistemas de Educação à Distância, o objetivo central deste trabalho é proporcionar ao professor, que trabalha a distância disponibilizando o conteúdo do curso em páginas Web, ferramentas que possam dar-lhe a exata situação no aprendizado do aluno, colocando a sua disposição mecanismos que venham a apresentar-lhe como está a participação do aluno no curso, como está se saindo nos exercícios e testes, etc.

Pode-se, então detalhar os objetivos deste trabalho como:

• baseado no modelo de Kirkpatrick [AME 97], elaborar uma estrutura que procure avaliar de forma completa o aluno via Internet;
• identificação da melhor forma para fazer-se o rastreamento (trilha de progresso) do aluno no curso e sua implementação;
• definição de um mecanismo que faça o controle do fluxo das informações trocadas entre os alunos e destes com o professor;
• elaborar um ambiente colaborativo, baseado na técnica Delphi [LAN 9?], onde os próprios participantes classificarão as melhores respostas a questionamentos feitos via Web.

Estas funcionalidades, deverão ser implementadas de tal forma, que o professor não necessite de grandes conhecimentos, a não ser a utilização do browser, bem como possa obter os resultados esperados sem grandes manobras e gasto de tempo. Mas que tudo esteja ao seu alcance de forma simples e direta.

O resultado será um protótipo implementando estas características.

Donald Kirkpatrick, desenvolveu uma estrutura, onde auxilia na tomada de decisões, bem como a estruturação da avaliação das atividades de aprendizado. Para tanto, recomenda que o processo de avaliação seja dividido em quatro níveis:

1. Reação: O aluno gostou da experiência? Neste nível é medida a satisfação do aluno com o processo de aprendizado. Procura-se tabular resultados e usá-los para avaliar a qualidade do aprendizado e compará-lo com experiências anteriores. Mede-se a participação nas atividades;
1. Aprendizado: O aluno captou o que esperava-se? Aqui determina-se, se ouve mudança nas atitudes do aluno, ou se novos conhecimentos e habilidades foram aprendidas. Pode-se obter estas informações através da observação da atuação do aluno e através de testes formais;
1. Comportamento: O aluno está aplicando o que aprendeu? Neste nível, o foco está na mudança de comportamento do aluno. Eles devem ser avaliados antes e depois da atividade de aprendizado, para ver se o seu comportamento foi alterado com a tarefa desenvolvida;
1. Resultado: Os objetivos do aprendizado foram alcançados? Aqui procura-se formas de verificar se o resultado final foi de acordo com os limites planejados.

Baseado nesta estrutura, o que pretende-se é montar um modelo que possa medir de forma adequada, com uma base teórica devidamente definida, a evolução do aluno no curso, proporcionando uma avaliação bastante completa.

Busca-se a melhor forma de fazer o rastreamento (trilha de progresso) do aluno no curso, registrando cada passo que é dado, e apresentando estas informações de forma que o professor possa ter a noção exata do andamento do curso.

A trilha de progresso é importante primeiramente porque permite ao professor monitorar o progresso dos alunos no curso, registrando cada passo dado, mostrando assim que tipo de acesso o aluno tem feito (unidades visitadas, ferramentas utilizadas, etc), bem como o tempo gasto com o acesso desses [GIB 97].

O mecanismo de rastreamento também é importante, pois pode ser um guia do aluno, em virtude dos recursos que tem utilizado, e das páginas que tem acessado, pode orientá-lo em como proceder para ter um melhor aproveitamento do material. Com o uso deste recurso dinâmico, o sistema mais facilmente se adaptará as diferentes necessidades dos alunos.

O foco aqui está em que a estratégia de avaliação está baseada na captura automática e análise sobre as ações do usuário. Fazendo assim com que busque-se algo além do estilo tradicional [HOO 98].

Procura-se identificar a melhor forma de registrar o fluxo das informações, eletronicamente, trocadas entre alunos e destes com o professor, procurando identificar os alunos mais ativos.

Para que das ferramentas de comunicação comumente usadas (correio eletrônico, salas de chat, listas de discussão) possam ser utilizadas em um processo de avaliação mais completo, elas devem ter registradas informações referentes a sua utilização. Para o serviço de e-mail deve-se ter, por aluno o número de bytes transferidos, o número de mensagens enviadas e recebidas, etc. Para as salas de chat, pode-se ter algumas salas, ou alguns momentos específicos, onde toda informação trocada seja registrada, guardando-se o autor de cada colocação. Para a lista de discussão deve-se ter registrado todas as perguntas/respostas dadas pelos alunos.

Tanto no chat como nas listas, deve-se ter relatórios que tragam um espelho do que ocorreu nestas ferramentas, apresentando o número de contribuições do aluno, tempo que ficou on-line, número de logins, sempre procurando ater-se também a qualidade da informação trocada [HOO 98].

Esta é uma maneira do professor perceber o interesse do aluno, pela qualidade de informações que ele troca com os seus colegas ou com o próprio professor. É interessante que se tenha mecanismos que facilitem o trabalho do professor, por exemplo agrupando as perguntas/respostas por aluno, e que se faça alguma crítica em cada informação transmitida.

A técnica Delphi, é uma técnica utilizada por um grupo de pessoas que estão fisicamente dispersos, e todo o processo está baseado em questionários enviados por um coordenador e a resposta dos participantes [LAN 9?]. É um método subjetivo, e portanto não tem maior fundamentação matemática.

Baseado nesta técnica, pretende-se montar um ambiente via Internet, onde pode-se apresentar e organizar estas informações, para que possam ser consideradas na avaliação do aluno.

A seguir estão detalhadas as etapas que compõem este trabalho e o tempo estimado para a execução de cada uma, através de um cronograma, o qual prevê também o período no qual será apresentado o seminário de andamento e o tempo necessário para que se escreva a dissertação.

1. Revisão bibliográfica: estudo das teorias e idéias que guiam a forma como a avaliação é feita nas instituições que trabalham com Educação à Distância;
2. Definicão do modelo de avaliação: seguindo o modelo de Kirkpartrick, definir uma estrutura para avaliação via Internet;
3. Rastreamento do aluno: identificação da melhor forma de se fazer o rastreamento do aluno;
4. Controle do Fluxo de Informações: identificação de informações que são úteis para o professor, no que refere-se ao fluxo eletrônico de informações, e a melhor forma de obtê-las;
5. Ambiente Colaborativo: seguindo a técnica Delphi, definir uma estrutura que favoreça a troca de informações entre os alunos via Web;
6. Seminário de andamento: apresentação para avaliação do trabalho realizado até o momento
7. Redação do texto da dissertação: realização da descrição do trabalho;
8. Revisão do texto: revisão do texto da dissertação junto ao orientador;
9. Entrega dos Exemplares: entrega do texto da dissertação à banca avaliadora;
10. Implementação: implementação dos mecanismos para avaliação do aluno via Internet;
11. Testes: testes do protótipo.

Atividade	Mar	Abr	Mai	Jun	Jul	Ago	Set	Out	Nov
A	X	X	X
B			X	X
C			X	X
D				X	X
E					X	X
F						X
G					X	X	X	X	X
H						X	X	X	X
I									X
J					X	X	X	X
K									X