Avaliação em Cursos On-Line

1. Avaliação em Cursos On-Line Maria Elizabeth Bianconcini de Almeida Pontifícia Universidade Católica de São Paulo Programa de Pós-Graduação em Educação: Currículo bethalmeida@pucsp.br

2. Agenda de trabalho • Palestra • Concepção de avaliação • Educação on-line • Currículo e avaliação • Avaliação on-line • concepção, critérios e estratégias de avaliação • O portfólio como estratégia de avaliação on-line • Exemplos • Discussão de caso: Projeto Gestão Escolar e Tecnologias • Conclusão

3. O que significa avaliação?

4. Significado da palavra avaliação ato ou efeito de avaliar(-se) - estabelecer a valia, o valor ou o preço de cálculo do valor de um bem ou de bens Derivação: valor determinado por quem avalia apreciação ou conjectura sobre condições, extensão, intensidade, qualidade etc. de algo verificação que objetiva determinar a competência, o progresso etc. de um profissional, aluno etc. Dicionário Houaiss da Língua Portuguesa

5. O que é avaliação? • Integra dimensões qualitativa e quantitativa. • Avaliação é inerente ao agir humano • Ação que envolve formular juízo de valor e tomada de decisão • Processo complexo, cultural e contextualizado • Relacionado a expectativas e perspectivas teóricas • constante tensão • Envolve aspectos epistemológicos, políticos, éticos e culturais • concepções, princípios, dimensões e finalidades da avaliação: são interdependentes

6. O que é avaliação? Concepções não são excludentes: a avaliação considera tanto a relação entre o sujeito e o objeto como o conhecimento objetivo. • Conceito polissêmico • Elemento fundamental da avaliação: • conhecimento que o sujeito e o objeto, individual e coletivamente, constroem ao longo do tempo • Avaliação opera com referências valorativas coerentes com certa visão de mundo • conhecimento da ciência positivista: avaliação voltada ao objeto. • pensamento complexo, filosófico: privilegia a relação sujeito/ objeto (envolve intuição e sensibilidade)

7. O que, quando e por que avaliar? • Avaliação: • realizada em diferentes situações, instituições e relações sociais com distintas finalidades • possui características de intencionalidade consciente • Inerente a todo processo educativo: presencial, a distância ou híbrido • Avaliação em Educação: • Características próprias • Marcada pela diversidade • Se realiza em processos de: • políticas públicas, sistema educacional, escola, cursos • programas, projetos • currículo, material didático • ensino, aprendizagem

8. Educação on-line • Desafio para educadores e instituições • Integra contexto virtual e presencial com a mediatização das tecnologias digitais de informação e comunicação – TDIC • Caracterizada pela articulação entre cognição e tecnologia • Sistema apropriado de comunicação, produção e gestão • Novas possibilidades comunicativas: diferentes padrões de interação social • exigem do professor e do aluno competências no processo de (re)construção de conhecimento • impulsionam mudanças nas formas de ensinar, aprender, desenvolver o currículo e avaliar

9. Avaliação on-line: enfrentar conflitos não resolvidos da educação

10. Superar abordagens alicerçadas em princípios da organização industrial (Peters,1983): Produção em massa, racionalização e divisão do trabalho Distribuição uniforme de informações Controle dos caminhos Abordagem com foco na aprendizagem, a qualquer tempo, de qualquer lugar: Contextualização Descentralização Flexibilidade Abertura Diversidade Diálogo Educação on-line: diferentesabordagenseducacionais

11. Educação on-line: diferentesabordagenseducacionais • Otimiza os métodos instrucionais • Rápida emissão e distribuição de informações • Controle da participação e dos produtos • Atendimento individualizado • Feedback imediato • Avaliação automatizada • Currículo padronizado • Propicia a construção de conhecimento • Autonomia na busca de informações • Interação e colaboração • Acompanhamento e orientação do aluno • Atendimento individualizado • Feedback personalizado • Avaliação formativa • Currículo reconstruído na ação A avaliação é coerente com a concepção de currículo assumida.

12. De qual currículo tratamos? Qual a relação entre currículo e avaliação?

13. De qualcurrículotratamos? • Currículo que se desenvolve com a mediatização das TDIC (ALMEIDA e VALENTE, 2011) • incorpora as características e funcionalidades dos ambientes, ferramentas e interfaces das TDIC na formação • registrado nos documentos digitais e nas atividades que se desenvolvem por meio das TDIC • disponível para análise, recriação e novos registros • Currículo em rede • expressa a vida daqueles que fazem parte da rede • suas experiências e a realidade que enfrentam dentro e fora da escola, • os valores, crenças, conhecimentos, afetos e desafetos. • Integra conhecimento do senso comum e conhecimento científico

14. De qualcurrículotratamos? conteúdo Estratégias pedagógicas Forma: modo de representação Experiências dos aprendizes e professores As relações entre currículo e tecnologias se estabelecem para além dos meios e envolvem as mensagens, os contextos e os significados construídos.

15. Educação e currículo on-line • As TDIC são estruturantes do currículo e potencializam: • Interação multidirecional: interlocução todos-todos • participação de qualquer lugar, a qualquer tempo • expansão das atividades cognitivas: tecnologias da inteligência • narrativas curriculares individuais que se desenvolvem por meio de múltiplas linguagens: • verbal, icônica, sonora, visual, hipertextual • diferentes percursos, diversos pontos de partida e chegada • “estar junto virtual” (Valente) • Produção colaborativa de conhecimento: coautoria • Currículo e TDIC: interferências e transformações mútuas • Currículo reconstruído na ação • WEB CURRÍCULO: incorpora o potencial das TDIC abertas, móveis, imersivas, interativas, conectadas à internet (ALMEIDA, 2010)

16. Conflitos e desencontros entre discursos e práticas sobre currículo Qual currículo é hoje praticado? Currículo instituído • Seleção cultural institucional, marcada por opções e valores relacionada com o contexto sócio-político-econômico de determinado momento histórico. • Fragmentado (grade) • Pedagogia disciplinar • Estável e hierárquico: base na organização dos alunos no tempo e espaço escolar • Avaliação: exames pontuais • Planejamento é “aplicado” • Políticas curriculares atuais • Educação cultural UNESCO • Ensino técnico profissional Referenciais curriculares - currículo integrado • Trabalho e Educação • Teoria e prática • Na realidade • Diferentes pedagogias e formas de avaliação - “vale tudo”

17. Currículo e avaliação on-line Estamos realmente explorando o potencial das TDIC no desenvolvimento do currículo e nos processos de avaliação? Questões não resolvidas na educação presencial...

18. Currículo e avaliação on-line Será que a avaliação que realizamos funciona como um diagnóstico para a melhoria da formação e da aprendizagem ou como instrumento de certificação? A avaliação é formadora ou é um modo de classificar os alunos? Será um instrumento de inclusão e permanência do aluno ou de exclusão e desistência? Estamos incorporando as potencialidades das TDIC para desenvolver o currículo, a avaliação diagnóstica e formadora ou apenas realizamos a avaliação somativa?

19. Avaliação on-line Avaliação somativa Avaliação formadora Trabalhos digitais: produções do aluno compartilhada com colegas, professor... Professor: analisa e toma decisão sobre a orientação que pode propiciar avanços na aprendizagem Aluno: reformula o trabalho Registros das etapas de evolução: indicativos de aprendizagem Avaliação: regulação formação e da aprendizagem individual. Fundamentos em: Hadji (2001) – avaliação formativa e contínua Perrenoud (1999) – objeto de aprendizagem do aluno Luckesi (1995) - instrumento de diagnóstico Questões de múltipla escolha, verdadeiro/ falso: diferentes combinações • Banco de questões objetivas • Respondidas de qualquer lugar e a qualquer tempo • Correção instantânea / gabarito • Feedback automático e imediato • Aplicação: para todos os alunos de um curso ou um único aluno, quantas vezes necessário • Finalidade: avaliação, estudo simulado ou recuperação. • Avaliação: mensurar resultados • Fundamento: teorias tecnicistas e comportamentalistas

20. Avaliação on-line Ultrapassa o nível do professor e do aluno.

21. Avaliação on-line formadora • Avaliação da aprendizagem, do ensino, do curso ou atividade, da instituição... • distintas dimensões do processo educativo (pedagógica, tecnológica, de gestão, acadêmica) • Processo de reflexão dinâmico numa perspectiva crítica com base na coleta e análise sistemática de informações • Impulsiona mudanças no currículo (conteúdo e estratégias de formação) • Autoavaliação: ajuda o aluno em seu desenvolvimento mobilizando-o para analisar seu processo de aprendizagem com vistas a compreender as próprias dificuldades e buscar estratégias adequadas para superá-las: • propicia ao aluno formular juízo de valor

22. Avaliação on-line formadora • Distintos instrumentos de diagnóstico • Resolução de problemas, desenvolvimento de projetos (HERNANDEZ, 1998) • Criação de portfólios on-line individuais, de grupos... • Publicação da produção ao longo do curso • Organização de textos, figuras, gráficos e outras produções • portfólios podem ser criados em sites ou em sistemas próprios • Registros de fóruns e salas de bate-papo, site, blog do aluno ou PLE (ambientes pessoais de aprendizagem) • Mudança nos papéis do professor e do aluno • Professor: criador de situações de aprendizagem com múltiplas possibilidades de exploração • Aluno: sujeito ativo, com capacidade de produzir, partilhar e interferir sobre o conteúdo em estudo.

23. aspectos pedagógicos x tecnologias de suporte instrução x construção de conhecimento provas padronizadas X atividades contextualizadas diálogo e comunidade aberta X normas do ensino formal reprodução de informações X busca de informações, articulação e produção do aluno uso de jogos x criação de jogos pelos alunos Reflexão sobre prática x execução do ofício Avaliação on-line dilemase tensões

24. Avaliação on-line: dilemas e tensões Como enfrentar esses dilemas nas condições de trabalho atuais? Como trabalhar com a análise dos conceitos, procedimentos e atitudes mobilizados nas produções dos alunos com o uso das TDIC? Como propiciar a integração de conhecimentos cotidianos com os conhecimentos sistematizados em livros, internet e outros suportes? A solução será optar por um dos eixos dessa tensão?

25. Convivência com dilemas e tensões Reconhecer as características de ferramentas e interfaces das TDIC que favoreçam a criação de estratégias de avaliação processual e formativa. Destaque para o uso de portfólios e ambientes pessoais de aprendizagem. • Avaliação como parte do processo de aprendizagem: • acompanhar de forma contínua os processos interativos, os caminhos cognitivos e as produções dos alunos • Convivência de diferentes modelos nas práticas e procedimentos de avaliação: • a estrutura e o funcionamento dos sistemas educacionais preconizam procedimentos avaliativos com base em notas, certificação e classificação • a avaliação contínua e formativa convive com limitações tanto de ordem legal como teórica e metodológica.

26. O portfólio como estratégia de avaliação on-line • Modalidade de avaliação: origem no campo da arte • arquivo ou pasta colecionadora (suporte físico) das obras relevantes do artista • percurso profissional e explicita as competências • Fundamento: natureza evolutiva do processo de aprendizagem • traz as evidências das aprendizagens do aluno • permite identificar a forma como são analisados os objetivos da aprendizagem e analisar o que foi ou não cumprido e o que ocorreu e não era previsto

27. O portfólio digital como estratégia de avaliação on-line • Instrumento de avaliação e de aprendizagem em diferentes níveis e modalidades de ensino: • Cursos, desenvolvimento profissional, atividades reflexivas de formação • Diferentes suportes: CD-ROM, DVD, pen drive • Potencializado pela internet: web portfólio, e-portfólio ou webfólio, PLE • colecionar, selecionar e compartilhar a produção significativa de uma pessoa durante seu percurso de formação ao longo da vida • condição de desenvolvimento pessoal e profissional • organização do processo de construção do cohecimento

28. Webfólio e a avaliação on-line Experiência envolve o fazer e o refletir sobre o fazer. • Webfólio: • portfólio reflexivo integrado a um “repositório digital” • permite ao autor: • selecionar os trabalhos que deseja armazenar para uso posterior • reelaborar de seus processos e produções • estabelecer conexão com os repositórios de seus pares e com a sua comunidade virtual de aprendizagem • escrever a própria história, rever caminhos percorridos e aprofundar a reflexão sobre eles • exercício de seleção do que é relevante • atividade de organização, análise e síntese da experiência

29. Análise de um cenário A profa. Maria Alice foi convidada a participar como docente autor (conteúdo e atividades) de uma disciplina de um curso de especialização a distância. A disciplina tem 40h de curso, com 28h a distância e 12h presenciais em 3 encontros de 4h. O objetivo da disciplina é tratar da Legislação da Educação a Distância no Ensino Superior. Os alunos podem ser avaliados tanto em atividades presenciais como a distância e, cabe à Profa. Maria Alice especificar também como pretende desenvolver o processo de avaliação dos alunos. Vamos ajudar Maria Alice em sua tarefa de conceber o processo de avaliação da disciplina?

30. Exemplos A participação e os comentários do professor são referência para a postura dos alunos e há que haver reciprocidade e compromisso de todos. • Gomes (2005), Universidade do Minho: • uso de blog como portfólio digital no ensino superior • na organização e apoio à aprendizagem • instrumento de avaliação e acompanhamento longitudinal do aluno – participação, processo e produtos • Charczuk E Menezes (s/d), Curso de Pedagogia – UFRGS • uso de blog gratuito naconstrução de portfólios digitais de aprendizagens e nos processos de avaliação • Fonseca (2006), curso de Comunicação Social, Universidade de Uberaba • proposta de avaliação de uso sistemático do blog • contribuição para a conscientização dos alunos sobre o desenvolvimento de seus conhecimentos

31. Dificuldades e avanços • Usos de webfólio mostram algumas dificuldades: • fazer com que os alunos comentem criticamente os portfólios dos colegas e suas produções • baixa qualidade da conexão à internet para o trabalho online • pequena capacidade de armazenamento e o modo de organizar as informações de algumas ferramentas e interfaces • Tempo do professor para ler e comentar as produções dos alunos • Uso de PLE - Personal learning Environments: associado a ferramentas da Web 2.0 • ambiente auto-controlado: personalização e gerenciamento do ambiente faz parte do processo de aprendizagem (ATTWELL, 2007) • aprendizagem ocorre em processo, o aprendiz tem papel ativo na organização e produção de seus próprios materiais de aprendizagem

32. Estudo de caso específico: Projeto Gestão Escolar e Tecnologias (PUC/SP, 2004 a 2009)

33. Formação de gestores para a gestão das tecnologias das unidades do ensino e para a incorporação de recursos tecnológicos no trabalho da gestão escolar Projeto Gestão Escolar e Tecnologias - GET(PUCSP, 2004 a 2009) Desenvolvidos em parceria com Secretarias de Educação de vários estados • Formação continuada em serviço : • Experiência • Reflexão • Especificidades do trabalho do gestor Gerou diversos estudos, artigos em periódicos, livros, teses e dissertações

34. Em 2008 o Projeto Gestão Escolar e Tecnologias foi recontextualizado para a realidade do ensino técnico e tecnológico (Centro Paula Souza) O curso se desenvolveu na modalidade híbrida e on-line (68% distância – usando AVA e 32% presencial) 118 unidades de ensino (105 escolas técnicas e 13 faculdades de tecnologia) envolvendo 450 profissionais: diretores, coordenadores pedagógicos e professores que atuam em posição de liderança e em órgãos de gestão

35. As tecnologias que dão suporte para a formação on-line: estruturantes do currículo e da avaliação, instrumentos de uso em práticas de gestão e objeto de reflexão sobre como gerir sua utilização na escola Princípios educacionais Unidade escolar: organização viva, aprendente, geradora de conhecimento (Fullan, Hargreaves, 2000) e de políticas responsável pelo desenvolvimento do currículo. Repensar a educação de forma mais ampla integrando as dimensões: da gestão, pedagógica, técnico-administrativa, social e política.

36. Gestão Escolar e Tecnologias:diversas edições transformação e contextualização

37. Sistema de avaliação Instrumentos de coleta de dados Cronograma de aplicação dos instrumentos Análise de dados Uso dos resultados na tomada de decisões • Avaliação do projeto e da aprendizagem • Avaliação do projeto • Avaliação interna • Avaliação externa

38. Avaliação Interna do projeto Investigação reflexiva, crítica e constante COMPREENDER AS INTER-RELAÇÕES ENTRE AS DIVERSAS DIMENSÕES DO PROJETO Reformulações necessárias sem perder os propósitos do projeto

39. Gestão Escolar e TecnologiasAvaliação do projeto - qualiquantitativa IMPACTO – uso do software CHIC -Questionários on-line (Q1 e Q2 – início e final do curso) -Entrevistas semi-estruturadas: escolas, após término do curso PROCESSO -Análise dos Memoriais reflexivos dos alunos - portfólios -Informações coletadas periodicamente junto aos professores RESULTADOS -Notas obtidas pelos alunos -Freqüência, evasão -Informações colhidas em grupo focal

40. Avaliação de impacto • Verificação de mudanças significativas na realidade em que as ações do Projeto foram desenvolvidas. • Metodologia para avaliação de impacto: • Questionários paralelos on-line: Tipo “antes – depois” • Uso do CHIC na análise dos dados: árvores hierárquicas de inter-relação entre os dados • Q1: perfil do gestor em relação ao uso das TIC na gestão • Q2: mudanças na conscientização da importância das TIC na gestão; proposição, revisão, otimização de ações com o uso das TDIC • Entrevista nas UE: • implementação das ações e projetos nas EU • fatores que favoreceram a implementação, resistências e dificuldades

41. Avaliação da aprendizagem • Ponto de Partida: diagnóstico • Os cursistas produziram em equipe (grupo gestor da UE) um vídeo sobre a marca da sua unidade de ensino. • Demandou de cada equipe revisitar a própria UE, identificar as potencialidades, restrições contextuais e reais de uso das TDIC – diagnóstico. • Processo e produto: • ação de uso das TDIC na gestão da UE • projeto de gestão das tecnologias da UE • Acompanhamento pelo formador por meio de interações no ambiente virtual e produções organizadas no portfólio • Relatório da ação e do projeto: uso de banco de dados pelo formador - categorias e subcategorias evidenciados • Auto-avaliação: memorial reflexivo • Acompanhamento da implantação inicial do projeto

42. Sistema de informações para a formação • Geração e fluxo de documentos • Coleta, análise e uso das informações para a tomada de decisões • Socialização das informações: atribuição de sentido • Formulários de acompanhamento • Qualitativo • Quadro de atividades da formação, práticas na unidade de ensino e projetos • Banco de dados

45. Lições Aprendidas • Diagnóstico inicial: • atendimento às especificidades contextuais • Processo de avaliação concomitante ao andamento do projeto: • procedimentos estatísticos, análise qualitativa e estudo de caso • avaliação em três dimensões: processo, resultados e produto • Concepção, procedimentos e critérios de avaliação da aprendizagem: • Socializados e compreendidos pelos cursistas

46. Lições Aprendidas • Aumento da escala de atendimento: • procedimentos padronizados para a gestão de informações, documentos e processos: • Orientação explícita sobre produção, fluxo, armazenamento e recuperação de documentos • Objetividade na definição de informações relevantes para subsidiar as decisões • Formação em serviço e integrada à pesquisa: • formação-ação-reflexão • reconstrução contínua da formação

47. Referências ALMEIDA, M. E. B. ; VALENTE, J. A. Tecnologias e Currículo: trajetórias convergentes ou divergentes? São Paulo: Paulus, 2011. ALMEIDA, M. E. B. Web Currículo, caminhos e narrativas. In: Anais do II Seminário Web Currículo.[publicação em CD-ROM]. São Paulo: PUC-SP, 2010. ATTWELL, G. Personal Learning Environments-the future of eLearning? ELearning Papers 2. (2007): 1-8. CHARCZUK, S. B.; MENEZES, C. S. A utilização de blogs como portfólio de aprendizagens e procedimento de avaliação interdisciplinar no curso de pedagogia a distância(PEAD/UFRGS). s/d. Consulta em 18/01/2010:http://www.pead.faced.ufrgs.br/sites/publico/pead-informacoes/comun_SIMONEB24.pdf FONSECA, A. A. O uso do diário virtual (blog) como portfólio digital: uma proposta de avaliação. In: Intercom – Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. XXIX Congresso Brasileiro de Ciências da Comunicação – UnB, 2006. GOMES, M. J. Blogs: um recurso e uma estratégia pedagógica. In: VII Simpósio Internacional de Informática Educativa – SIIE05 Leiria, Portugal, 2005. Disponível: https://repositorium.sdum.uminho.pt/ (acesso 15.12.2009) HADJI, C. Avaliação desmistificada. Porto Alegre: ARTMED, 2001. HERNÁNDEZ, F. Transgressão e mudança na educação: os projetos de trabalho. Porto Alegre: Artmed, 1998. VALENTE, J. A. A espiral da aprendizagem e as tecnologias da informação e comunicação: repensando conceitos. In: JOLY, M. C. R. A. (Org). A tecnologia no ensino: implicações para a aprendizagem. São Paulo: Casa do Psicólogo, 2002.

48. Avaliação em Cursos On-Line Maria Elizabeth Bianconcini de Almeida Pontifícia Universidade Católica de São Paulo Programa de Pós-Graduação em Educação: Currículo bethalmeida@pucsp.br