A AVALIAÇÃO COMO INSTRUMENTO DE GESTÃO: a experiência do Programa de EAD da UNAMA

1. A AVALIAÇÃO COMO INSTRUMENTO DE GESTÃO: a experiência do Programa de EAD da UNAMA Larissa Sato Dias Universidade da Amazônia larissa@unama.br Milton Cordeiro Farias Filho Universidade da Amazônia miltonfarias@unama.br

2. Objetivos Geral • Avaliar o programa de EAD da Unama, de fevereiro/2004 a janeiro/2005, a fim de que sejam criados instrumentos que sirvam de base para a gestão da educação superior em programas de EAD. Específico • Discutir a avaliação como um dos instrumentos centrais na gestão da educação superior

3. Características • Cursos superiores de formação específica • Gestão de Órgãos Públicos • Gestão em Turismo • Gestão Empresarial • Desenvolvimento de Sistemas e de Software • Sistema semipresencial de ensino • 60% EAD • 40% Presencial • 350 alunos – 50 por turma

4. Municípios • Abaetetuba • População: 125.058 hab. • Distância de Belém: 150 km • Acesso: via terrestre e/ou fluvial • Barcarena • População: 68.604 hab. • Distância de Belém: 120 km • Acesso: via terrestre e/ou fluvial • Parauapebas • População: 81.427 hab. • Distância de Belém: 800 km • Acesso: via terrestre e aérea Fonte: IBGE, 2003

5. Infra-Estrutura • Salas de aula - momentos presenciais • Laboratório de informática com Internet - aulas práticas presenciais e EAD • SEAD - procedimentos administrativos • Sala de videoconferência – 2º semestre 2004

6. Metodologia • Regime modular • Guia de Estudos • Livro-texto • Professor-tutor • Monitor • Avaliação • Atividades à distância • Provas presenciais • Coordenador de curso

7. Procedimentos Metodológicos • Metodologia Quantitativa • Universo da pesquisa: totalidade de alunos matriculados • Período da coleta: março a maio/04 • Questionário fechado • 6 (seis) categorias ou partes • 51 questões fechadas • Um questionário por aluno para cada disciplina • Total: 549 questionários

8. Questionário – Parte I Avaliação Pedagógica – Presencial • Avaliar a qualidade do momento presencial e detectar os fatores que possam estar interferindo positiva e negativamente no processo ensino-aprendizagem deste momento • Planejamento • Trabalho em sala de aula • Atitudes professor • Avaliação processo ensino-aprendizagem • Uso do laboratório de informática

9. Questionário – Parte II Avaliação Pedagógica – EAD • Avaliar se estes elementos estão auxiliando no processo ensino-aprendizagem que acontece quando o professor está fisicamente longe do aluno • Guia de Estudos • Livro texto • Atividades e exercícios • Tutoria • Perfil dos alunos: pessoas que não tiveram contato ou experiência anterior com EAD

10. Questionário – Parte III Coordenação de Curso • Avaliar o desempenho do gestor do curso e seu relacionamento com a turma. • Auxiliar os coordenadores no direcionamento de sua gestão acadêmica • Atendimento a necessidades / informações • Relacionamento / contato

11. Questionário – Parte IV Infra-Estrutura e Serviços • Avaliar se a infra-estrutura oferecida pela instituição e o setor de apoio presencial, implantado em cada município, atendem às necessidades do aluno, contribuindo para sua satisfação no curso • Laboratório de informática • Recursos didáticos disponíveis • Atendimento SEADs

12. Questionário – Parte V Auto-Avaliação • Levar o aluno a refletir sobre seu papel enquanto sujeito ativo em seu processo de aprendizagem • Motivação • Satisfação • Nível de aproveitamento • Importância: aluno - pensar sobre seu papel no curso, expectativas e ansiedades, instituição - acompanhar e verificar se o rendimento está relacionado a fator motivacional

13. Questionário – Parte VI Monitoria • Avaliar a ação do monitor no processo de aprendizagem do aluno • Atendimento às dúvidas / solicitações • Relacionamento

14. Resultados e Discussão • Questões • Caráter afirmativo • Respostas com escala de 1 a 5 pontos • Resultados expressos em % • Satisfação do Aluno – SA • Aceitação do programa, metodologia e forma de execução • Proposta de avaliação direta c/ alunos • Âmbito + abrangente – entrevista e observação participante

15. Resultados e Discussão Tabela 1 – % SA Abaetetuba-PA. Fonte: pesquisa de campo * Monitoria não implantada

16. Resultados e Discussão Tabela 2 – % SA Barcarena-PA. Fonte: pesquisa de campo * Monitoria não implantada

17. Resultados e Discussão Tabela 3 – % SA Parauapebas-PA. Fonte: pesquisa de campo * Monitoria não implantada

18. Resultados e Discussão Avaliação Pedagógica Presencial (I) e EAD (II) • SAbem elevada (60,26% a 95,02%) - experiência pioneira • ↑ aula presencial, ↓ EAD

19. Resultados e Discussão Gestão Acadêmica (III) e Administrativa (IV) • Foco central de análise • SAbaixa (20,25% e 69,03%) - exceto GT

20. Resultados e Discussão Gestão Administrativa • Grande desafio do programa • SA entre 29,17% e 69,41% • Seleção de pessoal feita na sede do próprio município • Abaetetuba - SA muito baixa (29,17% a 39,88%) • Fator de grande preocupação - revisão do sistema e/ou critérios de seleção e condução do processo de treinamento

21. Resultados e Discussão Auto-avaliação (V) Cruzando I e II (60,26% a 95,02%) com V (59,46% a 92,22%) - não há disparidades → indicativo gestão acadêmica e administrativa: grande desafio para melhoria da SA

22. Resultados e Discussão Monitoria (VI) Monitoria não implantada em todos os municípios/cursos

23. Resultados e Discussão Monitoria - motivos da baixa SA: • 02 meses para implantação • Alunos desconheciam figura e papel do monitor • Dificuldades de comunicação alunos-monitores • Alunos sem experiência com e-mail • Deixaram questões em branco • Atribuíram notas muito baixas

24. Notas Conclusivas e Sugestões • Apenas um instrumento - índice de satisfação parcialmente construído • Incorporação de novas técnicas e procedimentos de coleta e análise dos dados • Necessidade e importância de instrumentos de avaliação contínuos e abrangentes → melhor direcionar ações pioneiras → problemas enfrentados mais rapidamente → intervenção de gestão mais envolvida.

25. Notas Conclusivas e Sugestões • SA diretamente ligada à eficiência e eficácia da gestão do programa de EAD • Aceitação da avaliação como instrumento eficiente de acompanhamento e planejamento de ações • Qualidade dos programas relacionada à capacidade de intervir em tempo real e com instrumentos variados • Implantação: levar em conta ≠ locais, não se tornar prisioneiro de sistema específico que possa excluir clientes potenciais (Rumble, 2003)

26. Notas Conclusivas e Sugestões • Ampliação dos instrumentos de avaliação • Qualidade da educação • Satisfação do aluno • Satisfação dos professores, técnicos, funcionários, comunidade local • Objeto de futuros estudos - medir grau de satisfação • Fazer da avaliação importante instrumento de gestão na educação, mas não o único.

27. Programa de Educação a DistânciaUniversidade da Amazônia Larissa Sato Dias larissa@unama.br Milton Cordeiro Farias Filho miltonfarias@unama.br

28. Cálculo • (Total de pontos máximos - total de pontos mínimos) para compensar a não existência da nota zero. • Zero foi considerado para efeito de somatória dos pontos; neste caso, representado pela nota 1. • Para efeito real, a escala variou de 0 a 4, transportada da mesma forma para a escala de percentual de 0 a 100%.