O Método de Avaliação SCAMPI Alexandre Vasconcelos

1. O Método de Avaliação SCAMPI Alexandre Vasconcelos SCAMPI

2. Método de Avaliação SCAMPI • Um método de avaliação tem como objetivo determinar o nível de aderência de um processo, ou conjunto de processos, à um modelo de referência • Um dos produtos do projeto CMMI é o método de avaliação SCAMPI – Standard CMMI Appraisal Method for Process Improvement SCAMPI

3. Método de Avaliação SCAMPI • Objetivos • Coletar dados para entender os processos implementados • Determinar o nível de aderência de um processo, ou conjunto de processos, nos projetos eleitos como representativos na organização, às práticas do CMMI • Determinar o grau de satisfação das metas investigadas na avaliação • Identificar pontos fortes e fracos do processo • Atribuir classificação (se requerido pelo patrocinador da avaliação) SCAMPI

4. Método de Avaliação SCAMPI: Principais Aspectos • Realizada colaborativamente por uma equipe liderada por um Lead Appraiser autorizado pelo SEI • Seleção do escopo organizacional • Unidade organizacional previamente definida em comum acordo com o contratante. • Verificação através de evidências objetivas • Informações qualitativas ou quantitativas, registros, declaração de fatos que caracterizam a implementação de elementos do processo SCAMPI

5. Método de Avaliação SCAMPI: Principais Aspectos • Implementação das práticas baseadas em Indicadores de Implementação das Práticas • “PII-based process appraisal” • Tipos de indicadores • Artefatos diretos, artefatos indiretos e afirmativas PP SP1.1-1 Artefatos indiretos: Atas de reuniões, Anotações do desenvolvimento do WBS Artefatos diretos: WBS, descrição de tarefas, descrição dos pacotes do projeto Estabelecer um WBS (work breakdown structure) de alto nível para o escopo do projeto Informações: “Eu trabalhei na equipe de definição do WBS”, “Eu utilizei o WBS como base para minhas atividades” SCAMPI

6. Método de Avaliação SCAMPI: Principais Aspectos • “Corroboração” das informações • Artefatos diretos combinados com artefatos indiretos ou informações obtidas em apresentações e entrevistas • Cobertura da avaliação • Evidências objetivas suficientes para a implementação de cada prática • Evitar avaliações baseadas somente em papel, devem haver afirmações declaradas (chamadas face-to-face F2F) • Pelo menos 50% das práticas de cada meta SCAMPI

7. Método de Avaliação SCAMPI: Classes de Avaliação SCAMPI

8. Método de Avaliação SCAMPI: Atividades • Planejar e preparar a avaliação • Média de tempo de três meses • Conduzir a avaliação • Média de 6-8 dias • Reportar os resultados da avaliação • Resultado preliminar • Resultado final • Ocorre imediatamente após a realização da avaliação SCAMPI

9. Método de Avaliação SCAMPI: Papéis em uma Avaliação • Participantes da avaliação • Patrocinador da avaliação • Gerentes de projeto • Lideres de equipe • Membros da equipe de desenvolvimento As pessoas a serem entrevistadas são selecionadas desde a fase do planejamento SCAMPI

10. Método de Avaliação SCAMPI: Papéis em uma Avaliação • Equipe de avaliação • Média de 4 a 5 pessoas • Líder da avaliação – Possui a responsabilidade geral sobre a avaliação • Membros da equipe - Se dividem em mini-equipes por área de processo a ser avaliada • Outras Responsabilidades a serem atribuídas na equipe: • Coordenador – responsável pela logística da avaliação • Bibliotecário – responsável por toda documentação da avaliação • Controlador do tempo • Todos devem tomar nota de tudo durante o processo • Equipe completa => REVISA TODO O TRABALHO • O resultado final de uma avaliação é consensual!! SCAMPI

11. Ratings de nível de capacidade e/ou maturidade Ratings de satisfação dos objetivos (metas) Caracterização da implementação das práticas (PIIs) em nível de unidade organizacional Caracterização da implementação das práticas (PIIs) em nível das instanciações (projetos) Processo de Obtenção de Ratings SCAMPI

12. Caracterização da Implementação SCAMPI

13. Regras de Agregação em Nível de Processos SCAMPI

14. Exemplo de Diagnósticodo Nivel de Maturidade SCAMPI

15. Resultado do Diagnóstico do Setor XXX SCAMPI

16. Objetivos • A finalidade do diagnóstico é prover visibilidade para a gerência do setor XXX a respeito da aderência dos processos e práticas da unidade ao nível 2 do CMMI; • Para atingir o objetivo proposto, se torna indispensável o entendimento a respeito do status atual dos processos e práticas quanto ao atendimento ao nível 2 do CMMI. SCAMPI

17. Descrição dos Papéis na Avaliação SCAMPI

18. Condução do Diagnóstico • Conduzido por: Alexandre Vasconcelos e ... • Data: de xx/yy/zz a xx/yy/zz • Local: XXX • Técnica: • Processo adaptado do método de avaliação oficial CMMI, com menos rigor, tempo e envolvidos • Entrevistas a membros da equipe • Análise de documentos • Foram realizadas x sessões de entrevistas com um total de y pessoas e algumas entrevistas informais complementares. SCAMPI

19. Escopo Avaliação • Escopo: Unidade de Sistemas • Projetos XXX e YYY • Tipos de Serviços Avaliados • Desenvolvimento de Sistemas e Manutenção • Escopo do Modelo • Nível de maturidade 2 do CMMI, com exceção da Área de Processo SAM - Gerência do Contrato do Fornecedor, por entendermos como não aplicável SCAMPI

20. Riscos da Avaliação • A avaliação não foi realizada no nível de profundidade de uma avaliação oficial • Nem todas as subpráticas foram analisadas • Não houve corroboração das informações coletadas • Nem todos os documentos associados foram analisados SCAMPI

21. Critérios de Avaliação • Foi julgado para cada prática: • Definição de Processos: quanto a prática está documentada em relação a como deve ser realizada • TD: Totalmente Definido • LD: Largamente Definido • PD: Parcialmente Definido • ND: Não Definido • NR: Não Definido • Institucionalização: quanto a prática está em uso na organização • TI: Totalmente Implementado (os dois projetos atendem) • LI: Largamente Implementado (um projeto atende, e o outro está quase) • PI: Parcialmente Implementado (Os dois projetos atendem parcialmente / um dos projetos atende e ou outro não) • NI: Não Implementado (Nenhum dos projetos executou a prática / ou um dos projeto executou parcialmente) SCAMPI

22. Dados Organizacionais SCAMPI

23. A Empresa (1) – Descrição • Objetivo da obtenção do CMMI-2 • Controle e Melhoria do processo de desenvolvimento • Marketing, vantagem competitiva no mercado, exportação de software. • Missão/Negócio • Usar a melhor solução tecnológica para satisfazer os clientes dos clientes. • Tamanho • X pessoas: y diretores, z pessoas administrativo-financeira, n pessoas de suporte ao usuário e o restante como desenvolvedores. SCAMPI

24. Diretoria Geral SQA Conectividade e Segurança Consultoria Organizacional Unidade de Sistemas (USI) Foco da certificação Unidade Administrativa/ Financeira A Empresa (2) – Organograma SCAMPI

25. Papel CMMI Papel na Empresa Gerência Sênior Diretor geral Gerente de Projetos Outros diretores SQA Engenheiro de Qualidade Gerente de Configuração Acumulado pelo SQA. Gradativamente passando para os projetos A Empresa (3) • Mapeamento dos papeis do CMMI nível 2 nos papéis da organização SCAMPI

26. Propósito Ferramenta GC CVS, Ant + XML (geração de builds) Controle de Mudanças Helpdesk da Portais, Mantis Word, Access (tracking) RM PP/PMC MS Project, AllNetic Time Tracker A Empresa (4) • Ferramentas SCAMPI

27. Dados dos Projetos Avaliados SCAMPI

28. Dados dos Projetos • A empresa atualmente possui um total de x projetos de desenvolvimento / manutenção de software • Os x projetos foram avaliados, com o objetivo de se conhecer as principais características dos projetos desenvolvidos na empresa • Tipo de cliente • Objetivos • Ciclo de vida • Identificar a atividade primária (desenvolvimento ou manutenção) • Tamanho da equipe • Cronograma • Aspectos de Sub-contratação SCAMPI

29. Dados de Projetos • Os projetos de evolução têm ciclos pequenos de desenvolvimento (1 mês). • Projetos de curta duração < 1 ano utilizam o ciclo em cascata. • Projeto mais longos utilizam o ciclo iterativo e incremental. • Podem existir projetos com uma única pessoa. SCAMPI

30. Projeto XXX • Cliente • YYY • Objetivo • Abc... SCAMPI

31. Projeto XXX • Equipe do projeto • 1 desenvolvedor em tempo integral; 1 gerente em tempo parcial. • Modelo de ciclo de vida adotado • cascata • Cronograma • Inicio em xx/yy/zzzz • Atualmente o projeto encontra-se na etapa de Análise e Projeto • Situação atual: no prazo SCAMPI

32. Resultados da Avaliação SCAMPI

33. Resultados – Práticas Genéricas SCAMPI

34. Resultados – Definição de Processos SCAMPI

35. Resultados – Institucionalização SCAMPI

36. Existe política definida para os processo Os recursos necessários são disponibilizados para a equipe As responsabilidades estão bem definidas pelo processo Os papéis na área de medição precisam ser melhor definidos Treinamentos nos processos foram realizados Os processos estão sendo avaliados pelo SQA Com exceção do processo de MA, que sofreu apenas uma auditoria Nem todos aparentam conhecer a política dos processos Nem todos os processos estão sendo seguidos, em geral os processos não estão sendo controlados nem por medições nem por atividades planejadas X realizadas (a PA de medição está tendo a institucionalização iniciada) O acompanhamento dos processos está sendo feito de maneira informal e sob demanda pela alta gerência O grupo de SQA não está sendo avaliado quanto a aderência Práticas Genéricas – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

37. Criação de protótipos para homologação dos requisitos definição de critérios de aceitação e de provedores de requisitos A aceitação dos requisitos está sendo realizada através de um checklist Algumas reuniões não estão sendo documentadas (comprometimento da equipe interna); O processo de gestão de mudanças ainda não foi executado; Atenção: O conceito de mudança de requisitos está com foco em mudanças solicitadas pelo cliente (mudanças levantadas internamente) Um dos projetos não tem matriz de rastreabilidade (análise de impacto empírica); REQM – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

38. PP – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

39. PMC – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

40. MA – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

41. PPQA – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

42. CM – Principais Aspectos Pontos Fortes Desvios Encontrados SCAMPI

43. Observações Gerais Informações não relacionadas com o CMMI SCAMPI

44. Aspectos Gerais • Pontos fortes • Existe um grupo de definição de processos atuante; • Existe um processo de testes definido; • A empresa tem certificação ISO9001 (cultura de qualidade). • Observações • O papel e a composição da gerência sênior precisa ser melhor trabalhado internamente e o processo precisa ser ajustado • Não está claro para a equipe de desenvolvimento o papel de cada um dos coordenadores • Necessidade de melhor conhecimento sobre o organograma da empresa, papéis e responsabilidades de alguns cargos SCAMPI

45. Recomendações Gerais SCAMPI

46. Recomendações Gerais • Recomendação 1: xxx. • Recomendação 2: yyy. • Recomendação 3: zzz. SCAMPI