Download
1 / 32
360 likes | 890 Views
Programas Interlaboratoriais. O que s
E N D
1. AVALIAÇÃO de ENSAIO DE PROFICIÊNCIA Alice M. Sakuma
Instituto Adolfo Lutz
alice@ial.sp.gov.br
2. Programas Interlaboratoriais O que são?
Por que participar?
Para que servem?
Qual a relação custo x benefício?
Qual a relação entre participação em PIs e confiabilidade dos resultados?
3. Definições Comparação Interlaboratorial/Programa Interlaboratorial (PI)
“Organização, desempenho e avaliação de ensaios nos mesmos itens ou em itens de ensaio similares por dois ou mais laboratórios de acordo com condições pré-determinadas” (ABNT ISO/IEC 43-1)
Ensaio de Proficiência
“Determinação do desempenho de laboratório por meio de comparação interlaboratorial” ( ISO 3534-1)
4. Programas Interlaboratoriais É uma das ferramentas da garantia da qualidade e do controle da qualidade;
É umas das formas mais transparentes de demonstrar a competência de laboratórios, com pouca oportunidade de falsificação ou manipulação dos resultados;
Outras ferramentas são:
1. uso de materiais de referência certificados;
2. uso de métodos validados;
5. Por que Participar de PIs? “Ensaio de Proficiência fornece aos laboratórios participantes um meio objetivo de avaliar e demonstrar a confiabilidade dos dados produzidos.”
Protocolo harmonizado
Ajuda o laboratório participante a avaliar a exatidão dos seus resultados;
ISO 5725-1994
É recomendado aos laboratórios acreditados ou em fase de acreditação;
6. Por que Participar de PIs? Diminuir divergências de resultados entre laboratórios;
Minimizar os prejuízos às empresas e aos órgãos regulamentadores;
Fornecer confiança adicional aos clientes;
Identificar diferenças interlaboratoriais.
7. Por que Participar de PIs? NBR ISO/IEC 17025
4. Requisitos de Gerenciamento: 4.14. Análise Crítica pela Alta Administração
Analisar periodicamente o sistema da qualidade e as atividades de ensaios e calibrações, para garantir adequação e efetividade:
resultados de comparações interlaboratoriais e ensaios de proficiência;
adequação de políticas e procedimentos;
relatórios gerenciais;
resultados da auditoria interna;
ações corretivas e preventivas;
avaliações por organismos externos;
mudanças no tipo e volume do trabalho;
informações de clientes; reclamações;
treinamento do pessoal; etc.
8. Por que Participar de PIs? NBR ISO/IEC 17025
5. Requisitos Técnicos
5.4. Métodos de Ensaio e Calibração e Validação de Métodos
Validação de métodos: é a confirmação por exame e fornecimento de evidência objetiva de que os requisitos específicos para um determinado uso pretendido são atendidos.
calibração usando padrões ou materiais de referência;
comparação de resultados obtidos por outros métodos;
comparações interlaboratoriais;
avaliação da incerteza dos resultados.
9. Por que Participar de PIs? NBR ISO/IEC 17025
5. Requisitos Técnicos
5.6. Rastreabilidade das Medições
Calibração: Certas calibrações não podem ser feitas estritamente no SI de unidades.
Nestes casos a confiabilidade deve ser obtida pelo uso de:
materiais de referência certificados;
métodos especificados e/ou padrões de consenso;
participação em programas de comparações interlaboratoriais.
10. Por que Participar de PIs? NBR ISO/IEC 17025
5. Requisitos Técnicos
5.9. Garantia da Qualidade dos Resultados
Procedimentos de controle da qualidade dos ensaios e calibrações
Uso de materiais de referência certificados;
Participação em comparações interlaboratoriais ou ensaios de
proficiência;
Replicar os ensaios e calibrações, usando os mesmos métodos ou métodos diferentes;
Correlacionar os resultados para diferentes características de um item.
11. Por que Participar de PIs? INMETRO - NIT-DICLA-026 – Rev. 02 – junho/03
Requisitos sobre a participação dos laboratórios de ensaios em atividades de ensaio de proficiência
Item 8.1 : Os laboratórios devem demonstrar a competência técnica na realização dos ensaios acreditados por meio da participação satisfatória em atividades de ensaio de proficiência, onde tais atividades estiverem disponíveis.
12. Por que Participar de PIs? INMETRO - NORMA Nº NIT-DICLA-026 – Rev. 02 – junho/03
Item 8.4 - Requisitos sobre a participação dos laboratórios de ensaios em atividades de ensaio de proficiência, os resultados da participação em Pis são monitorados pelo INMETRO para assegurar que laboratórios. com desempenho insatisfatório tomem as ações corretivas ou poderão ter a acreditação cancelada
13. Para que participar de PIs? Os PIs avaliam a habilidade do laboratório em realizar ensaios de forma competente e podem incluir avaliação:
1. pelo próprio laboratório;
2. por seus clientes;
3. pelos organismos de acreditação/habilitação ou regulamentadores
14. Benefícios da Participação em PIs Avalia a necessidade de treinamento;
Melhoria na qualidade dos serviços prestados;
Diminui o número de re-ensaios;
15. Benefícios da Participação em PIs Melhora a confiabilidade metrológica dos dados emitidos pelo laboratório;
Auxilia na identificação dos tipos de erros cometidos pelo laboratório (sistemáticos e/ou aleatórios);
Monitora as metodologias, analistas e a calibração dos equipamentos;
16. Objetivos de PIs Avaliar o desempenho dos laboratórios atuantes na área;
Estimular os participantes a apresentar desempenho satisfatório;
Permitir que o laboratório participante avalie seu desempenho ao longo do tempo;
Permitir que o laboratório participante compare seu desempenho com os demais laboratórios;
Deve permitir que os provedores observem se houve uma melhoria no desempenho ao longo do tempo;
17. ENSAIO DE PROFICIÊNCIA PARA CHUMBO EM SANGUE do IAL
18. Tipos de Programas Interlaboratoriais Programas qualitativos: identificar componentes de um item de ensaio;
Programas com um único item de ensaio: um item de ensaio é enviado sequencialmente aos participantes;
Programas contínuos: frequência de rodadas definidas;
19. Tipos de Programas Interlaboratoriais
20. Programa Interlaboratorial: Ensaio de Proficiência (EP) EP testa exatidão dos resultados;
Avalia desempenho de laboratórios;
Métodos de livre escolha;
Coletar dados de várias rodadas ou vários anos (um único round não fornece informação suficiente);
EP é diferente de estudo colaborativo;
EP possibilita o cálculo de RSD da repro;
Avaliar bias do método.
21. Programa interlaboratorial: Estudo Colaborativo Protocolo detalhado para avaliar um método analítico;
Método é definido pelo coordenador;
Número mínimo de 8 participantes;
Amostra: 5 ou mais, incluindo duplicatas cegas;
Deve incluir amostras controle ou MRC;
Análise estatística dos resultados / relatório;
Análise crítica do desempenho do método.
22. Programas para Certificação Devem participar laboratórios qualificados, experientes nas técnicas;
Amostras são homogêneas e estáveis, não têm valores conhecidos;
Avaliação estatística dos resultados;
Reuniões técnicas de avaliação;
podem haver muitas rodadas até a obtenção de valores compatíveis;
23. Referências e Normas
24. Referências e Normas
25. Atividades de um Programa Interlaboratorial
26. Convites/Instruções Coordenador envia convites aos laboratórios;
Manual do participante: que devem conter informações sobre: objetivos, itens de ensaio, ensaios, métodos, instruções para o registro dos resultados, cronograma das rodadas, confidencialidade, avaliação estatística, critérios de desempenho, relatório, taxas.
27. Preparação dos Itens de Ensaio Pode ser contratada ou realizada pelo coordenador;
Avaliar as condições que possam afetar os itens de ensaio;
Os itens de ensaio devem ser o mais similar possível às amostras ensaiadas rotineiramente pelo laboratório;
O número de amostras depende de algum requisito;
O valor designado não deve ser divulgado até a emissão do relatório final;
Em alguns casos são informadas as faixas a serem atingidas;
Amostras excedentes devem ser preparadas.
28. Gerenciamento dos Itens de Ensaio Documentar os procedimentos de amostragem, seleção aleatória, transporte, recebimento, identificação, rotulagem, armazenamento e manuseio das amostras;
O coordenador deve garantir a homogeneidade e estabilidade dos itens de ensaio;
Os participantes devem ser informados de quaisquer riscos que os itens de ensaio possam ocasionar.
29. Homogeneidade
Mostrar que a variação na composição da amostra distribuída é desprezível em relação à variação introduzida pelos medidas realizadas pelos laboratórios participantes;
O método deve ser suficientemente preciso;
Usar teste de hipótese;
ANOVA
30. Homogeneidade O provedor deve realizar corretamente o teste de homogeneidade: amostras aleatórias, homogeneização antes das análises, análises aleatórias das duplicatas;
O provedor deve ter as instruções detalhadas do teste de homogeneidade;
31. Resultados Dispersos no Teste de Homogeneidade Resultados entre réplicatas discordantes devem ser eliminados(teste de Cochran);
Resultados entre réplicas são concordantes, porém a média é discrepante em relação ao conjunto - não eliminar
Protocolo harmonizado 2004
32. Estabilidade do Item de Ensaio Material distribuído deve ser suficientemente estável até o retorno final dos resultados;
Teste de estabilidade: comparar os resultados do analito entre as amostras conservadas em condições normais e em condições extremas;
33. Escolha do método: ensaio de proficiência O método é de livre escolha do laboratório participante;
Deve ser o usado normalmente na rotina do laboratório;
O coordenador deve solicitar detalhes dos métodos usados para comparação dos resultados e comentários.
34. Análise dos Dados/Projeto Estatístico Levar em consideração:
A precisão e exatidão do ensaio;
As menores diferenças a serem detectadas entre os laboratórios participantes;
O número de laboratórios participantes;
Número de amostras e o número de ensaios repetidos a serem realizados;
Os procedimentos a serem usados para estimar o valor designado;
Os procedimentos a serem usados para identificar os valores dispersos.
35. Avaliação dos Resultados de PIs O provedor deve estabelecer dois valores para a avaliação dos resultados de um PI:
1. Um valor como posição central: valor designado ou melhor estimativa do valor verdadeiro;
2. Um valor de dispersão
36. Avaliação dos Resultados de PIs Recebimento e registro dos resultados de cada participante;
Selecionar a estatística a ser utilizada (clássica e/ou robusta);
Eliminar resultados dispersos (outliers) quando se usa estatística clássica;
Verificar se as médias individuais válidas apresentam distribuição normal (gaussiana);
Definir medida de posição central (média, mediana);
Definir medida de dispersão (desvio padrão alvo).
37. Exemplos de Avaliação dos Resultados de PIs
38. Valor Designado (VD) Valor utilizado no Ensaio de proficiência como valor verdadeiro;
Melhor estimativa possível do valor verdadeiro;
Estimativa do mensurando para cálculo do escore;
Não deve ser divulgado até a emissão do relatório final.
39. Seleção de métodos para determinação do valor designado
Custos ao provedor e aos participantes;
Exigência legal - VD consistente com resultados de laboratórios de referência ou outras organizações;
VD rastreável a um valor de referência particular.
40. Métodos para Determinação do Valor Designado 1. Valor certificado do MRC
Valor designado é o valor certificado
2. Determinado por um Laboratório de Referência
Laboratório altamente qualificado;
Equivale a usar MRC;
3. Comparação direta com MRC
Material teste é analisado sob condições de REPÊ com o MRC, usando método com baixa incerteza;
VD calculado com base no valor certificado.
41. Métodos para Determinação do Valor Designado (VD) 4. Valor de consenso de laboratórios especialistas
- Laboratórios especialistas analisam o material do EP usando métodos de referência reconhecidos
5. Formulação
Adição de quantidade ou concentração conhecida do analito em um material base;
O ligação do analito na amostra pode ser diferente do adicionado;
Homogeneidade é mais difícil em materiais sólidos;
42. Métodos para Determinação do Valor Designado (VD) 6. Consenso dos Participantes
Valor designado é o consenso dos resultados de todos os participantes, excluindo os resultados aberrantes
- Desvantagens:
- Depende dos resultados;
- Incerteza aumenta quando o Nº laboratórios é pequeno;
Vantagens
- Baixo custo;
- Comparável aos determinados por formulação, valor de referencia, laboratórios especialistas.
43. Cálculo do Valor Designado Estatística paramétrica ou clássica
1. Requer distribuição normal;
2. Sofre influência de resultados discrepantes: usar testes para eliminação, por ex. Grubbs, Dixon, Cochran etc.;
3. Calcular a Média e Desvio padrão;
Estatística Não paramétrica ou distribuição livre e robusta:
1. Para conjunto de resultados com distribuição sem normalidade;
2. Não sofre influência de valores dispersos;
3. Calcular a Mediana e Desvio absoluto da mediana
44. Programa Interlaboratorial de Análise de Água ANVISA/IPT Amostra: Material de referência preparado pelo NIST
Laboratórios participantes: 14 laboratórios escolhidos pela ANVISA
Ensaios: Íons de metais
Método analítico: livre escolha do participante
45. Análise dos Dados Comparação dos resultados dos participantes com os valores de referência do NIST;
Média de consenso com todos os resultados dos laboratórios participantes;
Z - score
46. Z-score
50. Programa Interlaboratorial de Análise de Água ANVISA/IPT Relatório Programa Interlaboratorial de Análise de Água ANVISA/IPT
51. Programa Interlaboratorial para Sulfato em Água: Nº 1 Amostra: Material de referência preparado e certificado pelo coordenador;
Participantes: laboratórios do Chile, Alemanha, Bolívia, Brasil, Equador, Nicarágua, Panamá e Peru;
Método analítico: livre escolha do participante;
52. Análise dos Dados Cálculo da média de cada laboratório
Cálculo do desvio padrão
Cálculo do Erro/bias
Erro quadrático médio relativo
54. Programa de Ensaio de Proficiência para Sulfato em Água - Nº 2 Cálculo da mediana;
Desvio padrão alvo: amplitude interquartil normalizada ou desvio padrão de Horwitz;
Z-score – avaliação de desempenho;
Elipse de confiança;
Erro normalizado.
55. Z-score
56. Determinação do Desvio padrão O valor do desvio padrão deve ser adequado ao programa;
Deve ser definido pelo Comitê Consultivo; antes da distribuição das amostras;
Desvio padrão determinado por: “fitness for purpose” de cada área ou laboratórios especialistas;
O desvio padrão ( )é usado para definir o z-escore;
Se não há um desvio apropriado, o provedor deve evitar o uso de z-escore para avaliar desempenho
57.
AIQ= Q3 – Q1 (amplitude interquartil)
Q1 – menor quartil ( valor abaixo do qual situam-se ¼ dos resultados)
Q3 – maior quartil ( valor acima do qual situam-se ¼ dos resultados)
AIQn= AIQ x 0,7413 ( amplitude interquartilica normalizada) - comparável ao desvio padrão
O fator 0,7413 vem da distribuição normal, cuja média é igual a zero e desvio padrão igual a um.
58. Determinação do Desvio padrão Alvo (?) Desvio padrão de Horwitz
? = 0,22 c se c < 120 ppb ou 0,12 µg/g
? = 0,2 c0,8495 se 120 ppb = c = 13,8%
? = 0,1 c0,5 se c > 13,8%
= desvio padrão da função de Horwitz
C= concentração do analito expressa adimensionalmente
(1 µg/g equivale a 10-6 )
59. Erro Normalizado
60. Classificação dos Erros Erros Sistemáticos
Sempre de mesmo sinal, magnitude e constante.
Ex. calibração de equipamento, interferências, branco de reagentes não corrigidos, variação instrumental, analista, etc
Erros Aleatórios
São imprevisíveis, variam de sinal e magnitude. Se várias medições são realizadas a média dos erros tende a zero.
Ex. contaminação ou perda, desvios no uso do pop, reagentes, analista, instabilidade do equipamento, etc
Erros Ocasionais ou Grosseiros
Ex: erro de digitação, amostra errada, método errado, contaminação, erro de cálculo etc.
61. Elipse de Confiança Usado para verificar a compatibilidade de resultados entre laboratórios;
Diagrama de dispersão dos resultados;
Par de amostras com concentrações semelhantes,
Os resultados são representados por um ponto na elipse;
Seguem a distribuição de Youden.
62. Elipse de Confiança
63. Interpretação da Elipse de Confiança Pontos dentro da elipse
Dispersão uniforme: existe compatibilidade entre os resultados dos laboratórios; desempenho dos laboratórios pode ser satisfatório;
Dispersão não uniforme (um ou mais pontos afastados da maioria, indicam que existe compatibilidade entre os resultados dos laboratórios): Existem erros significativos dos laboratórios, em relação aos demais;
64. Interpretação da Elipse de Confiança Pontos fora da elipse
Pontos próximo ao eixo maior da elipse: indicam erros sistemáticos significativos – modificações não permitidas na metodologia, problemas de equipamentos não calibrados;
Pontos afastados do eixo maior da elipse: indicam erros aleatórios significativos – são devidos a: variabilidade dentro do laboratório, analista não devidamente treinado, erros de cálculo, leitura, transcrição de resultados etc...
65. Interpretação da Elipse de Confiança
67. Gráfico dos Erros Normalizados para Sulfato
69. Programa de Ensaio de Proficiência: Adolfo Lutz
70. Programa de Ensaio de Proficiência: Adolfo Lutz
71. Programa de Ensaio de Proficiência: Adolfo Lutz
72. Avaliação do desempenho pelo Participante É um indicador importante para avaliar e monitorar o sistema da qualidade como um todo;
O participante deve fazer auto-avaliação do seu desempenho e também avaliar o provedor;
O participante deve avaliar o desempenho geral dos laboratórios;
73. Avaliação do desempenho pelo Participante Desempenho insatisfatório
Identificação das causas–número de resultados insatisfatórios, tendências;
Ações corretivas;
Análise dos dados do controle interno;
Eliminação das não conformidades;
Verificação da eficácia: reprocessamento da amostra, participação em novas rodadas de PEP;
74. Avaliação do Desempenho pelos Clientes Forma de avaliação da qualidade do laboratório;
O cliente precisa conhecer o sistema de avaliação do provedor;
Analisar o desempenho do laboratório ao longo do tempo;
Observar o desempenho global de todos os laboratórios;
Solicitar cópias dos relatórios.
75. Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação/Reguladores Avaliação pelo organismo de acreditação
Mecanismo de supervisão da acreditação (à distância);
Verificar se o laboratório é competente para realizar ensaios /calibrações;
Avaliar o sistema do laboratório para controle de trabalho não conforme e para ações corretivas e preventivas.
76. Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação/Reguladores Desempenho Satisfatório
1. Evidência de competência em caso específico;
2. Pode não refletir um estado de competência contínua;
Desempenho insatisfatório
1. O laboratório deve ter políticas de investigação do mau desempenho e avaliação da sua eficácia;
2. Organismo de acreditação deve informar ao laboratório sobre as consequências do desempenho insatisfatório.
77. Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação
78. Avaliação do Desempenho pelos Órgãos de Acreditação/Habilitação
79. Estrutura de um PI Fase inicial: colaboração de especialistas técnicos, estatísticos e um coordenador do programa;
Objetivos devem ser bem claros;
Sistema da qualidade deve ser estabelecido e mantido: ABNT /ISO/IEC 17025-2005;
Tópicos recomendados a serem seguidos:
80. Gestão da Qualidade de um PI Política da qualidade;
Organização do organismo Coordenador;
Treinamento e competência do pessoal;
Atribuições e responsabilidades do pessoal;
Controle da documentação;
Procedimentos de auditoria e análise crítica;
Meta, escopo, projeto estatístico e formato dos programas de ensaios de proficiência;
Procedimentos operacionais: preparação de amostras, ensaio de homogeneidade/estabilidade de amostras, equipamentos, procedimentos para a determinação de valores designados, fornecedores, incluindo sub-contratados, logística, análise dos dados;
81. Gestão da Qualidade de um PI Preparação e emissão de relatórios;
Ação e retro-alimentação pelos participantes;
Documentação e arquivo de registros;
Procedimentos para tratamento de reclamações;
Política de confidencialidade e procedimentos éticos;
Informação computadorizada;
Biosegurança e outros fatores ambientais;
Subcontratação;
Taxas de participação;
Escopo de disponibilidade dos programas;
Políticas gerais sobre participação e uso dos resultados de programas.
82. Frequência de rodadas
83. Comunicação com os participantes O provedor deve fornecer um conjunto detalhado de informação sobre a participação no programa;
Comunicações subsequentes: cartas, relatórios;
Comunicação entre provedor e participante sempre que houver avaliação incorreta;
Retro-alimentação: os participantes devem contribuir ativamente para o desenvolvimento do programa;
84. Confidencialidade/Considerações éticas O provedor deve garantir a confidencialidade da identificação e desempenho dos participantes;
A divulgação do desempenho do laboratório só pode ser feita em comum acordo entre as partes;
No relatório do PEP os participantes devem ser codificados para evitar a identificação dos mesmos;
85. Fraudes e Falsificação de Resultados Fraude entre laboratórios, de forma que resultados verdadeiros não são apresentados;
Os participantes devem evitar este tipo de atitude;
Falsa impressão otimista de suas capacidades;
Fraude: apresentam resultados de repetições e na verdade realizam apenas um único ensaio;
Coordenadores devem tomar todas as medidas para evitar fraudes;
86. Seleção de Programas de Ensaio de Proficiência Os ensaios, medições ou calibrações devem corresponder aos tipos realizados pelo laboratório acreditado ou em fase de acreditação;
É adequado às necessidades?
O EP traz benefícios ao seu laboratório?
Sites de Interesse:
www.eptis.bam.de
www.inmetro.gov.br
www.anvisa.gov.br
87. Seleção de Programas de Ensaio de Proficiência PEPs devem operar de acordo com a ABNT ISO IEC GUIA 43-1;
Com a concordância do laboratório acreditado, o organismo de acreditação deve ter acesso aos seus resultados, aos detalhes do PEP: instruções, tratamento estatístico e o relatório final;
Adequabilidade do PEP: frequência, confiança dos itens de ensaio(homogeneidade, estabilidade da amostra), custos, política com relação à confidencialidade,
88. Considerações Finais Provedores de programas interlaboratoriais devem ter habilidade para escolha da técnica estatística mais adequada
Sempre que possível aplicar vários modelos estatísticos para verificar qual deles é melhor;
O coordenador deve ter conhecimento sobre a natureza dos materiais e domínio sobre os procedimentos analíticos;
89. Considerações Finais
“Ensaio de Proficiência não significa Aprovação ou Rejeição de um ensaio e sim, Participar e Aprender com os Resultados”;
EURACHEM, 2000
90.
MUITO OBRIGADA PELA ATENÇÃO!
