James O. Westgard, PhD Westgard QC, Inc. Madison, WI

1. Herramientas prácticas de La calidad:Valor Sigma para validación de métodos,selección y diseño del CC, yevaluación externa de la calidad James O. Westgard, PhD Westgard QC, Inc. Madison, WI

2. Seis SigmaJuly 2003 Clin Lab News

3. ¿ Qué es Seis Sigma? • Estadío superior de la Gestión Total de la Calidad • Incluye como mejoras más importantes: • Cuantificación del objetivo de la prestación de un proceso • Alcanzar la prestación “seis sigma” • Medida universal de la prestación de un proceso • Mide “defectos por millón” (DPM) • Enfatiza la definición de los límites de tolerancia de los procesos o los requisitos de la calidad de los productos

4. Especificación • de tolerancia + Especificaicón de tolerancia V. Diana -6 DSs debería cumplir espec. +6 DSs debería cumplir espec. -6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s ¿Qué significa Seis Sigma?

5. 1.5s desviación Pocos defectos con desviación de 1.5s -6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s ¿Cuál es el razonamiento? Obtener pocos DPM con una desviación de 1.5s

6. Inspeccionar Resultados y contar Defectos Medir Variación de Procesos Medir el Resultado Medir la Variación Calcular Defectos por Millón (DPM) Calcular DS y Valor Sigma Metodología MOTOROLLA Convertir DPM en Valor Sigma Resultado del Control del Proceso Sigma “Largo-plazo” Sigma “Corto-plazo” Usar columna pond/ desviación 1.5s ¿Cómo medir la calidad en la escala Sigma?

7. ¿ Qué es un defecto? • Un producto que no alcanza las especificaciones • Hay que definir los “límites de tolerancia” • Y comparar el producto con estas especificaciones • Un resultado de una determinación erróneo • Se puede usar el criterio de la prueba de aptitud CLIA como especificación o límite de tolerancia • Se comparan los errores observados con los límites tolerables de error: si son superiores, se trata de un resultado defectuoso

8. ¿Cómo se pueden calcular DPM? • Un ejemplo: Fabricante de neumáticos para Ford • 6,000,000 neumáticos • 2000 accidentes • 100 fallecimientos • ¿Qué es la prestación de un proceso? • DPM = accidentes/millón neumáticos • 2000/6,000,000 o 333 DPM

9. Aprox 4.9-5.0 333 DPM ¿Cómo convertir DPM en Sigma?Usar la tabla “Sigma/DPM”

10. ¿ Cuáles son algunas “mejores marcas” • Aceptación Mundial de la Calidad: 3.4 DPM o 6 sigma • Manejo de maletas en Líneas Aéreas: • 4000 DPM o un proceso 4.15 sigma • Seguridad de Líneas Aéreas (accidentes de pasajeros): • 0.43 DPM, mejor que el proceso 6 sigma • Proceso de negocio normal: 4 sigma • Proceso mínimamente aceptable: 3 sigma • Producción de neumáticos en Firestone: 5 sigma

11. Evaluación de la calidad de los procesos pre- y post-analíticos Nevelainen et al. Evaluating laboratory performance with the six sigma scale. Arch Pathol Lab Med 2000;124:516-9.

12. Evaluación de la calidad de los procedimientos de medida • ¿Conoces el Valor Sigma de cada uno de los procedimientos analíticos? • Depende del • Límite de tolerancia o especificación de la calidad de cada procedimiento (ETd) • Error sistemático del procedimiento (ES) • Imprecisión del procedimiento (DS o CV)

13. V Diana -ETd V Diana +ETd Desviación 1.5s Sigma = (ETd-ES)/s Sigma =(6s-1.5s)/s Sigma = 4.5 -6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s Capacidad del proceso

14. Capacidad del proceso en unidades Sigma • Valor Sigma = (ETd - ES)/CV • ETd=12%, ES=0%, CV=2% Valor Sigma es (12-0)/2 o 6 sigma • ETd=12%, ES=0%, CV=4 Valor Sigma es (12-0)/4 o3 sigma • ETd = 12%, ES = 3%, CV=2% Valor Sigma es (12-3)/2 o 4.5 sigma

15. ¿Cuál es el Valor Sigma para el Colesterol basado en el CLIA y las recomendaciones del NCEP? • ETd = 10% criterio CLIA • ES = 3%, CV=3% especificaciones NCEP Valor Sigma es (10-3)/3 o 2.33 sigma • No es un proceso satisfactorios según las guías de producción industrial !!!

16. O Coeficiente correlación de 0.999: Puntos cercanos a la línea O O O Resultados método en estudio O O O Intercepción de 15 mg/dL: Método en estudio con valores sistemáticamente superiores O O Resultados método de comparación Validación de Métodos: la confusión!Correlación no es igual a concordancia! O O O O O O O O O O O O O O

17. Valor Sigma: la soluciónElimina la confusión! • Nueva herramienta: la gráfica de decisión • Emplea un requisito de la calidad predefinido para el método (límite de tolerancia) • Muestra la precisión y veracidad del método Caracteriza el Valor Sigma de forma gráfica • Facilita la inspección visual y evalúa la aceptabilidad de un método

18. Secretos de la Validación de Métodos1er secreto: Enfocar los errores • Se trata de VERIFICACIÓN DEL ERROR • ¿Cuál es la magnitudes de los errores observados en un nuevo método? • ¿Son tan pequeños como para ser aceptables, o tan grandes como para dificultar la interpretación de los resultados del método?

19. o o Error aleatorio o o Error sistemático constante o o o Resultados del método en estudio o o o o o o Error sistemático proporcional o No error Resultados del método de comparación Tipos de errores a evaluar o o

20. Tipo de Error Analítico Experimento Preliminar Final Error Aleatorio Replicados Intra- serie Replicados Inter - serie Error Constante Interferencias Comparación entre Métodos Error Proporcional Recuperación 2o secreto: Evaluación experimental de distintos tipos de errores

21. media DS, CV a, b sy/x ,r Distribución Prueba t-student Bias SDdiff, t Dato datos lineales Regresión Cálculo de DS Cálculo para Decisión Cálculo de Pares de Datos Histograma Gráfica de Diferencias Gráfica de Comparación Herramientas básicas para Validación de Métodos 3ersecreto: la estadística es una herramienta para estimar los errores

22. 4º secreto: Distintas estadísticasson sensibles a distintos errores Sensibilidad de la estadística EA CEPE Regresión Pendiente, b Intercepción en – Y DS sobre eje Y, sY/X No No Sí No Sí No Sí No No Prueba t- Student Error sistemático (sesgo) DS diferencias No No Sí? Sí No Sí? Coeficiente de correlación Sí? No? No?

23. 5o Secreto: Significación estadística es distinto que significación clínica • Significación Estadística: tener datos suficientes para saber que existe una diferencia – ¿Se trata de un error real? • Significación Clínica: saber si la diferencia observada es lo suficientemente grande para influir en el diagnóstico y tratamiento del paciente – ¿ Se trata de unerror importante?

24. Zona de Prestación Inaceptable Error sistemático observado, % ES Marca Mundial Calidad Imprecisión observada, % CV, 6o secreto: Evaluar la aceptabilidad usando el Valor Sigma en la“Gráfica de Decisión de Método ”

25. Gráfica de Decisión de Método (1)Ejemplo: Colesterol • El ETd es 10% • Construir la Gráfica de Decisión de Método • Escala del eje Y: 0 a 10% • “Error sistemático observado, %ESs” • Escala del eje X: 0 a 5% • “Imprecisión observada, %CV” • Dibujar las líneas para 2s, 3s, 4s, 6s veces el valor de Error Total

26. Gráfica de Decisión de Método (2)Ejemplo: Colesterol • ES + 3s = ETdlínea3 sigma • Intercep-Y de 10 y intercep-X de 3.3 • ES + 4s = ETdlínea 4 sigma • Intercep-Y de 10 y intercep-X de 2.5 • ES + 5s = ETdlínea 5 sigma Intercep-Y de 10 y intercep-X de 2.0 • ES + 6s = ETdlínea 6 sigma Intercep-Y de 10 y intercep-X de 1.7

27. Zona de Prestación Inaceptable Error Sistemático observado, % ES Marca Mundial Calidad Imprecisión observada, %CV Gráfica de Decisión de Método

28. Límite de riesgo de mal resultado del 5% Desviación crítica 1.65s -7s -6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s 7s Selección/Diseño del CC • Riesgo de 5% significa que el requisito de la calidad corta la distribución del error a 1.65s de la media

29. Sigma Relación entre Seis Sigma y el CC • Error Sistemático Crítico (DEScrit) • Índice usado para describir la magnitud del error que debe ser detectado por el procedimiento de CC • DEScrit = [(ETd – ES)/CV] – 1.65 • ¿Se puede relacionar el DES con la capacidad de rechazo de la regla operativa de CC y el nº de determinaciones control, usando las curvas de potencia conocidas?

30. Escala Sigma 3s 4s 5s 6s Detección de Eerror deseable Probabilidad de rechazo (P) Falso Rechazo deseable Error Sistemático (ES, múltiplos de s) Relación entre Calidad y CC

31. ¿Qué CC se necesita?“Reglas prácticas” • Proceso 6 sigma – regla CC simple con límites 3.0s y N=2 • Proceso 5 sigma - regla CC simple con límites 2.5s y Ns de 2-3 • Proceso 4-sigma – regla CC simple con límites 2.5s límites o multiregla CC y Ns de 4-6 • Proceso 3-sigma – necesita Ns de 6-8 o más, no es práctico para la mayoría de laboratorios • No se debe procesar un nº grande de controles para detectar errores clínicamente importantes!

32. Nº materiales control Calidad Requerida Precisión Observada ES Observado ¿Cómo seleccionar/diseñar un CC adecuado?Programa QC EZ Rules3 de Westgard

33. Programa asesor Bio-Rad Westgard

34. Verificación del Valor Sigmausando datos EQA/PT • “Touchstone Test Methodology” www.westgard.com/essay72.htm • Identifica ejemplos que representan aplicaciones clínicas y diagnósticas importantes • Requisitos de la calidad definido por el “criterio de aceptabilidad” CLIA en Evaluación Externa (EQA) • Magnitudes reguladas para las que los laboratorios deben participar en EQA y mostrar los informes EQA a la Administración • Disponibilidad de datos de distintos programas EQA, para una gran variedad de determinaciones del laboratorio

35. Estimaciones de la Calidad • National Test Quality (NTQ) • Sigma = ETdCLIA/CVgrupo • National Method Quality (NMQ) • Sigma = Media ponderada [(ETdCLIA – ESsubgrupo)/CVsubgrupo] • Local Method Quality (LMQ) • Sigma – Media ponderada (ETdCLIA)/CVsubgrupo

36. Calidad para Colesterol en un EQA

37. MLE API CAP NY Escala Sigma AAFP AAB Probabilidad de rechazo (P) Erro Sistemático (ES, múltiplos de s) Calidad para Colesterol (NTQ)

38. NTQ NMQ LMQ Escala Sigma Probabilidad de rechazo (P) Error Sistemático (ES, múltiplos de s) Calidad para Colesterol, hoy

39. Glucosa 30 Abril 2003 Teleconferencia Recomendaciones de ADA para el cribado

40. NTQ NMQ LMQ Escala Sigma Probabildad de rechazo (P) Error Sistemático (ES, múltiplos de s) Calidad para Glucosa, hoy ETd CLIA=10%

41. CalcioClin Lab News, Agosto 2004

42. NTQ NMQ LMQ Sigma Scale Probabilidad de rechazo (P) Error Sistemático (ES, múltiplos de s) Calidad para Calcio, hoy ETd CLIA=1.0 mg/dL (~10%)

43. January 2005, Clin Lab News

44. NMQ LMQ Escala Sigma Probabilidad de rechazo (P) Error Sistemático(ES, múltiplos de s) Calidad Tiempo Protrombina, hoy ETd CLIA=15%, Programa CAP 800 labs, pro 10 Muestras

45. NMQ LMQ Escala Sigma Probabilidad de rechazo (P) Error Sistemático (ES, múltiplos de s) Calidad para INR, hoy ETd CAP=20%, Programa CAP 800 labs, Pro 10 Samples

46. GlicohemoglobinaClin Lab News March 2002

47. Glicohemoglobina (GHb) • Recomendaciones de NACB • Clin Chem 2002;48:436-472. • Nivel deseable GHb es 7.0% or inferior • Re-evaluar tratamiento a 8.0% • CV Método de 3.0% a 5.0% • Analizar 2 materiales control en la serie • Las guías para interpretación de la prueba (criterio de resultados) implican un cierto nivel de calidad • El intervalo de decisión es 1.0 %Hb o 14.3% • La variación biológica intraindividual es 4.1% (Fraser)

48. NTQ NMQ LMQ Probabilidad de rechazo (P) Error Sistemático (ES, múltiplos de s) Calidad para Glicohemoglobina, hoyETd=10% Sigma Scale

49. ¡Qué necesitamos!CV=2.0%, ES=0% y CC con N=2 y límites control 2.5s

50. Qué necesitamos Qué obtenemos Calidad Glicohemoglobina, hoy