DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD

DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo de la Calidad INTI-Lácteos

Concepto de Diseño del Ensayo de Aptitud Diseño = núcleo del Ensayo de Aptitud “Concepción original de un objeto u obra destinado a la producción en serie” (Real Academia Española) • Es el punto de partida del Ensayo de Aptitud • Es el marco Referencial que contiene objetivos y criterios fundamentales del Desarrollo del Ensayo de Aptitud

Norma ISO/IEC 17043:2010 ISO/IEC 17043 : 2010 EVALUACION DE LA CONFORMIDAD REQUISITOS GENERALES PARA LOS ENSAYOS DE APTITUD En esta Norma se especifican los requisitos generales para el desarrollo y la operación de los Programas de Ensayos de Aptitud. Son requisitos generales para todos los tipos de Programas de Ensayos de Aptitud.

Norma ISO/IEC 17043:2010 ILAC G13 Guía para los requisitos de competencia de Proveedores de EA ISO 13528 – Métodos estadísticos para aplicar en EA por Comparaciones Interlaboratorio Normas y Guías complementarias IUPAC Technical Report 2006 Protocolo Armonizado para EA de Laboratorios de Química Analítica ISO/IEC 17043:2010 Especificación Técnica ISO/TS 22117 Microbiología de Alimentos – Requisitos Específicos y Guía para EA por Comparaciones Interlaboratorio Proveen detalles que complementan la Norma ISO 17043

Vocabulario clave (referido al diseño): Términos y Definiciones Comparación Interlaboratorio: organización, realización y evaluación de mediciones o ensayos sobre el mismo ítem o ítems similares, por dos o más laboratorios de acuerdo a condiciones predeterminadas. Ensayo de Aptitud: evaluación de desempeño de los participantes con respecto a criterios previamente establecidos mediante comparaciones interlaboratorios. Ítem de ensayo de ensayo de aptitud: muestra, producto, artefacto, material de referencia, parte de un equipo, patrón de medida, conjunto de datos u otra información utilizada en un ensayo de aptitud.

Vocabulario clave (referido al diseño): Términos y Definiciones Programa de ensayos de aptitud: ensayos de aptitud diseñados y operados en una o más rondas para un área específica de ensayo, medida, calibración o inspecciones. Rondade ensayo de aptitud: secuencia completa única de distribución de ítems de ensayo de aptitud, y evaluación y comunicación de resultados de los participantes. Coordinador: una o más personas responsables de organizar y gestionar todas las actividades Incluidas en la operación de un programa de ensayos de aptitud

Vocabulario clave (referido al diseño): Términos y Definiciones Valor asignado: valor atribuido a una cualidad particular de un ítem de ensayo de aptitud. Valor atípico (outlier): observación en un conjunto de datos que no parece concordar con los restantes datos de dicho conjunto (puede originarse a partir de una población diferente o ser resultado de un registro incorrecto o de otro error). Método estadístico robusto: método estadístico insensible a pequeñas desviaciones de la hipótesis de partida de un modelo probabilístico implícito (reemplazo por valores más próximos al valor asignado) Desviación estándar para la evaluación de la aptitud: medida de dispersión utilizada en la evaluación de los resultados de un ensayo de aptitud, basada en la información disponible.

Diseño del Ensayo de Aptitud Diseño de Ensayos de Aptitud El desarrollo y la operación del Ensayo de Aptitud debe estar a cargo de Proveedores que tengan competencia y acceso al conocimiento y experiencia correspondiente al tipo particular de ítem de ensayo de aptitud Demostración de competencia Técnica en el ensayo: ISO 17025

Diseño del Ensayo de Aptitud Diseño de Ensayos de Aptitud  Definido en el Punto 4 de la ISO 17043 – Requisitos Técnicos La etapa de diseño requiere el aporte de expertos técnicos, estadísticos y un coordinador del esquema. El EA debe ser diseñado para evitar cualquier confusión sobre sus objetivos

Diseño del Ensayo de Aptitud Diseño de Ensayos de Aptitud Involucra una planificación detallada, un detalle de la preparación de losítems de ensayo, criterios de homogeneidad y estabilidad apropiados, diseñoestadístico apropiado para cumplir con los objetivos del programa y documentar el procedimiento para determinar los Valores asignados.(ISO 17043:2010) Diseño: INTI Lácteos desarrolló un diseño como documento independiente por Programa de Ensayo de Aptitud, aplicable a las distintas Rondas. Dicho diseño constituye un marco referencial. para la aplicación del Programa en particular. El diseño es revisado y actualizado (si corresponde) en cada Ronda.

Items del Diseño del Ensayo de Aptitud a) Tipo de material (matriz LP) ITEMS DEL DISEÑO Ej: Programa Leche en Polvo INTI-Lácteos b) Frecuencia (semestral) c) Procesamiento estadístico (consenso/outliers/z-score) d) Instrucciones enviadas a los participantes (ofertas, protocolos, etc.) e) Contenido de los reportes (características Informe Final) f) Comunicaciones a los clientes (Oferta, aviso de envío de muestras, Protocolos y planillas de resultados, modificaciones de las condiciones pactadas en la Oferta)

Items del Diseño del Ensayo de Aptitud a) Tipo de material Semejante al utilizado rutinariamente por los laboratorios participantes (matriz y rango de concentración) Riesgos en su manipulación: aclarar en Protocolo de Tratamiento Homogéneo y estable (define procedimiento y criterios de aceptación de los test. Metodologías empleadas. Cantidad mínima de muestras a ensayar) Cálculo de la cantidad de muestra a enviar (necesaria para realizar el/los ensayo/s de acuerdo al diseño del EA (ej. duplicado y un analista). Ej: b) Frecuencia: ej. semestral

Items del Diseño del Ensayo de Aptitud Criterios de eliminación de datos previo al tratamiento (outliers, estabilidad, errores en unidades, simplificados, no promediables, etc.) c) Procesamiento estadístico Criterios de resultados que ingresan a cálculo de VA (ej resultados provenientes de distintas metodologías de ensayo, cumplimiento de repetibilidad de las normas analíticas empleadas) Elección de forma de cálculo del VA y criterios de aceptación del VA calculado (patrón de dispersión aleatorio de distintas Metodologías, µ, VA) Evaluación de desempeño (Ej. Metodología z-score) Tratamiento de resultados que no se tratan estadísticamente

Items del Diseño del Ensayo de Aptitud d) Instrucciones enviadas a los participantes Protocolo de Tratamiento de muestras ► Identificación de la/s muestra/s y ensayos. Cantidad de determinaciones (ej. duplicados) ► Instrucciones, en el caso que aplique, de preparación de la muestra. ►Recomendaciones generales (refrig., homog., etc) ► Recomendación específica en caso de que el material conlleve riesgos ► Fecha o período en que se deben realizar los ensayos. Fecha límite de recepción de resultados ► Fax y/o mail de recepeción de resultados

Items del Diseño del Ensayo de Aptitud d) Instrucciones enviadas a los participantes Planilla de Resultados ► Contacto y teléfono del participante remitente ► Fecha y condiciones de recepción de la muestra ► Campos para volcar resultados por parámetro y para cada duplicado y/o analista. Indicación de unidades y cantidad de cifras decimales ► Fecha límite de recepción de resultados, fax y/o mail de recepeción de resultados

Items del Diseño del Ensayo de Aptitud ►Listado alfabético de participantes (pactado con el cliente) e) Contenidos de los reportes ► Datos sobre homogeneidad y estabilidad de la muestra ►VA y su incertidumbre. Sistemática de su obtención ►Valores que toma el parámetro para cada límite del z-score. Desvío estándar utilizado para su cálculo ►Valores obtenidos por todos los participantes y las metodologías de análisis utilizadas con su correspondiente Z-score ►Gráficos ►Resumen general de la Ronda

Items del Diseño del Ensayo de Aptitud f) Comunicaciones a los clientes ►Oferta Guía, Planilla de inscripción ►Aviso recordatorio de envío de muestras. Contacto en caso de no recibir en tiempo y forma ►Publicación del VA

Concepto de Diseño del Ensayo de Aptitud Resumiendo … El punto de partida del Ensayo de Aptitud El diseño es El marco Referencial que contiene objetivos y criterios fundamentales del Desarrollo del Ensayo de Aptitud

Diseño del Ensayo de Aptitud Dentro del Diseño la Norma requiere: 1) Una Planificación  2) Procedimientos para asegurar la adecuada preparación de los ítems de ensayo de aptitud  3) Establecer criterios de homogeneidad y estabilidad  4) Desarrollar un diseño estadístico  5) Documentar el procedimiento para determinar los valores asignados 

Planificación del Ensayo de Aptitud La Norma ISO 17043 requiere una Planificación documentada con varios de los ítems ya contemplados en el diseño del Programa.

INTI-Lácteos interpreta la Planificación como una “foto instantánea” correspondiente a una Ronda en particular de un Programa Planificación del Ensayo de Aptitud La Planificación del Programa no se debe subcontratar 

Planificación del Ensayo de Aptitud Planificación (Norma ISO 17043. Punto 4.4.1) El proveedor de ensayos de aptitud debe identificar y planificar aquellos procesos que afectan directamente la calidad del programa de ensayos de aptitud y debe asegurar que se llevan a cabo de acuerdo con procedimientos descritos. El proveedor de ensayos de aptitud no debe subcontratar la planificación del programa de ensayos de aptitud

Planificación del Ensayo de Aptitud Consiste en una “foto” de una Ronda determinada  Incluye fechas previstas de todos las etapas a cumplir y firma de los responsables de la ejecución, cuando corresponda  Planificación Los procedimientos que sean comunes a todas las Rondas (ej.: test de homogeneidad) pueden estar referenciados a los documentos que los contengan (ej. Planes de calidad, procedimientos, instructivos) 

Planificación del Ensayo de Aptitud Ejemplo de documento de Planificación

Puntos de la Planificación PUNTOS QUE DEBE CONTENER LA PLANIFICACION • El proveedor de ensayos de aptitud debe documentar un plan antes del inicio del programa de ensayos de aptitud que trate los objetivos, el propósito y el diseño básico del programa de ensayos de aptitud incluyendo la siguiente información y, cuando corresponda, los motivos para su selección o exclusión: • el nombre y la dirección del proveedor de ensayos de aptitud; • el nombre, la dirección y lugar de trabajo del coordinador y de cualquier otro miembro del personal que participe en el diseño y operación del programa de ensayos de aptitud; • las actividades a subcontratar y los nombres y direcciones de los subcontratistas que participan en la operación del programa de ensayos de aptitud; • los criterios que se deben satisfacer para la participación;

Puntos de la Planificación e) el número y tipo de participantes previstos en el programa de ensayos de aptitud; f) la selección del(los) mesurando(s) o la(s) característica(s) de interés, incluyendo información sobre qué tienen que identificar, medir o ensayar los participantes en la ronda específica de ensayos de aptitud; g) una descripción del rango de valores o características, o ambos, que se espera obtener para los ítems de ensayos de aptitud; h) las principales fuentes potenciales de errores involucrados en el área de los ensayos de aptitud ofrecidos; i) los requisitos para la producción, el control de la calidad, almacenamiento y la distribución de los ítems de ensayos de aptitud;

Puntos de la Planificación j) precauciones razonables para prevenir la connivencia entre los participantes o la falsificación de resultados y los procedimientos a emplear si se sospecha de la existencia de connivencia o falsificación de resultados; k) una descripción de la informaciónque se suministrará a los participantes y el cronograma correspondiente a las diversas fases del programa de ensayos de aptitud; l) para los programas continuos de ensayos de aptitud, la frecuencia o las fechas en las que se deben distribuir los ítems de ensayos de aptitud a los participantes, las fechas de vencimiento para la devolución de los resultados por los participantes y, cuando corresponda, las fechas en las que los participantes llevarán a cabo los ensayos o las mediciones;

Puntos de la Planificación m) cualquier información sobre métodos o procedimientos que los participantes necesiten utilizar para preparar el material de ensayo y realizar los ensayos o las mediciones; n) los procedimientos a utilizar para determinar la homogeneidad y estabilidad de los ítems de ensayos de aptitud y, cuando corresponda, para determinar su viabilidad biológica; o) la preparación de cualquier formato de informe normalizado que utilizarán los participantes; (Protocolos y planillas de resultados) p) la descripción detallada del análisis estadístico a utilizar; q) el origen, la trazabilidad metrológica y la incertidumbre de medida de los valores asignados; r) los criterios para la evaluación del desempeño de los participantes;

Puntos de la Planificación s) la descripción de los datos, informes provisorios o información a devolver a los participantes; t) la descripción del grado en que se harán públicos los resultados de los participantes y las conclusiones basadas en los resultados del programa de ensayos de aptitud; y u) las acciones a tener en cuenta en el caso de pérdida o daño de los ítems de ensayos de aptitud.

Items del Ensayo de Aptitud La Norma ISO 17043 requiere un procedimiento para asegurar la adecuada preparación de los ítems de Ensayo de Aptitud.

Items del Ensayo de Aptitud Preparación de los ítems de ensayos de aptitud El proveedor de ensayos de aptitud debe establecer e implementar procedimientos para asegurarse que los ítems de ensayos de aptitud se preparan de acuerdo con el plan descrito en la Planificación (la planificación refiere a los diferentes procedimientos o instructivos de preparación de muestras que contemplan adquisición, recolección, preparación, manipulación, almacenamiento; cumpliendo con los requisitos reglamentarios y éticos pertinentes) Importante: preparar un número suficiente de ítems de ensayos de aptitud para que permita reponer cualquier ítem que se haya perdido o dañado durante la distribución o que se prevé sea utilizado después que los resultados del programa de ensayos de aptitud hayan sido evaluados. Estos usos pueden incluir ayudas para la formación de los participantes o utilizarlos como material de referencia. (muestras stock)

Items del Ensayo de Aptitud Preparación de los ítems de ensayos de aptitud Es conveniente que los ítems de ensayo coincidan en términos de matriz, mesurandos y concentración tanto como sea posible con el tipo de ítems o material de ensayo de rutina.

Items del Ensayo de Aptitud Preparación de los ítems de ensayos de aptitud En los Programas de Ensayo de Aptitud en los que se exija a los participantes preparar el ítem de ensayo el Proveedor debe emitir instrucciones para su preparación.

Homogeneidad y Estabilidad de los ítems de ensayo La Norma ISO 17043 requiere un establecer criterios de homogeneidad y estabilidad apropiados para asegurar que cada participante reciba ítems de ensayo de aptitud comparables.

Homogeneidad y Estabilidad de los ítems de ensayo Homogeneidad y Estabilidad Se deben establecer los criterios para una adecuada homogeneidad y estabilidad, los cuales deben basarse en el efecto que tendría la ausencia de éstas sobre los resultados y la evaluación del desempeño de los participantes. Se debe asegurar que cada participante reciba ítems de ensayos de aptitud comparables, y que estos ítems permanezcan estables a lo largo del ensayo de aptitud. Para lograrlo es necesario una planificación, fabricación y transporte cuidadosos y se requiere la realización de ensayos para confirmarlo, siempre que sea posible

Homogeneidad y Estabilidad de los ítems de ensayo • Concepto de material suficientemente homogéneo • Los materiales preparados para los EA y otros estudios interlaboratorio son usualmente heterogéneos en cierto grado pesar de los grandes esfuerzos que se realizan para asegurar la homogeneidad. • Cuando un lote de material es fraccionado para distribuir a varios laboratorios, las unidades presentan diferencias en la composición entre ellas. Cuando se habla de suficiente homogeneidad en los materiales a distribuir, se busca demostrar que esa variación en la composición es insignificante en relación a la variación introducida por las mediciones hechas por los participantes. • Un criterio a utilizar es que la desviación estándar entre muestras (Ss) sea menor que el 30% del desvío estándar target con que se evaluará el desempeño de los Laboratorios (ISO 13528).

Homogeneidad y Estabilidad de los ítems de ensayo Concepto de material suficientemente homogéneo • En algunos casos, los materiales que no son suficientemente homogéneos o estables son la mejor opción disponible; en estos casos aún pueden ser útiles como ítems de ensayo de aptitud, siempre que las incertidumbres de los valores asignados o la evaluación de los resultados tomen en cuenta este hecho (véase B.3.1.3 y el anexo B de la Norma ISO 13528:2005). • En la Guía ISO 34, la Guía ISO 35 y la Norma 13528 se tratan con mayor detalle las cuestiones relativas a la homogeneidad y estabilidad.

Homogeneidad y Estabilidad de los ítems de ensayo Criterios para la elección del parámetro a analizar para Homogeneidad Conocer las principales razones de la inhomogeneidad (ej. Llenado de botellas, calentamiento de botellas, mezclado durante el llenado, requerimientos del envase primario y del embalaje, condiciones ambientales, manipulación durante la preparación y dispensado) Testeo del parámetro más sensible a los procesos de preparación de la muestra: ¿ ¿Existe algún componente sensible al calor que pueda verse comprometido en algunas muestras por calentamiento desigual? ? ¿Existe un parámetro presente en bajas concentraciones lo cual lo vuelva sensible al mezclado?

Homogeneidad y Estabilidad de los ítems de ensayo Se deben documentar e implementar los procedimientos para la evaluación de la homogeneidad y estabilidad ►Normalmente se debe realizar la evaluación de la homogeneidad después que los ítems de ensayo de aptitud hayan sido embalados en su forma final y antes de su distribución a los participantes, salvo que, por ejemplo, los estudios de estabilidad indiquen que se deberían almacenar a granel. ►Se puede demostrar la homogeneidad antes de realizar el embalaje cuando sea razonable esperar que éste no influya. ►En algunas ocasiones, la determinación de homogeneidad no se puede realizar antes de la distribución por razones prácticas, técnicas o logísticas. (Caso microoganismos)

Homogeneidad y Estabilidad de los ítems de ensayo El ensayo de estabilidad se realiza en la misma fecha o posterior al tiempo Límite que se le ha establecido a los participantes para realizar el ensayo. La determinación analítica (ensayo) que se le realiza a las muestras es la misma que la realizada en la prueba de homogeneidad (mismo método de ensayo, mismo operador, mismo equipo)

Homogeneidad y Estabilidad de los ítems de ensayo Para el caso de ensayos cualitativos el 100% de los resultados, tanto para homogeneidad como para estabilidad deben coincidir con el resultado asignado por formulación.

Homogeneidad y Estabilidad de los ítems de ensayo En los casos en que la determinación de la homogeneidad y estabilidad no sea factible, el proveedor de ensayos de aptitud debe demostrar que los procedimientos utilizados para reunir, producir, embalar y distribuir los ítems de ensayos de aptitud son suficientes para el propósito de éste. (Olvido de estabilidad)

Diseño Estadístico La Norma ISO 17043 requiere desarrollar un diseño estadístico basado en la naturaleza de los datos.

Diseño Estadístico Diseño estadístico: El diseño estadístico abarca el proceso de planificar, recolectar, analizar y comunicar los datos(resultados cuali o cuantitativos)del programa de ensayos de aptitud.

Diseño Estadístico Al diseñar un análisis estadístico, el proveedor de ensayos de aptitud debe considerar cuidadosamente lo siguiente: a) la exactitud (veracidad y precisión), así como la incertidumbre de medición requerida o esperada para cada mesurando o característica en el ensayo de aptitud. b) el número mínimo de participantes en el programa de ensayos de aptitud necesario para lograr los objetivosdel diseño estadístico; en los casos en que el número de participantes sea insuficiente para lograr estos objetivos o para producir un análisis estadísticamente significativo de resultados, el proveedor de ensayos de aptitud debe documentar y proporcionar a los participantes detalles de los enfoques alternativos utilizados para evaluar el desempeño de los participantes; (FIL 135, ISO IUPAC CITAC Guide 2010)

Diseño Estadístico c) la importancia de las cifras significativas (aquellas en la que el último dígito es incierto o que no tiene significancia física o química y tiene que ver con las incertidumbres de medición –hasta dónde se puede medir experimentalmente-) para el resultado informado incluyendo el número de posiciones decimales; (La ISO 17043 recomienda instruir a los participantes el número de cifras significativas a modo de convención para evaluarlos en iguales condiciones). Ej CECALAIT d) el número de ítems de ensayos de aptitud a ensayar o medir y el número de repeticiones de ensayos, calibraciones o mediciones que se llevarán a cabo sobre cada ítem de ensayo de aptitud o para cada determinación; (por tratarse de un ensayo de aptitud INTI Lácteos considera que se deben realizar el número de repeticiones que establece la normativa analítica y sugerida por el Proveedor)

x – xa  Valor prescripto (SR de la Norma) Estimado resultante de Rondas anteriores  Estimado resultante de un modelo estadístico (H) Resultado de experimento de precisión Desviación estándar robusta basada en los resultados de los participantes Diseño Estadístico e) los procedimientos utilizados para establecer la desviación estándar para la evaluación de la aptitud u otros criterios de evaluación; (ISO 13528) En el caso del z-score:

Diseño Estadístico f) los procedimientos que se utilizarán para identificar o tratar los valores fuera de límite, o ambos; (Valores atípicos / Grubbs / Cochran/ repetibilidad del método / mediana – outliers groseros) Ejemplos: errores como unidades incorrectas, errores en el punto decimal, o resultados correspondientes a un ítem de ensayo diferente: Se deben eliminar del conjunto de datos, no deben ingresar a los test de outliers o métodos robustos. Los valores outliers que surgen de la aplicación de los test estadísticos para su detección deben seguir evaluándose dentro del programa, dándoseles una evaluación de desempeño.

Entorno g) cuando corresponda, los procedimientos para la evaluación de los valores excluidos del análisis estadístico; y (INTI-Lácteos: no evalúa resultados excluídos sí los transcribe a título informativo en el informe final. Ej. Análisis realizado fuera del período de estabilidad, no promediables, más o menos repeticiones que las solicitadas, diferentes unidades a las solicitadas) Poner informe de ejemplo

Entorno La Norma ISO 17043 requiere documentar el procedimiento para determinar los Valores Asignados.

DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD