Medición de la concordancia

1. Medición de la concordancia Preparado por: Juan José García García

2. En el proceso de atención clínica no es raro que, ante el mismo dato, se expresen opiniones distintas en la interpretación. • Este hecho puede ocurrir entre dos colegas, pero aún un mismo profesional, puede llegar a conclusiones diferentes si observa, por ejemplo, una misma imagen, sin saberlo.

3. El procedimiento para determinar la concordancia entre observadores o intraobservador, consiste en comparar las opiniones, juicios o resultados emitidos u obtenidos por dos personas diferentes o por la misma persona en dos ocasiones diferentes.

4. La evaluación debe ser “a ciegas” con respecto al diagnóstico definitivo y a la opinión de los otros participantes o la de la misma persona, expresada previamente.

5. Naturaleza de los datos: Tipo de variable estudiada • Cuando la variable es de tipo cualitativo, particularmente nominal dicotómica, (expresada como sí/no o presente/ausente) u ordinal (por ejemplo, leve, moderado, severo), se puede calcular un valor que expresa el grado en que dos observaciones han coincidido.

6. Ejemplos • En la literatura se pueden encontrar diversas aplicaciones de esta preocupación por saber qué tanto coinciden dos interpretaciones de procedimientos diagnósticos, tales como los de imagenología, trazos electrocardiográficos, estudios histopatológicos, características del fondo de ojo, etc.

7. Medición de la concordancia Caso Observador 1 Observador 2 1 + + 2 + - 3 - + 4 - - Nótese que para los n casos hay dos mediciones, y que de acuerdo con el recuento de ellas se llenarán las celdillas de una tabla como la que se muestra a continuación, con respecto a la presencia o ausencia de una alteración.

8. Tabla general para el análisis de la concordancia

9. Porcentaje de concordancia Puede determinarse como concordancia absoluta y como concordancia específica, esta última referida a los casos diagnosticados como positivos o negativos por ambos observadores.

10. Esta medida representa la proporción de observaciones en las cuales los observadores reportan resultados iguales, mide por tanto la variabilidad entre observadores. No considera la posibilidad de que las coincidencias sean debidas al azar.

11. Entre los diversos indicadores construidos para hacer esta evaluación, destaca el índice o coeficiente kappa, que ha recibido aceptación, al considerar en su cálculo el papel que pudo tener el azar en la coincidencia de las observaciones.

12. Analicemos la siguiente tabla:

13. Medición de la concordancia

14. Medición de la concordancia • Coeficiente o índice Kappa Mejora la estimación del porcentaje de concordancia ya que descuenta la proporción de la misma que puede ocurrir por azar. K = Co - Ce 1 - Ce Donde: Co = concordancia observada = (a + d)/n Ce = concordancia esperada por azar = {[(a + b)/n] x [(a + c)/n]} + {[(c + d)/n] x [(b + d)/n]}

15. Índice kappa: Fórmula alternativa • K = Co – Ce ______ 1 – Ce Donde: Co = (a + d) / n Ce = (a + b) (a + c) + (c + d) (b + d) n2n2

16. Para los datos de la tabla: • Concordancia observada: 0.8773 • Concordancia esperada: 0.6759 • Valor de Kappa= 0.6214

17. Medición de la consistencia: Criterios de Landis y Koch • Valor de Kappa < 0 0 a 0.20 0.21 a 0.40 0.41 a 0.60 0.61 a 0.80 0.81 a 1.00 • Fuerza de concordancia Pobre Leve Mediana Moderada Sustancial Casi perfecta

18. Ejercicio • De acuerdo con los datos de la siguiente tabla, calcule e interprete el valor de la concordancia obtenida.

20. Índice kappa • Concordancia observada: 47 + 45 = 106 Concordancia esperada: (56/106) (52/106) + (50/106) (54/106) Kappa =

21. Para reflexionar • Como médico en formación, el alumno adquiere conocimientos y habilidades en el estudio clínico del paciente teniendo como referencia la experiencia del profesor, de tal manera que, con respecto a este, ¿qué tanta concordancia ha adquirido en la identificación de signos durante la exploración física?, por ejemplo, de alteraciones en el fondo de ojo, en los ruidos cardiacos, etc.