Internasjonale regler for validering av metoder

1. Internasjonale regler for validering av metoder Per Lea Matforsk AS Seminar: Internasjonalt metodesamarbeid innenfor næringsmiddelanalyser, København 13. oktober 2003

2. (Manglende) bakgrunn for å holde dette foredraget • Statistikk hovedfag (Cand.real), Universitetet i Oslo • Hovedoppgave: Estimering etter innledende testing i en regresjonsmodell. Kopiert i 10 eksemplarer • Lest av veileder og sensor • Donert 1 eks. til Matforsks bibliotek, 1eks. til foreldre • Restopplaget (6 eks.) støver ned i en bokhylle på kontoret • Medlem i prosjektgruppe som reviderer NMKL-prosedyre 4/1996 • Fører samme prosedyre i pennen • …fordi 1996-utgaven var skrevet på norsk

3. Avgrensninger / Avklaringer • Metoder som er relevante for: • Næringsmidler / Levnedsmidler • (Drikkevann) • Dyrefor • Kjemi / (Fysikk) / Mikrobiologi / Sensorikk

4. Hva er validering? • Dagligdags betydning: ”funker det?” • For (data)programmereren: virker programmet som det skal (benchmarking)? • På laboratoriet: samme som dagligdags betydning?

5. Oppslagsverk: • Validation. The procedures involved in checking data or programs for correctness, compliance with standards, and conformance with the requirement specifications (Academic Press Dictionary of Science and technology) • Validate. 1. To make valid; substantiate; confirm. 2. To give legal force to, legalize. 3. To give official sanction, confirmation, or approval to, as elected officials, election procedures, documents, etc. (Webster’s Encyclopedic Unabridged Dictionary of the English Language) • Validation. Making or declaring valid; proof; confirmation. (Webster’s New Twentieth Century Dictionary of the English Language)

6. FDA ValidationOverview All systems that require compliance with FDA guidelines must go through the validation process which ensures compliance. http://mgdservices.com

7. Analytikernes egne definisjoner - NMKL (1): • Validering • Fastlæggelse/vurdering af metodens karakteristika udføres på referentes laboratorium med henblik på at udarbeide et metodeforslg. Valideringen indeholder blant andet oplysninger om detektionsgrænse, kvantificeringsgrænse, følsomhed, præcision, riktighed, robusthed med videre. (NMKL-Rapport nr.11, 2. utgave 2000.) • Med validering menes her tiltak som iverksettes for å teste og beskrive om en analysemetode med hensyn på nøyaktighet, anvendelse, tilpasning og feilkilder fungerer hele tiden i overensstemmelse med forventningene eller oppstilte krav (NMKL-prosedyre nr. 4, 1996)

8. Analytikernes egne definisjoner - NMKL (2): • Validering av en metode betyr en undersøkelse og fastlegging av metodens parametre. Dette kan enten gjøres av et enkelt laboratorium (intern validering), eller av flere laboratorier (kollaborativ validering). • Verifisering av en metode er en undersøkelse av om et enkelt laboratorium kan utføre analysen i overensstemmelse med de metodeparameterne som er fastlagt i valideringen. • (Utkast til ny utgave av NMKL-prosedyre nr. 4)

9. Analytikernes egne definisjoner - NMKL (3): • Med verifisering menes at laboratoriet undersøker og dokumenterer at det behersker metoden før den tas i bruk til rutineoppdrag. • Det betyr at laboratoriet undersøker og dokumenterer at det oppnås tilsvarende resultater for riktighet og presisjon som de som er angitt i den kollaborative metodeavprøvingen. • Framfor alt skal laboratoriet demonstrere at metoden egner seg til å løse det aktuelle analytiske problemet. • (Utkast til ny utgave av NMKL-prosedyre nr. 4)

10. Analytikernes egne definisjoner - NMKL (4): • Validering av en metode betyr en undersøkelse og fastlegging av metodens parametre • Sentrale metodeparametre er: • Arbeidsområde • Riktighet • Presisjon • Kvantifiseringsgrense • HorRat-verdi (=RSDBeregnet/RSDForventet) • (Utkast til ny utgave av NMKL-prosedyre nr. 4)

11. Metodeparametre (1) • Arbeidsområde • Matrise (produkt/parameter - eks.: kjøttdeig/fett-%) • Riktighet • Graden av overensstemmelse mellom en prøves sanne innhold av en bestemt analytt og resultatet av en analyse. • Presisjon • Graden av overensstemmelse mellom uavhengige analyseresultater framkommet under spesifikke forhold • Kvantifiseringsgrense • Den laveste mengden av en analytt som kan bestemmes kvantitativt med en nærmere fastsatt sikkerhet.

13. Metodeparametre (2)

14. Metodeparametre (3) • HorRat: Horwitz Ratio • RSD: Relativt standardavvik for reproduserbarhet • Standardavvik/middelverdi • C: Konsentrasjonen • Kjent eller estimert • Gitt som 10-potenser: • g/kg  C=10-3 • RSDForventet: • Empirisk, basert på mange vellykkede metodeavprøvinger

15. Analytikernes egne definisjoner - Tønset/Døhl: • Validation may be defined as: • The process of demonstrating that the analytical procedure is suitable for its intended use • (C P Tønseth, J Døhl: Guidelines for validation of analytical methods, 2. Ed., Nycomed Imaging, 1996)

16. Validering • Validation of an alternative method • The validation of an alternative method is the procedure to demonstrate if the results obtained by the alternative method are comparable to those obtained using the reference method • (NV-DOC.D - 2002-10-22: Protocol for the validation of alternative microbiological methods)

17. Søk på VALIDERING på hjemmesidene til de nordiske tilsynsmyndigheter på nærings-middelområdet Lite referanser, delvis fordi søkefunksjonene ikke er like godt utbygd

18. Søk / Søg / Sök / Leit / Haku • Sökresultat • Sökning: "valid" • Inga sökträffar. • Mikrobiologiske retningsliner - utskriftsvenleg versjon • (Seksjon: dokumentasjon : veiledere )

20. (ISO 9001 och ISO 14001) • Används över hela världen • Styrs av marknadens behov • Frivillig användning • Förordas av WTO, EU och andra handelsblock • (Kent Gustavsson, SWEDAC. • Akkrediteringsdag, 12.11-2002)

21. Bedömning • Utgår alltid ifrån SS-EN ISO/IEC 17025 samt STAFS • Valideringsrutiner: omfattning, ansvar, dokumentation, beslut • Valideringsansvariga • Totalkompetens • Kvalitetssäkring av resultat • (Merih Malmqvist, SWEDAC. • Akkrediteringsdag, 12.11-2002)

22. Validering/verifiering av mätmetoder (SWEDAC, ME39) • Validering • bekräftelse genom undersökning och framläggande av bevis att de särskilda kraven för en specifik, avsedd användning har uppfyllts • Verifiering • bekräftelse genom undersökning och framläggande av bevis att specificerade krav har uppfyllts • Anm. Validering fastställer att metoden mäter det man har för avsikt att mäta, medan verifiering bekräftar att metoden uppför sig på ett specificerat sätt. Det råder således ett hierarkiskt förhållande mellan validering och verifiering där validering innefattar verifiering. Validering kan normalt ses som en engångsföreteelse medan verifiering kan utföras vid upprepade tillfällen.

23. Validering/verifiering av mätmetoder (SWEDAC, ME39) • SWEDAC ställer olika krav på validering av använda metoder beroende på tillgänglig dokumentation, samt erfarenhet av instrument och metoder. • Alla metoder som ackrediteras skall vara validerade och verifierade.

24. Internasjonale organer • Generelle • Overnasjonale, alle typer analyser • Regionale • Europeiske, nordiske, nasjonale • Fag-spesifikke • Kjemiske, mikrobiologiske, sensoriske • Produkt-spesifikke • Meieri, vin, frukt,….

25. Eksempler på internasjonale organer • Generelle • ISO: International Standardization Organization • ILAC: International Laboratory Accreditation Cooperation • Regionale • NMKL: Nordisk Metodikkomite for Levnedsmidler • EA: European co-operation for Accreditation • CEN: Comité Européen de Normalisation • APLAC: Asia Pacific Laboratory Accreditation Cooperation • Fag-spesifikke • IUPAC: International Union of Pure and Applied Chemists • Produkt-spesifikke • IDF: International Dairy Foundation

26. Hvem skal man egentlig forholde seg til? Verdens- omspennende Europeisk Nordisk Nasjonalt

27. Hvorfor gjøres analysene? • Kontroll i forbindelse med import/eksport • ISO • Nasjonal næringsmiddelkontroll • NMKL, AOAC • Kontroll i en produksjonsbedrift (Arla, Valio, Tine) • IDF

29. What is EA • Until now, the branches of European national accreditation bodies have been handled separately by EAC (European Accreditation of Certification) and EAL (European co-operation for Accreditation of Laboratories) concerned with certification bodies or with laboratories. • These organisations have joined to form European Accreditation (EA) which now covers all European conformity assessment activities

30. What is ILAC • What is laboratory accreditation? • How does laboratory accreditation assist international trade and development? • What is ILAC's role?

31. What is the IAF? • The International Accreditation Forum, Inc. (IAF) is the world association of Conformity Assessment Accreditation Bodies and other bodies interested in conformity assessment in the fields of management systems, products, services, personnel and other similar programmes of conformity assessment.

32. ISO/IEC 17025 • Godkjent av CEN som europeisk standard uten endringer • Gjelder fra 1.10.2000 • Motstridende nasjonale standarder gjelder ikke etter 30.09.2000 • Erstatter ISO/IEC 25 og NS/EN-45001

33. ISO/IEC 17025 • Inneholder alle de kravene som prøvings- og kalibreringslaboratorier MÅ tilfredsstille hvis de ønsker å bevise at de: • anvender et kvalitetssystem • er teknisk kompetente • er i stand til å fremstille teknisk gyldige resultater

34. Belgia Danmark Finland Frankrike Hellas Irland Island Italia Luxembourg Nederland Norge Portugal Spania Storbritannia Sveits Sverige Tsjekkia Tyskland Østerrike ISO/IEC 17025Forpliktet til å implementere iflg CEN:

35. Krav i ISO/IEC 17025Kap. 5.4.5.1 • Validation is the confirmation by examination and the provision of objective evidence that the particular requirements for a specific intended use are fulfilled • Validering er en bekreftelse fra en undersøkelse og framskaffelse av et objektivt bevis på at de spesielle kravene for en bestemt tiltenkt anvendelse tilfredsstilles

36. Krav i ISO/IEC 17025Kap. 5.4.5.2 • Laboratoriet skal validere • metoder som er utviklet av laboratoriet • standardmetoder som benyttes utenfor deres tiltenkte omfang • utvidelser og modifikasjoner av standardmetoder

37. Krav i ISO/IEC 17025Kap. 5.4.5.2 • Valideringen skal være så omfattende som det er nødvendig for å tilfredsstille behovene ved den bestemte anvendelsen eller anvendelsesområdet • Laboratoriet skal registrere • resultatene som oppnås • prosedyren som er brukt for valideringen • en erklæring med hensyn til om metodene passer for den tiltenkte anvendelsen

38. Krav i ISO/IEC 17025Kap. 5.4.5.2 - Merknader • Validering kan omfatte prosedyrer for prøvetaking, håndtering og transport • Når validerte, ikke-standardiserte metoder endres, bør innvirkningen av slike endringer dokumenteres. Eventuelt bør ny validering utføres

39. Krav i ISO/IEC 17025Kap. 5.4.5.2 - Merknader • Teknikkene bør være minst en av følgende: • Kalibrering mot referansestandarder/-materialer • Sammenlikning med resultater fra andre metoder • Sammenlikning mellom laboratorier • Systematisk vurdering av innvirkende faktorer • Vurdering av usikkerheten for resultatene

40. Krav i ISO/IEC 17025Kap. 5.4.5.3 • Området for nøyaktigheten av verdiene som kan oppnås med validerte metoder, slik disse er bedømt for den tiltenkte anvendelsen, skal være relevant i forhold til oppdragsgiverens behov

41. Krav i ISO/IEC 17025Kap. 5.4.5.3 - Merknader • Validering omfatter: • Spesifikasjon av kravene • Bestemmelse av metodens egenskaper • Kontroll av at kravene kan oppnås ved å benytte metoden • Erklæring om gyldigheten

42. Konklusjon 1 • Begrepsforvirring • Uklare ansvarsforhold • Frivillighet under tvang • Mye dobbeltarbeid - lite samordning • Mange organisasjoner - offisielle og uoffisielle • Mange faggrupper • Statistisk mangelfulle

43. Konklusjon 2 • Mange interessante arbeidsoppgaver • So: why do not the different bodies, both official bodies like the one you represent, as well as bodies with a more limited scope get together to agree on THE statistical procedure for chemists/microbiologists? • (Spørsmål til Roger Wood)

44. Konklusjon 3 • You are correct on thinking that there are a number of approaches being taken here. What I think it best is to send you the latest draft of the EU Official Feed and Food Control Regulation, where the quality standards for laboratories are actually defined. There you will see references to the various standards • (Roger Wood, Personal email communication)

45. Takk for oppmerksomheten!