1. Planung und Studiendesign 2. Datenerhebung und Datenmanagement 3. Auswertung 4. Bericht und Publikation

1. BIOMETRIE UND DATENMANAGEMENT IN KLINISCHEN STUDIEN Lutz Edler DKFZ - Deutsches Krebsforschungszentrum, Heidelberg 1. Planung und Studiendesign 2. Datenerhebung und Datenmanagement 3. Auswertung 4. Bericht und Publikation

2. From Sofie‘s World Though many people recover from illness after taking a certain type of medicine, this does not mean that it is the medicine which cured them. For this reason we need a large group of people who believe that they are receiving the same medicine while in reality they are getting only flour mixed with water. Should these people also recover from their illness, then there must be a third factor which is curing them - for example the belief in the effectiveness of the medicine.

3. Biometrie und Datenmanagment in klinischen Studien Klinische Studien sind prospektiv geplant und durchgeführte experimentelle Projekte mit dem Ziel der Bestimmung optimaler standardisierter Behandlungen für künftige Patienten. Dazu werden aus den patienten-bezogenen klinischen Daten mittels quantifizierender statistischer Verfahren Schlussfolgerungen zur Wirksamkeit und Sicherheit gezogen. STUDIENTYPAUSGANGSSITUATION prospektivBehandlungs- und Kontrollgruppe randomisiertVergleich

4. Biometrie und Datenmanagment in klinischen Studien Sowohl in der Planungs- als auch in der Auswertungsphase hat dieBiometrie die wichtige Funktion, Studienergebnisse mit Studienhypothesen mittels geeigneter statistischer Methodik zu verknüpfen. Die Auswertung selbst erfordert die Bereitstellung korrekter Daten, durch optimale Datenerhebung und ein effizientes Datenmanagement Statistik ist eine Zusammenfassung von Methoden, die uns erlauben, vernünftige optimale Entscheidungen im Falle von Ungewissheit zu treffen. A.Wald

5. Planung Durch - führung Daten - - erhebung -management Biometrische Auswertung Publikation BIOMETRIE im Ablauf einer Studie 1. Planung mit Studiendesign Formulierung der Fragestellung Ableitung der Prüfhypothesen Festlegung einer ausreichenden Fallzahl Stratifikation, Randomisation

6. Biometrie und Datenmanagment in klinischen Studien Die drei großen Fragestellungen Frage der (Un)Genauigkeit (z.B. Konfidenzintervalle) In einer Studie wird in einer Patientenpopulatiuon ein bestimmtes Ergebnis (z.B. Responserate) beobachtet. Mit welcher Präzision können Aussagen getroffen werden? Frage der Aussagenprüfung (Testtheorie) Über eine bestimmte Substanz besteht eine theoretische Vorstellung über ihre Wirksamkeit (z.B. besser als Standardmedikation). Wird diese durch die empirischen Daten gestützt oder nicht? Frage der Prädiktion (Regression) Es liegen auf ausreichender Basis empirische klinischer Daten für eine Gruppe von Patienten vor Kann eine Prognose des Krankheitsverlaufs gegeben werden?

7. 95% Vertrauensbreich für die Ansprechrate von 20%

8. Biometrie und Datenmanagment in klinischen Studien Frage der Testtheorie Nullhypothese: Eine therapeutische Maßnahme sei unwirksam bzw. im Vergleich zu einer anderen Behandlung gleich effizient. Alternativhypothese: Eine therapeutische Maßnahme sei wirksam bzw. sie weist sie im Vergleich zu einer anderen Behandlung einen unterschiedlichen Behandlungserfolg auf. Anmerkung: zweiseitige Fragestellung (two-sided test) Unterschied einseitige Fragestellung (one-sided test) Überlegenheit !!! NEU: Nicht-Unterlegenheit einseitige Fragestellung (one-sided test) mit einer Äquivalenzgrenzsgrenze

9. Beispiel Nullhypothese: Die Wirksamkeit des neuen Medikamentes ist höchstens gleich gut, wie die der bisherigen Standardmedikation Prob(Response) = 0,2 Alternativhypohese: Die Wirksamkeit des neuen Medikamentes ist besser, als die der bisherigen Standardmedikation: Prob(Response) = 0.3 einseitige oder zweiseitige Fragestellung:  einseitige ist trennschärfer als eine zweiseitige aber  Richtung der vermuteten Abweichung geht in die Testprozedur ein  Festlegen der Hypothesen vor der Durchführung

10. Testverfahren Die Irrtumswahrscheinlichkeit α (α-Fehler, Fehler 1.Art) ist die Wahrscheinlichkeit, mit der die Nullhypothese fälschlich abgelehnt wird. Die Irrtumswahrscheinlichkeit β (β-Fehler, Fehler 2.Art) ist die Wahrscheinlichkeit, mit der die Alternativhypothese fälschlich abgelehnt wird. 1. Es gibt also immer zwei Irrtumswahrscheinlichkeiten! 2. Es handelt sich nicht um die Wahrscheinlichkeit einer irrtümlichen Behandlung: bedingte Wahrscheinlichkeit! vgl: unsere Kontroverse im DÄBlatt

11. Kontroverse im DÄBlatt: Windeler, Edler, Antes, 2004 Wolfgang Weihe 26.3.2004: „Für alle guten und sehr guten Studien, die auf dem 5-Prozent-Niveau signifikant sind und mit denen wir unser therapeutisches Tun begründen, gilt, dass die Wahrscheinlichkeit, dass es sich um ein Zufallsergebnis handelt, nicht bei fünf Prozent, sondern irgendwo zwischen zehn Prozent (sehr selten) und 40 Prozent (häufig) liegt.” im ersten Teil (A) des Satzes eine andere Definition als im zweiten (B). A:P (signifikante Studie | Nullhypothese ist richtig). “Wahrscheinlichkeit für ein signifikantes Studienergebnis unter der Bedingung, dass die Nullhypothese richtig ist”. B: P (Nullhypothese ist richtig | signifikante Studie). “Wahrscheinlichkeit” dafür, dass die Nullhypothese richtig ist, unter der Bedingung, dass eine Studie ein signifikantes Ergebnis liefert. Die B-Wahrscheinlichkeit gibt es im Sinn einer frequentistischen Statistik nicht. “Nullhypothese ist richtig”, ist nicht beobachtbar, d.h. es ist nie zu entscheiden, wann dieser Umstand eingetreten ist und wann nicht. Damit kann diese “Wahrscheinlichkeit” nicht quantifiziert werden.

12. Beispiel (einseitige Alternative, Test gegen festen Wert) Eine Pharmafirma hat ein neues Medikament entwickelt, von dem vermutet wird, dass es die Heilungschance bei einer bestimmten Krankheit von 20% (Erfolgschance bei Standardmedikation) auf 30% erhöht. Man plant eine Studie mit n=30 (n=100) Patienten. Wie groß ist die Chance, den vermuteten Effekt (10%) nachzuweisen? Berechnung der Power (Fallzahlplanung) Wie wahrscheinlich ist es, dass bei Gültigkeit einer bestimmten Alternativhypothese, diese mit dem Test auch tatsächlich erkannt wird? Bei n=30 Patienten und einer tatsächlichen Steigerung der Responserate von 20% auf 30%, beträgt die Power lediglich 40% . Bei n=100 steigt die Power auf 77% .

14. Biometrie und Datenmanagment in klinischen Studien Bestimmung der Fallzahl in der Praxis Realistischerweise erwartete Unterschiede sind oft relativ klein und erfordern bei entsprechenden Vorgaben in Bezug auf die Fehlerraten (α, β) häufig unrealistisch große Fallzahlen. Auswege: Anderer Endpunkt (Erfolgskriterium) Lockern der Ein/Ausschlußkriterien der Studie Multizentrische Studie Längere Studiendauer oder Verzicht auf die Studie

15. Was ist Randomisation? • Randomisation ist die zufällige Zuordnungder Behandlungen • zu den Untersuchungseinheiten bei der Anlage von geplanten Versuchen. • Sie soll die Zufälligkeit der Stichprobe im Sinne der mathematischen • Statistik garantieren und ist Grundlage eines Kausalitätsschlusses. • Die zufällige Zuordnung wird mit Tabellen (Algorithmen) von • Zufallszahlen vorgenommen. • Man vermeidet durch Randomisation systematische Fehler durch prognostische Faktoren bzw. durch subjektive Faktoren des Behandlers. • bekannte und unbekannte bewußte und unbewußte • Keine taugliche Randomisation ist die • Alternative Behandlungszuordnung in der Reihenfolge der Studienaufnahme • (ABABABAB......) • Zuordnung aufgrund der Initialen des Patientennamens • (A-L: Behandlung A; M-Z: Behandlung B) • Zuordnung aufgrund des Geburtsdatums oder des Aufnahmedatums

16. Stratifikation Randomisation garantiert nicht, dass eine Ausbalancierung bezüglich eines bestimmten prognostischen Faktors gegeben ist. Will man dies sicherstellen, muss die Studie bezüglich dieses Faktors stratifiziert werden. Es erfolgt dann für jede Schicht eine gesonderte Randomisation. Die Schichten können auch durch Kombination von Faktoren definiert werden. Die Anzahl der Schichten ist allerdings sehr beschränkt und somit auch die Möglichkeit prognostische Faktoren bei der Planung optimal einzubeziehen High Risk A A B A B B B B A A A B Low Risk B A B A A B A A B B A B  zeitlicher Ablauf 

17. Verblindung Randomisation kann einen potentiellen subjektiven Einfluss durch Patient oder Arzt nicht eliminieren. Verblindung des Patienten (einfach blind) oder des Patienten und des Arztes (doppelblind) dient dazu, einen solchen subjektiven Einfluss zu eliminieren. Weitere Verblindung spielt bei Zwischenauswertungen eine Rolle, wenn alle Mitglieder der Studiengruppe gegenüber dem Ergebnis „verblindet“ gehalten werden, um eine Verzerrung durch eine am Ergebnis ausgerichtete vorzeitige Beendigung zu vermeiden.  Independent (Data) Review Board  Studienbiometrie wertet verblindet aus oder gibt die Auswertung an unabhängige Dritte ab

18. Planung Durch - führung Daten - - erhebung -management Aus wertung Publikation 2. Datenerhebung und Datenmanagement CRF Codierung Kriterien und Defintionen

19. Biometrie und Datenmanagment in klinischen Studien • Datenerhebung und Datenmanagement - d.h. die Dokumentation • ist Grundvoraussetzungen für eine ordnungsgemäße Durchführung und Auswertung, • ist eine Methodik des Sammelns und Bearbeitens klinischer Patientendaten zum Berichten, Folgern und Verallgemeinern von Therapieergebnissen, • erfolgt nach einem prospektiven Konzept der Planung • werden bestimmt von den Studienhypothesen und dem biometrischen Auswerteplan. • ( und diese sind bestimmt vom Studienziel !!!) • Das Studienziel bestimmt die Dokumentation und nicht umgekehrt. • Das Studienprotokoll legt den Umfang der Dokumentation fest.

20. Case Report Form – CRF also der Dokumentationsbogen • Papierform: Formulare festlegen, in welche die Patientendaten eingetragen werden. Sie sind zu drucken und müssen als Dokumentationsordner (Patientenorder) gebunden vorliegen. Ein Testlauf ist zu empfehlen. • Elektronische Form: Formulare festlegen auf deren Grundlage die Software für die Eingabe der Patientendaten programmiert wird. Hardware festlegen. Hard und Software sind bereitzustellen, zu testen und in den Prüfzentren einzuführen. Anleitung und 'Hotline' sind nötig. • Dokumentationsbögen nicht erst kurz vor Studienbeginn und nie nicht nach Einschluß der ersten Patienten fertigstellen, sondern bei Erstellung des Studienprotokolls als einen integrierten Bestandteil.

21. BEISPIEL Labordaten • BESSERSCHLECHT NOCH BESSER

22. ÜBERLEBENSZEIT: gemessen ab Randomisation oder ab Therapiebeginn • bis zum Tod • Häufige Fehler sind Verwechslungen • von Datumsangaben zu • Diagnose, Klinikaufnahme, Erstuntersuchung • Aufnahme in die Studie, Randomisation, • Untersuchung vor Behandlungsbeginn, • erstes Labor nach Behandlungsbeginn • von Abschluss der Therapie und Abschluss der Studie, • von "Abschlussbogen" und Nachsorgebogen (Post-Study) • von Ausfülldatum des Arztes und letztem Follow-up Datum des Patienten. besonders wichtig bei der Phase III

23. Planung Durch - führung Daten - - erhebung -management Biometrische Auswertung Publikation BIOMETRIE im Ablauf einer Studie 3. Auswertung konfirmatorisch Signifikanztest, p-Wert, Konfidenzintervall) explorativ (Regressionsmodelle

24. Überlebensrate => Überlebenskurve Die Überlebensrate ist eine statistische Kenngröße, die für ein Patientenkollektiv die Wahrscheinlichkeit angibt, dass ein Patient zu einem bestimmten Zeitpunkt noch am Leben ist. Die Überlebenskurve ist eine summarische Darstellung der Entwicklung der Überlebensrate im Zeitverlauf. Zusammen mit einer Anzeige der „Studienzeit“ aller Patienten ist die Überlebenskurve ist eine vollinformative Darstellung Schätzung von Überlebenskurven Kaplan-Meier (product limit – ) Schätzung Life-table method Vergleich von Überlebenskurven Log-Rank Test Gehan-Breslow Test Berücksichtigung von prognostischen Faktoren Stratifizierte Tests Cox-Model (proportional hazards model

27. Das Problem mit den mehrfachen Hypothesen • Fosella et al. JCO (2003) • DC Docetaxel+Cisplatin 408 VC Vinorelbine+Cisplatin 404 • DCb Docetaxel+Carboplatin 406 • Nicht-Unterlegenheit 1. DC not worse than VC • Überlegenheit 2. DCb not worse than VC • 3. DC better than VC p= 0.044* • Primärziel OS 4. DCb better than VC p= 0.657* • *covariate adjusted. • Es kann nicht alles auf dem Niveau von 0.05 getestet werden. • Die Interpretation • „DC resulted in a more favorable response and overall • ist nicht statistisch nachgewiesen

28. Planung Durch - führung Daten - - erhebung -management Aus wertung Bericht und Publikation 4.Bericht und Publikation Patientenfluss Patientenpopulationen Ergebnisinterpretation Multiplizität beachten

29. Den Patientenfluss in der Studie genau darstellen

30. Intention to Treat Auswertung Standpunkt des Patienten alle einschließbaren Patienten werden nach der ihnen zugeteilten Behandlung ausgewertet, ungeachtet dessen, wie sie behandelt wurden und wie sie sich im Verlauf der Studie verhielten Pocock (1983): “all eligible patients, regardless of compliance with protocol should be included in the analysis whenever possible“. Die ITT-Analyse als die primäre Auswertung aller randomisierten Patienten, reflektiert Probleme der klinischen Praxis und gibt die volle und unselektierte Information weiter. Aus der ITT können Patienten ausgeschlossen werden, wenn schwerwiegende Abweichungen vom Studienprotokoll vorliegen aber man muss dann alles sehr ausführlich begründen und nachweisen, dass man nicht informativ selektiert

31. PER-PROTOCOL (PP) AUSWERTUNG • Standpunkt der Behandlung (und der Firma) • Therapievergleich nur, wenn die Therapie auch angewendet wurde. • daraus keine absolute Schlußfolgerung über die Wirksamkeit • Pharmakologische Wirkung kann beurteilt werden. • Aus der PP können Patienten ausgeschlossen werden, wenn schwerwiegende Abweichungen in der Zuweisung der Behandlung, • verbotene Begleitmedikation • schlechte Compliance, • loss to follow-up • zu viele fehlende Angaben

32. Beachte Die Biometrie/Statistik ist von Anbeginn der Planung einer Studie einzubinden Fragestellung und bisher bekanntes Wissen bestimmen die Hypothesen, das Zielkriterium und den relevanten bzw. klinisch interessierenden Unterschied und in deren Folge die Fallzahl. Verzerrung und Variabilität sind unsere unzertrennlichen Feinde. Verzerrung bekämpfen wir mit der randomisierten Studie Variabilität mit der ausreichenden Fallzahl. GCP und Guidelines betreffen neben den Patientenrechten ganz wesentlich die Qualität der Studien. Biometrie und Dokumentation sollten diese mit Augenmaß umsetzen. Und zur Dokumention nur noch den folgenden Ratschlag....

33. do not hit people put things back where you found them clean up your own mess dont take things that arent yours wash your hands before your eat hold hands and stick together be aware of wonders