HOGYAN OLVASSUNK KRITIKUSAN ORVOSI FOLYÓIRATOKBAN MEGJELENT CIKKEKET?

1. HOGYAN OLVASSUNK KRITIKUSAN ORVOSI FOLYÓIRATOKBAN MEGJELENT CIKKEKET?

2. EMLÉKEZTETŐ, MIELŐTT ELKEZDENÉNK, A KONFIDENCIA INTERVALLUM ((megbízhatósági tartomány) • Mérni csak a mintát tudjuk, de az egész mérésnek csak akkor van értelme, ha a mintából a populációra tudunk következtetni.!!! • A teljes populációt vagy soha sem fogjuk megismerni (pl. minta = a Kútvölgyi Kórházban eradikált H. pylori infekciók, populáció = az összes magyar (európai, fejlett országokban lévő, valamennyi) kórházában eradikált H. pylori infekciók) vagy a mintavétel időpontjában még nem ismerhetjük, de később ismeretessé válik (minta = exit poll, populáció = valamennyi szavazni elment választó). Az orvostudományban csak az első eset lehetséges.Konfidencia intervallum: a mintában végzett mérés alapján a teljes populációra vonatkozó becslés pontossága

3. Az arány, átlag vagy bármely más statisztikai paraméter konfidencia intervalluma = annak a valószínűsége, hogy a mért paraméter százalékos előfordulása, átlaga, stb. a populáción belül egy adott, a mintában mért százalékos előfordulást, átlagot, stb. körülvevő tartományba esik. • 95%-os konfidencia intervallum: 95% annak a valószínűsége, hogy a mért paraméter valódi előfordulási gyakorisága (átlaga, stb) a populáción belül a mintában mért előfordulási gyakoriság (átlag) konfidencia intervallumába esik, tehát 5% annak a valószínûsége, hogy nem esik ebbe a tartományba.

4. Az arány konfidencia intervalluma • Az 1999. júliusi egyik közvélemény kutatás szerint 2002-ben Bergengóciában a választók 33%-a szavaz majd a Nemzeti Bergengóc Pártra (NBP)-re. • 100 %-os biztonsággal akarjuk tudni előre az eredményt. Ez lehetetlen, hiszen csak az 100%-osan biztos, hogy a választók 0-100%-a szavaz majd az MBP-re. Könnyen belátható, hogy ennek nincs értelme, a szélsőértékek valószínűsége extrém módon alacsony. Ezért szűkíteni kell az interavallumot, racionális valószínűségi értékekkel kell dolgozni, ilyen pl. a 95%-os vagy 99%-os valószínűség.

5. Az arány konfidencia intervalluma (folyt.) • 95%-os konfidencia intervallum: 95% annak a valószínûsége, hogy a szavazók majdani aránya a jelenlegi minta (33%) konfidencia intervallumába esik, tehát 5% annak a valószínűsége, hogy nem esik ebbe a tartományba. • 99%-os konfidencia intervallum: 95% annak a valószínűsége, hogy a szavazók majdani aránya a jelenlegi minta (33%) konfidencia intervallumába esik, tehát 1% annak a valószínűsége, hogy nem esik ebbe a tartományba.

6. Az arány konfidencia intervalluma (folyt.) • A konfidencia intervallum (confidence interval, CI) táblázatból olvasható le, képletből számítható ki vagy számítógép programok adják ki. Így kiszámítva szerint a CI 31 és 37 % között van. • A CI helyes kifejezési módja: • 31%-tól 37%-ig, vagy [0.31,0,37], de nem 33  2 %

7. Az arányszám 95%-os CI-jének megközelítő meghatározása képlettel: A CI alsó határa: A CI felső határa: MIÉRT NEM ESHET AZ 1 a CI ALSÓ ÉS FELSŐ HATÁRA KÖZÉ, HA AZ ARÁNY SZIGNIFIKÁNSAN KÜLÖNBÖZIK A KONTROLLBAN KAPOTTÓL? 0 hipotézis: nincs különbség p/1-p=1, ha elvetjük, akkor azt mondjuk, hogy 95% annak a valószínűsége, hogy ez az arány 1-nél nagyobb, ill. 1-nél kisebb (pl. egy adott genetikai rendellenesség egy adott betegségben gyakrabban vagy ritkábban forduljon elő, mint az össznépességben

8. A GÉNHIBA RITKÁBB A BETEGEKNÉL, P<0.05 CI felső 0,25 CI alsó 0,5 1 Génhiba gyakoriság aránya a betegek és a kontrollok között

9. A GÉNHIBA RITKÁBB A BETEGEKNÉL, DE A KÜLÖNBSÉG A SZIGNIFIKANCIA HATÁRÁN VAN P=0.05 CI alsó CI felső 0,25 1 0,5 Génhiba gyakoriság aránya a betegek és a kontrollok között

10. A GÉNHIBA NEM RITKÁBB, DE NEM IS GYAKORIBB A BETEGEKNÉL, A KÜLÖNBSÉG NEM SZIGNIFIKÁNS P>0.05 CI alsó CI felső 0,5 2 1 Génhiba gyakoriság aránya a betegek és a kontrollok között

11. Az átlag különbségek CI-ának kiszámítása A CI alsó határa A CI felső határa MIÉRT NEM ESHET A NULLA A CI ALSÓ ÉS FELSŐ HATÁRA KÖZÉ, HA AZ ÁTLAGOK KÜLÖNBSÉGE SZIGNIFIKÁNSAN KÜLÖNBÖZIK A KONTROLLBAN KAPOTTÓL? 0 hipotézis: nincs különbség, tehát a különbség=0, ha elvetjük, akkor azt mondjuk, hogy 95% annak a valószínűsége, hogy ez a különbség 0-nál nagyobb, ill. kisebb (pl. egy adott laboratóriumi mért érték átlaga egy adott betegségben szenvedőkben nagyobb, vagy kisebb , mint az össznépességben)

12. A HSP60 ANTITEST SZINT MAGASABB A BETEGEKNÉL, P<0.05 CI felső 1 CI alsó 500 1000 Hsp60 antitest szint különbség átlaga a betegek és a kontrollok között, AU/ml

13. A HSP60 ANTITEST SZINT ÁTLAGA MAGASABB A BETEGEKNÉL, DE A KÜLÖNBSÉG A SZIGNIFIKANCIA HATÁRÁN VAN P=0.05 CI alsó CI felső 400 0 200 Hsp60 antitest szint különbség átlaga a betegek és a kontrollok között, U/ml

14. A HSP60 ANTITEST SZINTJE NEM MAGASABB, DE NEM IS ALACSONYABB A BETEGEKNÉL, A KÜLÖNBSÉG NEM SZIGNIFIKÁNS P>0.05 CI alsó CI felső -100 200 0 Hsp60 antitest szint különbség átlaga a betegek és a kontrollok között, AU/ml

15. Az S.D és a 95%-os CI viszonya.

16. Az olvasás egyik célja egy adott témáról való általános tájékozódás. Erre a legcélszerűbb az összefoglaló tanulmányokat elolvasni, mert az élet rövid és mert, ezeket a tanulmányokat olyanok írják akik nagyon értenek a témához és ezért már az összefoglalt dolgozatokat is kritikusan olvassák. Azoknak a témák esetében, amely az olvasót közelebbről érintik (egy az orvos által először diagnosztizált betegség, új gyógyszer, szűkebb kutatási téma) az olvasó feladata a cikkek kritikai értékelése (ennek hiszek, ennek nem). Ilyenkor arra is törekszünk, hogy a legújabb cikkeket is megismerjük.

17. A kritikai szemlélet a cikk minden részére ki kell terjedjen. A cikkírásnál elkövetett leggyakoribb hibák a következők (minél rangosabb egy folyóirat, annál ritkábbak benne a hibák, de azért benne maradhatnak (pl. egy 9-es impakt faktorú folyóiratban azt közölték, hogy egy bizonyos immunológiai marker magas értékei esetében a halálozás valószínűsége nagyobb, mint az alacsony értékek esetében, csak azt “felejtették el” megírni, hogy a vizsgált egyének miben haltak meg)

18. A cikk fő részei: • 1.Strukturált összefoglaló • 2.Bevezetés • 3.Anyagok és módszerek (vizsgált egyének) • 4.Eredmények (alcímekkel!) • 5.Megbeszélés, célja? • 6.Köszönetnyilvánítás • 7.Irodalomjegyzék • 8.Táblázatok • 9.Ábramagyarázat 10. Ábrák • HOGYAN KEZDJÜNK CIKKET ÍRNI???

19. A három legfontosabb kritikai kérdés: • 1.Jól volt-e a vizsgálat megtervezve, értékelve és végrehajtva? • 2.Ha igen, a kapott eredmények fontosak-e tudományos szempontból, adatak-e új információt • 3.Ha a különbségek statisztikailag szignifikánsak, szignifikánsak-e tudományos szempontból is. Ha nem, elég beteget (kontrollt) vontak-e be a vizsgálatba?

20. A típusú hiba • A cikkben (általában a bevezetés utolsó mondatai tartalmazzák ezt) a szerzők nem írják meg, hogy miért végezték el a vizsgálatot. E mögött gyakran az áll, hogy a szerzők nem is tudták előre, hogy miért hajtották ezt végre. A kiindulópont ekkor: végezzük el a vizsgálatot, gyűjtsünk minél több adatot (ha lehet olyat, amelyet mások még nem néztek) és nézzük meg, hogy van-e ezek között összefüggés. (HALÁSZ-KIRÁNDULÁS). Van, amikor utólag, a véletlenszerűen kapott adatok ismeretében utólag kreálnak célkitűzéseket a vizsgálatnak. (:

21. Megjegyzés • Ha a halászkirándulás végén a halakat megfelelően szortírozzák és becsületesen bevallják, hogy ilyen kirándulásra indultak, akkor az ilyen típusú vizsgálat is hozhat új eredményt, születhet belőle új hipotézis. A baj csak az, ha ezeket a véletlenszerűen kijött összefüggéseket sem a szerzők, sem mások nem igyekeznek reprodukálni. Ha neves szerzők közölnek ilyen eredményeket, akkor sokszor ellenőrzés nélkül ezek az eredmények még tankönyvi adatokká is válhatnak.

22. B típusú hiba: mintakiválasztás. Torzítások I • Prevalencia vagy incidencia torzulás: egy adott faktor hatását vizsgálják egy betegségre, a hatást azonban nem a diagnózis felállítása után azonnal, hanem később vizsgálják. Közben azonban a legsúlyosabb esetek meghaltak. Lehetséges, hogy a halálozásban éppen ez a faktor játszott szerepet. Nagy korai letalitású betegségek esetében néhány nap késés is számíthat.

23. 10 évig tartó prospektív vizsgálat, 10 éves követés után értékelve

24. A 10. év végén értékelve

25. Torzítások II • A kórházi felvételből adódó torzulás. Ha kórházban kezelt betegek esetében egy rizikófaktor hatását vizsgáljuk, de azokat a betegeket, akiknél a rizikófaktor fennáll, gyakrabban veszik fel kórházba, mint azokat, akiknél ez nem áll fenn.

26. Torzítások III • A csoportba sorolásból adódó torzulás. Pl. paradox megfigyelés: a veszélyes munkahelyeken dolgozók egészségi állapota jobb, mint a veszélytelen munkahelyeken dolgozóké. Miért? Az veszélyes munkahelyre csak az egészséges embereket veszik fel, a többi esetében ezt nem veszik figyelembe

27. Torzítások IV • Az eljárásra való kiválasztás torzulása. Ez akkor állhat fenn, ha az adott kezelésre a betegek egy csoportját (pl. súlyosabb betegeket) nagyobb gyakorisággal választják ki, mint a kontrollcsoportba. Ez elsősorban akkor fordul elő, ha nem történik randomizálás

28. C típusú hiba. Hiba a vizsgálat elvégzésébenI A kezelt betegek több figyelmet kapnak, mint a kontrollok. Emiatt sokkal jobban betartják az orvosi előírásokat, mint a kontrollcsoport tagjai.HIV vakcináció és biztonságos szex.

29. C típusú hiba. Hiba a vizsgálat elvégzésébenII A betegeket arra kérik, hogy emlékezzen vissza egy bizonyos eseményre (pl. HIV pozitívoknál a fertőződés idejét jelző akut HIV betegségre). Lehet, hogy egyes csoportok tagjai jobban képesek erre visszaemlékezni. Betegnapló.

30. C típusú hiba. Hiba a vizsgálat elvégzésébenIII A használt műszer csak a súlyosabb eltéréseket mutatja ki, a vizsgálat közben érzékenyebb műszerre váltottak és nem egyforma mértékben alkalmazták a két műszert az egyes csoportokban. Osteoporosis Rtg densitometria

31. C típusú hiba. Hiba a vizsgálat elvégzésébenIV A betegek compliance-különbségéből jelentős torzulás adódhat különböző gyógyszerek összehasonlításából, akkor, ha az egyik gyógyszert mellékhatásai miatt a betegek nem veszik be.Megfigyelés alatt történő gyógyszerbeadás.

32. D típusú hiba az outcome meghatározásában • A kezelés, beavatkozás eredményét mérő változót (outcome variable) nem határozták meg a szerzők egyértelműen. Pl. a betegség-mentes periódus hosszát vizsgálták a szerzők, de nem definiálták egyértelműen, hogy ez mit jelentett.

33. Egyéb hibák I • A betegszám nem volt elég a kívánt különbség bizonyításához • A használt statisztikai módszerek nincsenek leírva, ill. nem egyértelmű, hogy melyik vizsgálatban milyen módszert használtak.

34. Egyéb hibák II A közölt adatok validitása nem ítélhető meg, mert ·a vizsgálatba bevont csoport(ok) legfontosabb jellemzőit a szerzők nem írták le. ·a szerzők nem megfelelő statisztikai eljárásokat használtak az adatok értékelésére (l. az előadás korábbi részeit) ·eltérés áll fenn a táblázatokban (ábrákon) található adatok és az Eredmények rész szöveges részében leírt interpretációjuk között. Ha több ilyen eltérést találunk, fennáll annak a gyanúja, hogy a szerzők manipulálták az adataikat. Ezt a kritikus olvasásnál mindig komolyan kell értékelni!

35. A szignifikáns különbség eléréséhez szükséges mintaszám kiszámítása • Miért fontos ez? Elhanyagolt terület, a legtöbb klinikai randomizált kontrollált vizsgálatnál nem veszik figyelembe és az adatok analízise során kiderül, hogy a betegszám még a legdurvább eltérés biztos igazolására sem alkalmas. • EFFECT SIZE = a hatás (elérni szándékozott) mértéke, szakmai fogalom. • Pl. célul tűzzük ki, hogy egy szer csökkentse le • ·20 Hgmm-el a szisztolés vérnyomást, • ·15%-al a koleszterin szintet, • de egy ezredrészére a HIV-RNS szintet.

36. A hatás mértéke mindig az eddig ismert adatoktól függ, és úgy kell megszabni, hogy orvosilag ennek értelme legyen. Legtöbbször (a HIV kivétel!) 50%-os, de már 25%-os különbség (csökkenés vagy növekedés) is igen erős hatást jelent, a gyógyszerkipróbálások legtöbbször ennél sokkal kisebb mértékű hatás elérését tűzik ki célul. Tehát várható, hogy a legtöbb gyógyszer kipróbálási vizsgálatba annyi beteget, ill. kontrollt vonnak be, amely legalább, 50%-os, de akár 25%-os mértékű változást is képes kimutatni. Az ehhez szükséges esetszám kiszámítható (l. később) vagy számítógépes programokkal meghatározható.

37. Ezzel szemben a valóságEZÉRT KELL A LEGJOBB ORVOSI FOLYÓIRATOKAT STATISZTIKAI SZEMPONTBÓL ISKRITIKUSAN OLVASNI • Moher D et al. JAMA 272, 122, 1998 A JAMA, a Lancet, és a New Engl.J.Med. 1975-ös, 1980-as, 1985-ös és 1990-es teljes évfolyamának minden (összesen 383) olyan cikkének az elemzése, amely randomizált kontrollált vizsgálatokról szólt. Ezek közül 70 negatív eredménnyel zárul. Kérdés: elegendő volt-e az esetszám ahhoz, hogy 25%-os vagy akárcsak 50%-os különbséget (effect size) ki tudjon mutatni a kontroll és a kezelt csoport között?

38. A negatív eredménnyel végződött összes vizsgálatnak csak 32%-ában szerepel mintaszám kalkuláció, ez azonban javuló tendenciát mutat (0%-ról 43%-ra).

39. A mintaszám kiszámításának legegyszerűbb módszere (Campbell et al. 311, 1145, 1995) • Terminológia: • aérték: a szignifikancia általunk választott határa • bérték: annak a valószínűsége, hogy II. típusú hibát követünk el, azaz igaznak fogadjuk el a hamis null-hipotézist (van a két csoport között különbség, de azt mondjuk, hogy nincs) • ·(1-) érték (power, a próba ereje): annak a valószínűsége, hogy elvetjük a null hipotézist, amikor hamis (van a két csoport között különbsége és ezt így is ítéljük meg).

40. A hatás mértéke • A számítás módját jelentősen befolyásolja az, hogy a kontroll és a kezelt csoport elemszáma azonos-e. Ez sokszor nem érhető el a gyakorlatban, ha a különbség nem nagy, pl. 1:2, akkor a próba ereje csak kissé (5%-al) csökken, 1:5 arány esetén viszont már 25%-al lesz kisebb az (1-) érték. Tehát nagyobb elemszám szükséges a szignifikáns különbsége eléréséhez.

41. Példa: Van-e kapcsolat egy bizonyos ujjlenyomattípus (csigavonal) és a szisztolés vérnyomás között (Godfrey et al BMJ 307,405,1993) • 46 embernek, akinek az ujjlenyomatán nem volt csigavonal, 136 Hgmm volt az átlagos vérnyomása, míg 93 olyannak, akinek legalább egy csigavonala volt 144 Hgmm. • De biztosan fennáll-e két csoport között a minimális mértékű különbség (effect size) ()? Ezt 5 Hgmm-nek vesszük, mert orvosilag ennél kevesebbnek nincs jelentősége. A becsült S.D. mindkét csoportban 17 Hgmm. Így a d=/S.D.=5 Hgmm/17 Hgmm= 0.294, kereken 0,3. az -t 0.05-nek, az 1--7 0,80-nak vesszük.

42. A számítás módja • Nagyon jó számítógépes programok vannak erre a célra, pl. a GraphPad StatMate szoftvere. Itt beütjük, hogy kétmintás t próbával dolgozunk, megadjuk az  értéket (0.05) és az SD értéket is beírjuk. Egy táblázatot kapunk eredményül, ahol különböző 1- értékhez és a csoportonkénti elemszámhoz tartozó különbségek vannak feltüntetve. a 0.80-as 1- értékhez és a 180-as csoportonkénti elemszámhoz tartozó  érték: 5,04. E szoftver tehát 180-as csoportonkénti betegszámot javasol, összesen 360 beteget.

43. ELLENŐRZŐ KÉRDÉSEK (checklist) Strukturált összefoglaló • ·a vizsgálat célja fontos-e és érdemes-e tanulmányozni? • ·A vizsgálat célja különbség vagy összefüggés meghatározása-e, pontosan tudható-e ez a cikkből? • ·Mi a vizsgálat kimenetelének a fő mérési kritériuma (outcome)? Ez folyamatos vagy kategórikus változó-e? • ·A vizsgált betegek olyanok-e, akik az olvasó praxisában is előfordulnak? • Ha a különbségek statisztikailag szignifikánsak, jelentősek-e klinikailag?

44. ELLENŐRZŐ KÉRDÉSEK (checklist) Bevezetés • ·Ha nincs strukturált összefoglaló, a fenti információk itt kell szerepeljenek +Eddig milyen vizsgálatok történtek a vizsgált témával kapcsolatban és ezeknek mi volt az eredménye? Várható-e, hogy a cikk új információkat ad-e?

45. ELLENŐRZŐ KÉRDÉSEK (checklist) Módszerek • ·A vizsgálat tervezése megfelel-e a célnak? • ·A vizsgálati periódus elég hosszú-e és nem túl hosszú-e? • ·Világosan le vannak-e írva a vizsgálatba beválogatás és a kizárás kritériumai? Ettől függ, hogy a konklúziók általánosíthatók-e • ·A mérési módszerek ismertek-e, megfelelő referenciák szerepelnek-e, ha új a módszer, jól, reprodukálhatóan van-e leírva? • ·A használt statisztikai módszerek le vannak-e írva és megfelelőek-e • ·Le van-e írva, hogy hány beteg volt szükséges a kívánt hatás-mérték (effect size) eléréséhez?

46. ELLENŐRZŐ KÉRDÉSEK (checklist)Eredmények I • ·A leírt megfigyelések a feltett kérdésekre adott válaszoknak tekinthetők-e? • ·Az eredmények prezentálása (átlag, S.D. S.E.M., medián, stb) fel van-e tüntetve és a táblázatból tudjuk-e hogy mi micsoda • ·Nincs-e túl sok p érték (minden 20. összehasonlításnál véletlenszerűen is p<0.05)

47. ELLENŐRZŐ KÉRDÉSEK (checklist)Eredmények II • Az összehasonlítandó csoportok alapértékei azonosak-e? Ha nem, akkor ezt a szerzők figyelembe vették-e (egyáltalán leírják-e?) és ha igen, hogyan tudták a confounding variables hatását kiküszöbölni? • ·Az ábrák és táblázatok egymagukban is érthetőek-e? • Ha a cikk egy diagnosztikai eljárásról szól, akkor ennek specificitása és érzékenysége le van-e írva. Ha a szerzők megadják az eljárás prediktív értékét, beszámították-e ebbe a vizsgált betegség prevalenciáját?

48. ELLENŐRZŐ KÉRDÉSEK (checklist)1 Megbeszélés • ·A feltett kérdések és leírt megfigyelések megfelelően diszkutálva vannak-e? • ·A levont következtetések a kapott eredményeken alapulnak-e? A következtetések nem túl általánosak-e? • ·A fontos idevonatkozó irodalom meg van-e említve és a saját eredményeit szerzők ezekkel összevetették-e? • ·A vizsgálat limitációit, esetleges hibáit, torzításait megtárgyalják-e a szerzők?