Zpracování experimentálních dat

1. Zpracování experimentálních dat Pavel Matějka Pavel.Matejka@vscht.cz K08, N01 2006/2007

2. Obsah předmětu • Naměřená data a analytické výsledky • Způsoby zpracování dat • Výpočetní technika a zpracování dat • Formáty dat a jejich konverze

3. Obsah předmětu • Šum a jeho potlačení • Sledovaný signál a pozadí • Integrace signálů • Derivace signálů • hledání extrémů • hledání ramének (překryv pásů)

4. Obsah předmětu • Popis a parametry píků • Dekonvoluce, modelování • Fourierova transformace • Vícedimenzionální datové soubory, mapy dat

5. Obsah předmětu • Zpracování většího počtu datových souborů • základní matematické operace se signály (odečty, podíly ...) • složitější operace se sadou datových souborů • tvorba maker pro automatizaci zpracování

6. Obsah předmětu • Statistická analýza • průměrování vícedimenzionálních dat a výpočty směrodatných odchylek • klastrová analýza • faktorová analýza • analýza hlavních komponent • klasifikační metody • regresní metody

7. Softwarové prostředky • ACD/SpecViewer - freeware • Omnic, TQ Analyst - NICOLET • Lab Spec - DILOR • Spectral Data Processor - XPS • Microcal ORIGIN • MS Excel • Unscrambler Introducer - CAMO

8. Program ACD/SpecViewer

9. Program ACD/ChemBasic-editor

10. Program OMNIC E.S.P.

11. Program MACROS BASIC pro OMNIC E.S.P.

12. Program LABSPEC

13. Program Spectra Data Processor - XPS

14. Program Microcal ORIGIN

15. Program MS Excel

16. Program Unscrambler

17. Naměřená data a analytické výsledky Zpracování dat naměřená data analytické výsledky

18. Naměřená data • jedna hodnota 5,00 mg (bod – 1D) • řada dat 15,8; 27,2; 38,3 … (vektor) • funkční závislosti - dvojice hodnot - x, y - trojice hodnot - x, y, z - více dimenzionální (matice) , tabulky, grafy

19. Způsoby zpracování dat • numerické - základní aritmetika maticový počet ! • grafické - • geometrie !

20. Způsoby zpracování dat • tužka, papír • + pravítko, křivítko • + logaritmické pravítko • + kalkulačka • + liniový zapisovač • + počítač ! !

21. ANALYTICKÝ VÝSLEDEK POŽADAVKY NA VÝSLEDEK • hodnověrný • spolehlivý • opakovatelný POŽADAVKY NA ZPRACOVÁNÍ DAT

22. Výpočetní technika a zpracování dat ON-LINE OFF-LINE HARDWARE SOFTWARE VSTUP DAT Presentační Pracovní VÝSTUP DAT

23. Vstup dat NUTNÁ PODMÍNKA • on-line - PROPOJENÍ měřicího zařízení a počítače - • RYCHLOST PŘENOSU DAT • ŘÍZENÍ KOMUNIKACE

24. Vstup dat VHODNÉ, NE NUTNÉ • off-line - PROPOJENÍ měřicího zařízení a počítače • „logger“ v zařízení a dávkový přenos dat • VARIABILNÍ TYP VSTUPU

25. Výstup dat a protokoly • Presentační • pro objednavatele analýzy elektronická či tištěná forma • Pracovní • pro vlastní potřebu • pro další zpracování elektronická či tištěná forma

26. Ukládání a sdílení dat • Jednouživatelské • kombinace psaných a elektronických záznamů v různých formátech • Víceuživatelské • ELN - elektronický laboratorní zápisník • INTEGRACE DAT Z RŮZNÝCH ZDROJŮ DO JEDNOTNÉ FORMY

27. HARDWARE • „Osobní počítače“ - univerzální • pro jeden či malý počet přístrojů • „Pracovní stanice“ - specializované • pro jeden či malý počet přístrojů • „Servery“ - specializované • i pro větší počet přístrojů

28. SOFTWARE • RUTINNÍ ANALÝZY • požadavky GLP, norem - minimální možnost zásahu uživatele • VÝVOJ METODIKY v rámci známé analytické metody • omezené zásahy uživatele • „ZÁKLADNÍ“ analytický VÝZKUM • vysoká variabilita, možnost široké palety zásahů uživatele

29. SOFTWARE • SPECIALIZOVANÝ SOFTWARE • „jednoúčelový“ • uživatelsky jednoduchý • příklad „OMNIC“ - pro měření a základní zpracování infračervených spekter • SOFTWAROVÉ „BALÍČKY“ pro širokou škálu aplikací • vysoká variabilita, možnost tvorby uživatelských „maker“, „rutin“, „subprogramů“ • uživatelsky složitější • příklad „ORIGIN“, „EXCEL“

30. Formáty dat a jejich konverze -univerzální formáty - jednoúčelové formáty - převody mezi formáty

31. Univerzální formáty • TEXTOVÝ formát *.txt , *.csv, *.prn, * .dat • ASCII - XY - nejběžnější 2 sloupce čísel • fixní šířka sloupců • oddělovače sloupců (,;tab) POZOR na identifikátory desetinných čísel či tisíců !

32. 532.402 736.3 532.448 743.3 532.494 745.3 532.541 726.3 532.587 726.3 532.634 751.3 532.68 739.3 532.727 735.3 532.773 743.3 532.82 743.3 532.867 740.3 532.914 747.3 532.961 751.3 Textový formát 1.504245e+002;1.976861e+000 1.509066e+002;1.968357e+000 1.513888e+002;1.962499e+000 1.518709e+002;1.959623e+000 1.523530e+002;1.958485e+000 1.528352e+002;1.956975e+000 1.533173e+002;1.953950e+000 1.537994e+002;1.947547e+000 1.542816e+002;1.936512e+000 1.547637e+002;1.919728e+000 1.552458e+002;1.896824e+000 1.557279e+002;1.868656e+000 1.562101e+002;1.835209e+000 1.566922e+002;1.798726e+000 1.571743e+002;1.761715e+000

33. Textový formát • ASCII - Y 1 sloupec čísel - ypsilonové hodnoty • konstantní delta X definované v záhlaví

34. Textový formát • ASCII - X multiple Y 1 sloupec hodnot X více sloupců hodnot Y • stejné hodnoty X pro více datových řad • chybí univerzální podpora tohoto formátu

35. Výhody univerzálnost nepravidelný krok snadný náhled snadná extrakce části dat snadné spojování dat Nevýhody chybí popis dat chybí jakékoli doplňkové informace objemné soubory nedostatečná kodifikace formátu Textový formát

36. Univerzální formáty • JCAMP-DX formát *.jdx , *.dx, *.dx? konstantní delta X • v řádku pro jednu hodnotu X deset po sobě jdoucích hodnot Y • definované položky v hlavičce souboru • nedatové položky odlišeny ##

37. ##TITLE=p-HAP ##JCAMP-DX=4.24 ##DATA TYPE=RAMAN SPECTRUM ##DATE=20/4/2001 ##TIME=12:28:33 ##SAMPLING PROCEDURE=cup ##ORIGIN=ED ##DATA PROCESSING=no operation ##SAMPLE DESCRIPTION=p-HAP ##XUNITS=1/CM ##YUNITS=ABSORBANCE ##RESOLUTION=4 ##FIRSTX=3600.7255 ##LASTX=98.532917 ##DELTAX=-1.9285201 ##MAXY=0.25041848 ##MINY=0.00016729564 ##XFACTOR=1 ##YFACTOR=2.3322039e-010 ##NPOINTS=1817 ##FIRSTY=0.00064811291 ##XYDATA=(X++(Y..Y)) 3601+2778972+1934559+2604332+2678989+1991450+1674034+2046136+2278889+2078093 3583+3122147+4311999+4682680+4290973+3472452+3177716+2759257+1320684+3210535 JCAMP-DX formát

38. Výhody uznávaná kodifikace snadný náhled řada průvodních informací definovaně uvedených záhlaví Nevýhody konstantní krok „pseudo“ objemné soubory JCAMP-DX formát

39. Univerzální formáty • Galactic Industries formát (GRAMS, Spectra Calc) *.spc starší verze - konstantní delta X novější verze - nepravidelný krok

40. M €ÝCĎěB^ţlD Ń PG4CO4 @R tumor1day/1 @S 999.96 @E 487.9860 @T 150 @A 10 @P 16mW @L 110 @W 1.21 @F ---- @O Sinica @B PG4CO4 @D JY @G 1800 @N 400 @Z irrad/frez )ŕ8!ŕ¸Fŕ8U ŕ8’ŕ8Ĺŕ8¸ŕ8{ ŕ8bŕ8อŕ¸Vŕ¸íŕ¸Çŕ¸ŕ8ŕ8ŕ8ˇŕ¸'ŕ8šŕ¸*ฐŕ¸ŕ8Yŕ¸Ďŕ8|ŕ¸Qŕ¸Wŕ84ŕ8ถ" ą-+ 9í8 ąJ ąłR ą:I 9: ąŔ3 ąO7 9ó< 9Ú; 9Ó2 ąÓ2 ą) 9»! 9`ŕ8őึŕ¸řŕ8Ťŕ¸uŕ8¦ŕ8»ŕ¸$ŕ¸<ŕ8ąŕ8uŕ8Î# ą$" 9řธŕ8oŕ¸Kŕ¸Zŕ8iŕ8Aŕ¸çŕ8»ŕ¸hŕ¸ęŕ8ůŕ8ßŕ¸ŕ¸ŕ¸Hŕ¸fŕ8ąŕ¸Řŕ¸Kŕ¸Çŕ88ฐŕ8Kŕ88ŕ¸ŕ¸! ą§# ąŽ% 9Ř% ą!% ąť# 9î! 9D ąVŕ8ˇŕ¸¦ŕ¸ëŕ8#ŕ¸Ěŕ¸úŕ¸a ąq 9d 9 9 ąçŕ8 9: ą§ 9Ń! ąŃ! ą4# 9v& 9•* ąă0 9”8 93@ 9>E ąĘE ąB 9–< 9q7 9ă3 ąŐ1 ąú. 9ć+ 9›( ą6% 98" 9żŕ¸ĺŕ8Čŕ8 GALACTIC formát

41. Výhody uznávaná kodifikace široká podpora řady programů kompaktní soubory stručná hlavička Nevýhody 2 typy formátu vzájemně jen částečně kompatibilní nesnadný náhled obtížná extrakce části dat GALACTIC formát

42. Jednoúčelové formáty • FORMÁTY • výrobců přístrojů • výrobců speciálního softwaru

43. Výhody „šité na míru“ pro danou aplikaci v daném prostředí řada průvodních, detailních informací Nevýhody obtížný náhled limitované možnosti použití doplňujícího softwaru nemožnost uživatelského přizpůsobení Jednoúčelové formáty

44. Převody mezi formáty • export a import dat v rámci programů pro zpracování dat • speciální konverzní programy podporující řadu formátů

45. Převody mezi formáty konverzní program

46. ŠUM a jeho potlačení - šum - prokladové metody - transformační metody - umělé přidávání šumu

47. transformační metody PROKLADOVÉ (filtrační) metody

48. Šum - „statistický“ ŠUM - signál bez žádaného informačního obsahu - rušivý signál - signál náhodného (pseudonáhodného)charakteru

49. Šum - „statistický“ ŠUM - náhodná proměnná s nulovou střední hodnotou POTLAČENÍ Nejdokonalejší - mnohonásobné opakování experimentu za DOKONALE STEJNÝCH podmínek, resp. za podmínek, které se liší POUZE „NÁHODNÝM“ („statistickým“) šumem

50. Šum - potlačení GRAFICKÉ VYHLAZENÍ ŠUMU - proložení šumových oscilací hladkou křivkou NUMERICKÉ VYHLAZENÍ ŠUMU - proložení šumových oscilací - polynomem - segmentovou funkcí (spline function)