Zasada największej entropii

1. Zasada największej entropii • Problemy: • Jak dopasować model matematyczny do danych doświadczalnych gdy liczba punktów pomiarowych jest mniejsza niż liczba wyznaczanych parametrów? • Wyznaczanie rozkładu czasów zaniku fluorescencji. • Wyznaczanie rozkładu odległości donor-akceptor w badaniach zaniku fluorescencji. • Wyznaczanie czasów życia rozkładu czasów życia w badaniach kinetyki reakcji enzymatycznych. • Wyznaczanie hiperpowierzchnii energii w reakcjach chemicznych poprzez badania kinetyczne. • Określanie zespołu statystycznego konformacji peptydu na podstawie danych NMR. • Analiza widmowa “zaszumionych” szeregów czasowych. • Rekonstrukcja “zamazanego” obrazu (astronomia, archeologia, itp.)

3. Ogólna zasada Przypuśćmy, że “obraz” powstaje poprzez rozłożenie z powtórzeniami N identycznych kul w M pudełkach tak, że w pudełku o numerze j znajduje się nj=fjN kul. Liczba takich ułożeń jest równa Definiujemy entropię S obrazu Jeżeli nie wszystkie pudełka są równocenne i czynnik preferencji j-tego pudełka wynosi Fj to entropię definiujemy następująco:

4. Sformułowanie zasady największej entropii • Zmaksymalizować S wzlędem parametrów modelu pod następującymi warunkami: • Obliczona wariancja różnic wielkości zmierzonych i obliczonych jest równa wariancji odpowiadającej błędom pomiarowym (poziomowi szumu) co oznacza c2=1. • Parametry są znormalizowane (np. rozkład czasów życia znormalizowany do jedności). ND: liczba punktów pomiarowych x: zmienne objaśniające y: zmienne zależne l i a są formalnie mnożnikami Lagrange’a i powinny być również traktowane jako wyznaczane parametry ale można je potraktować jako stałe parametry metody.

5. Równania na fj można rozwiązywać metodą iteracji prostej ale jest to procedura wolno zbieżna. Lepiej zastosować którykolwiek z algorytmów quasi-newtonowskich bezpośrednio do minimalizacji -Q.

6. Schemat postępowania: • Jako przybliżenie początkowe założyć fj=Fj dla każdego j. • Wybrać początkową wartość l. • Zminimalizować -Q. • Jeżeli c2»1 zakończyć proces. • Jeżeli c2 jest znacznie większe od 1 zmniejszyć l a jeżeli dużo mniejsze od 1 zwiększyć l i przejść do punktu 3. • Metoda największej entropii daje wartości parametrów najbardziej zbliżone do ich “apriorycznego” rozkładu danego przez wektor/funkcję F. • Metoda największej entropii należy do bardziej ogólnych metod estymacji Bayesa, tj. estymacji parametrów modelu (dokładniej: wyznaczania aposteriorycznego rozkładu parametrów) przy założeniu, że jeżeli nie ma żadnych dodatkowych informacji to spełniają one pewien rozkład aprioryczny.

7. Przykład 1: rozkład czasów życia w kinetyce wiązania ligandu z receptorem. DA: różnica pomiędzy absorbancją kompleksu ligand-receptor a absorbancją wolnego ligandu.

8. Steinbach, P.J., K. Chu, H. Frauenfelder, J.B. Johnson, D.C. Lamb, G.U. Nienhaus, T.B. Sauke, and R.D.. Biophys. J. 61:235-245 (1992).

9. Przykład 2: Analiza widmowa zaszumionego sygnału.

11. Przykład 3: Określanie udziałów konformacji peptydów na podstawie teoretyczej analizy konformacyjnej i danych NMR Yk: średnia wartość k-tej obserwabli (np. sygnału NOE, stałej sprzężenia). Yki wartość k-tej obserwabli wyliczona dla i-tej konformacji. wi: waga statystyczna i-tej konformacji. M. Groth, J. Malicka, C. Czaplewski, S. Ołdziej, L. Łankiewicz, W. Wiczk, A. Liwo, J. Biomol. NMR, 15: 315–330, 1999.

14. Zadanie o kangurach. Wiadomo, że 1/3 kangurów w danej grupie ma niebieskie oczy a 1/3 jest leworęczna. Ile jest w tej grupie kangurów, które są niebieskookie i leworęczne? 1-(1/3-x)-(1/3-x)

16. Steinbach, P.J. 2002. Inferring lifetime distributions from kinetics by maximizing entropy using a bootstrapped model. J. Chem. Inf. Comput. Sci. 42: 1476-1478. • Skilling, J. 1989. Classic maximum entropy. In: Maximum Entropy and Bayesian Methods. J. Skilling, editor. Kluwer Academic, Norwell, MA. 45-52. • Skilling, J., and R.K. Bryan. 1984. Maximum entropy image reconstruction: general algorithm. Mon. Notices R. Astron. Soc. 211:111-124. • http://cmm.info.nih.gov/maxent/letsgo.html