1 / 62

Biblio: cap. 10 din “An introduction to Bioinformatics algorithms”, N.Jones, P. Pevzner

Curs 9 . Clustering (gruparea datelor biologice). Biblio: cap. 10 din “An introduction to Bioinformatics algorithms”, N.Jones, P. Pevzner. Clustering. Motiva ț ie Principiul grup ă rii datelor M ă suri de similaritate / disimilaritate Metode ierarhice Metode parti ț ionale

chaim
Download Presentation

Biblio: cap. 10 din “An introduction to Bioinformatics algorithms”, N.Jones, P. Pevzner

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Curs 9. Clustering (gruparea datelor biologice) Biblio: cap. 10 din “An introduction to Bioinformatics algorithms”, N.Jones, P. Pevzner Biostatistica si bioinformatica (2013) - Curs 9

  2. Clustering • Motivație • Principiulgrupăriidatelor • Măsuride similaritate/disimilaritate • Metodeierarhice • Metodepartiționale • Biclustering • Altemetode Biostatistica si bioinformatica (2013) - Curs 9

  3. Motivatie • Analizacomparativăa structurii secvențelornu permiteîntotdeauna săse identificefuncțiape care o are o anumită genă • O variantăarfi ca în loc săse facăo analiză structurală săse realizeze o analizăfuncțională; douăgene se considerăa fisimilare nu neapărat dacăsecvențelelorsuntsimilarecidacăse “manifestă” similar • O genăse “manifestă” (“exprimă”) în momentulîn care devineactivă Biostatistica si bioinformatica (2013) - Curs 9

  4. Motivatie • Gradul de activitate al unei gene poatefimăsuratprincantitatea de ARN mesagercorespunzător • Aceasta se măsoarăprinexperimentecefolosescdispozitive de tip “microarray” • Măsuratorilese efectueazăla momentesuccesive de timp(în condiții experimentale diferite) astfelcăfiecăreigene i se poateasocia un “pattern” al activității sale reprezentat de un vector de valorinumerice Biostatistica si bioinformatica (2013) - Curs 9

  5. Motivatie • Douăgene cu “patternuri” similare de activitate pot fi considerate a aveafuncții similare • Dateleînregistrateexperimental sunt de regulăspecificateprinmatrici de intensitate • Fiecaregenăare asociatun vector de valorinumericeasociatenivelului de exprimare a geneimăsuratla diferite momentede timp • Grupareavectorilorconținândnivelele de expresiegenicăîn funcțiede distanțeledintreei permit identificareaunorgrupuri (clustere) de gene cu funcționalitate similară Biostatistica si bioinformatica (2013) - Curs 9

  6. Motivatie Biostatistica si bioinformatica (2013) - Curs 9

  7. Principiul gruparii datelor Scop:Identificarea de grupuri (clustere) dedate caracterizateprin: - datele din acelașigrupsuntsuficient de similareîntreele (criteriul de omogeneitatesaucompacitate) - datele din grupuridiferitesuntsuficient de diferiteîntreele (criteriul de separabilitate)Specific:Identificareaclaseloreste o problemădificilăîntrucât nu existăo soluțieunicășiceledouăcriterii de maisussuntconflictuale Biostatistica si bioinformatica (2013) - Curs 9

  8. Principiul gruparii datelor Exemplu Varianta de grupareceîncalcăproprietățilede omogeneitateșiseparabilitate Variantămainaturalăde grupare Biostatistica si bioinformatica (2013) - Curs 9

  9. Masuri de similaritate si disimilaritate Ipoteze: - datelesuntspecificateprinvectori cu N componentenumerice - uneorivectoriisuntnormalizațiMăsurăde similaritate:măsuracosinus: s(X,Y)=XTY/(||X||||Y||)Măsurăde disimilaritate:distanța euclidianăd(X,Y)=||X-Y|| Biostatistica si bioinformatica (2013) - Curs 9

  10. Masuri de similaritate si disimilaritate Distanțe întredoiclusteri C1 șiC2Single link:ceamaimicădistanțădintredouăelementeaparținândcelordoiclusteri (un elementdin C1 șicelălaltdin C2)Complete link:ceamai mare distanțădintredouăelementeaparținândcelordoiclusteri (un elementdin C1 șicelălaltdin C2)Average link:distanța mediedintretoateperechile de elementeîn care un elementesteîn C1 șicelălaltîn C2 Biostatistica si bioinformatica (2013) - Curs 9

  11. Alte notiuni Centroid= valoareamedie a elementelorunui cluster (centrul de greutate al clusterului; nu face neapărat parte din setulde date)Medoid = elementul din setul de date celmaiapropiat de centroidRaza cluster = abaterea standard a datelorfațăde centroidDiametru cluster = media (sau maximul) distanțelordintretoateperechilede date din cluster Biostatistica si bioinformatica (2013) - Curs 9

  12. Metode de grupare Tipuri de metode:a) In funcție de rezultatul furnizatierarhice (aglomerative, divizive) partiționaleb) In functie de principiul pe care se bazeaza: metode bazatepegrafuri metode bazatepemodeleprobabiliste metode bazatepeanalizadensității datelor c) In functie de proprietatile datelorspecificedatelornominalespecificevolumelormari de date Biostatistica si bioinformatica (2013) - Curs 9

  13. Metode ierarhice Specific: - se construieșteo ierarhie de clusterecepoatefireprezentatăprintr-o structurăarborescentănumitădendrogramă - rădăcinastructuriicorespundecazuluiîn care toatedatelesuntîntr-un singur cluster - frontieraarboreluicorespundecazuluiîn care fiecare cluster conțineun singur element - fiecarenivel al arboreluicorespundeuneipartiționăria datelor în clustere Biostatistica si bioinformatica (2013) - Curs 9

  14. Metode ierarhice Construireaarborelui se poate face: - de la rădăcina cătrefrunze: metodadivizivă - la fiecareetapăun cluster estedivizatîn altedouăclustere (selecțiaclusterului de divizat se bazeazăpe varianța datelor din cadrullui) - de la frunzecătre rădăcină: metodaaglomerativă - la fiecareetapădouăclusteresuntselectatepentru a fireunite - selecțiaclusterelor se bazeazăpedistanța dintreele(la fiecare etapă se selecteazăcelemaiapropiatedouăclustere) Biostatistica si bioinformatica (2013) - Curs 9

  15. Metode ierarhice Exemplu:- Variantaaglomerativă Biostatistica si bioinformatica (2013) - Curs 9

  16. Metode ierarhice Exemplu:- Variantaaglomerativă Biostatistica si bioinformatica (2013) - Curs 9

  17. Metode ierarhice Exemplu:- Variantaaglomerativă Biostatistica si bioinformatica (2013) - Curs 9

  18. Metode ierarhice Exemplu:- Variantaaglomerativă Biostatistica si bioinformatica (2013) - Curs 9

  19. Metode ierarhice Construiredendrograma (variantaaglomerativă):- se porneștede la matricea de disimilaritatedintre date (nxn – în cazul a n date)- se identificăcelemaiapropiate date șise grupeazăîntr-un prim cluster- se calculeazădistanța dintrenoul cluster șicelelalte date/clustereșise actualizeazămatricea de disimilaritate – se eliminăliniilecorespunzătoaredatelor/clusterelorselectatepentrureunireșise introduce o liniecorespunzătoarenoului cluster (devinematrice (n-1)x(n-1))- se repetăprocedeulidentificândla fiecareetapăcelemaiapropiatedouăclustere, reunindu-le șiactualizândmatricea de distanță Biostatistica si bioinformatica (2013) - Curs 9

  20. Metode ierarhice Aglomerativ (n)Construieșten clusteriavândfiecarecâteun elementConstruieștematricea D de distanțe dintreclusteriInițiazaarborele A cu n noduri (fiecare element corespundeunui nod)while “existăcelpuțin doiclusteri”Determinăceimaiapropiațidoiclusteri (C1șiC2 )ReuneșteC1șiC2într-un nou cluster CCalculeazădistanța dintre C și toțiceilalțiclusteriAdaugăîn arbore un nod corespunzător lui C șiunește-l cu nodurileC1șiC2Eliminădin DliniileșicoloanelecorespunzătoarenodurilorC1siC2Adăugăîn D o linieșio coloanăcorespunzătoareclusterului Cendwhilereturn A Biostatistica si bioinformatica (2013) - Curs 9

  21. Metode ierarhice Observații: In funcțiede măsurautilizatăpentru a calculadistanța dintreclusteri (single link, complete link sau average link) existămaimultevariante de algoritmiExistășivariante care reunescmai multi clusteri la o etapă (în acestcaz se reunesctoțiclusteriipentru care distanța dintreeiestemaimicădecât un pragdatșinu doarceipentru care esteatinsăvaloareaminimă). In acest caz arborele obținut nu va mai fi neapărat un arbore binarAlgoritmiiierarhicisunt de complexitatecelpuțin pătraticăîn raport cu numărulde date Biostatistica si bioinformatica (2013) - Curs 9

  22. Metode ierarhice Observatii:dendrogramele pot fireprezentateprinstructuri simple în care fiecăruinivelîicorespundesetul de clusteriidentificațiExemplu: 3 2 1 0 Descriere dendrograma:{(0,5,{{A},{B},{C},{D},{E}}), (1,3,{{A,B},{C,D},{E}}),(2,2,{{A,B,C,D},{E}}),(3,1,{A,B,C,D,E})} B A C D E Biostatistica si bioinformatica (2013) - Curs 9

  23. Metode ierarhice Observații:1. Metodeleierarhicesuntsimilare cu tehnicile de identificare a arborelui minim de acoperiresau cu identificareaclicilorîntr-un grafasociatdatelor: - nodurilecorespunddateloriarmuchiilecorespundperechilor de date aflate la o distanțămaimicădecât un pragdat; - costulasociatuneimuchiiesteproporționalcu distanța dintrenoduri.2. In cazulvariantelordivizive se porneștede la arborele minim de acoperireșise eliminăsuccesivmuchiiîn ordineadescrescătoarea costuluilor Biostatistica si bioinformatica (2013) - Curs 9

  24. Metode partitionale • Particularități: • Genereazăo singurăpartiție • Fiecăruicluster i se poateasocia un reprezentant (ex: centroid) • Elementeleclasei se stabilescîn funcțiede distanța față dereprezentantulclasei (criteriuldistanțeiminime) • Avantaj: In general suntmaieficientedecât metodeleierarhice • Dezavantaj: Necesităcunoașterea număruluide clase Biostatistica si bioinformatica (2013) - Curs 9

  25. Metode partitionale Principiu general:In cazul a k clusteri C1, C2,… ,Ck se identificăreprezentanții (centroizii) R1, R2,… ,Rk care minimizeazădistanța fațăde date Observații:1. Datelesuntasignate la clasepecriteriuldistanțeiminime2. Identificareareprezentanțiloresteechivalentăcu rezolvareauneiprobleme de optimizare Biostatistica si bioinformatica (2013) - Curs 9

  26. Metode partitionale Algoritmul mediilor (K-means): • Reprezentanții suntmediiaritmetice ale elementelorclusterului • Se porneștecu reprezentanțiinitializațialeator • Procesiterativ (alg. Loyd): • Se asigneazădatele la clasefolosindcriteriuldistanțeiminime (sau a celuimaiapropiatreprezentant) • Se recalculeazăreprezentanții ca fiindmedii ale elementelorasignatefiecăreiclase Biostatistica si bioinformatica (2013) - Curs 9

  27. Metode partitionale K-means: • Rk:=Xq(k) , k=1..K; q(1),q(2),…,q(K) sunt generate aleatorîn mulțimeade indiciaidatelorastfelîncât săfie distincte • REPEAT • FOR fiecaredatăXi Determinăq(i) astfelîncât d(X,Rq(i)) <=d(X,Rk), pt orice k AsigneazăXclasei q(i) • Calculeazăpentrufiecare k Rk: = media elementelorce au fostasignateclasei k UNTIL “nu s-au maiefectuatmodificari ale reprezentanților” Obs: • Reprezentanții nu sunt de regulăvectori din setul de date • Ordin de complexitateliniarîn raport cu numărulde date prelucrate (dardepinde de numărulde iterații) Biostatistica si bioinformatica (2013) - Curs 9

  28. Metode partitionale • Algoritmul k-means (varianta Lloyd) esteeficientdarîn fiecareetapăse bazeazăpemutareamaimultor date dintr-un cluster în altul • O variantămaiconservativăarfisăse mute o singurădatășianumecea care asigurăceamai mare descreșterea costuluipartiționării • Cu cât costulpartiționăriiestemaimic cu atât estemaibunăpartiționarea • Costulpartiționăriipoateficalculatîn diferitemoduri Biostatistica si bioinformatica (2013) - Curs 9

  29. Metode partitionale • Costuluneipartiționăripoatefispecificatprin: • Obs: • d(x,R) reprezintădistanța de la x la celmaiapropiatreprezentant din setul R={R1,…,Rk} • AlegândR care minimizeazăprima variantăde cost se ajunge la reprezentanțide tip centroidiarîn al treileacaz se ajunge la reprezentanțide tip medoid Biostatistica si bioinformatica (2013) - Curs 9

  30. Metode partitionale • O variantăde tip greedy a algoritmului K-means (modificareminimalăcu câștigmaximal) • ProgressiveGreedyK-Means(k) • Determinăo partițieinițialăaleatoare • repeat • bestChange := 0 • forfiecare cluster C • forfiecare element i care nu aparțineluiC • //dacaprinmutarealuii in clusterulC se reduce Cost(P) • if cost(P) – cost(Pi  C) > bestChange • bestChange := cost(P) – cost(Pi  C) • i*:=i C*:=C • ifbestChange > 0 • schimbapartițiaP mutândi*în C* • until bestChange=0 • returnP Biostatistica si bioinformatica (2013) - Curs 9

  31. Alti algoritmi partitionali (variante ale algoritmului kMeans) • ISODATA (Iterative Self-Organizing Data Analysis) • Permite estimarea numărului adecvat de clusteri • Se bazează pe următorii parametri setați de către utilizator: • Numărul minim de date într-un cluster (Nmin) • Distanța minimă dintre doi clusteri (Dmin) • Varianța maximă din cadrul unui cluster (Vmax) Biostatistica si bioinformatica (2013) - Curs 9

  32. Alti algoritmi partitionali (variante ale algoritmului kMeans) • ISODATA (Iterative Self-Organizing Data Analysis) • Se bazeaza pe operații de fuziune respectiv divizare a clusterilor: • Dacă numărul de date dintr-un cluster este mai mic decât Nmin atunci clusterul fuzionează cu cel mai apropiat alt cluster • Dacă distanța dintre doi clusteri (ex: distanța dintre reprezentanți) este mai mică decat Dmin atunci clusterii fuzionează • Dacă varianța unui cluster k depășește Vmax și numărul de date pe care le conține depășește 2*Nmin atunci clusterul este divizat în două clustere: se determină componenta j pentru care varianța e maximă și din reprezentatulRk se construiește R’ si R’’ înlocuind componenta j din Rk cu Rk(j)-d respectiv Rk(j)+d Biostatistica si bioinformatica (2013) - Curs 9

  33. Alti algoritmi partitionali (variante ale algoritmului kMeans): • Fuzzy Cmeans • Construiește o matrice de dimensiune NxK (N=număr date, K=număr clustere) în care pe linia i coloana j se află o valoare din [0,1] care exprimă gradul de apartenență al datei i la clusterul k • Datele nu sunt asignate în mod rigid la clusteri (“soft clustering” in loc de “hard clustering”) iar decizia asignării la un cluster se poate lua pe baza gradului de apartenență determinat prin ajustare iterativă • La fel ca în cazul algoritmului kMeans numărul de clustere trebuie specificat de la început Biostatistica si bioinformatica (2013) - Curs 9

  34. Alti algoritmi partitionali (variante ale algoritmului kMeans): Algoritm Fuzzy C-means [Bezdek, 1981] • Inițializareamatricii cu valori de apartenență(U) • DO • Calculeazăcentroizii(V1j) • Ajusteazăvalorile de apartenență(uij) WHILE <existămodificărisemnificativeîn valorile din matricea de apartenență> • Asigneazădatele la clasapentru care valoarea de apartenențăestemaximă Calculcentroizi m>1 este un parametru (ex. m=2) Estimareavalorilor de apartenență Biostatistica si bioinformatica (2013) - Curs 9

  35. Biclustering • Specificul datelor: • Sunt măsurători ale nivelului de expresie genică (concentrație relativă de ARN mesager) pentru diferite gene în diferite condiții experimentale/provenind de la diferite țesuturi • Datele sunt grupate într-o matrice in care: • Fiecare linie reprezintă valori asociate unei gene • Fiecare coloană reprezintă valori asociate unei condiții experimentale Biostatistica si bioinformatica (2013) - Curs 9

  36. Biclustering • Specificul datelor: • Scopul urmărit este identificarea grupurilor de gene care se comportă “similar” în anumite condiții experimentale (este puțin plauzibil ca gene diferite să se comporte similar în toate condițiile experimentale) • Gruparea presupune identificarea atât a genelor similare cât și a condițiilor experimentale în care se manifestă similaritatea => clustering atât la nivelul liniilor cât și la nivelul coloanelor • Acest tip de grupare este denumita biclustering (sau co-clustering) Biostatistica si bioinformatica (2013) - Curs 9

  37. Biclustering Exemplu Date: drojdia de bere (Matlab) Functie Matlab: clustergram Legenda: - roșu: valori peste medie - negru: valori egale cu media - verde: valori sub medie Biostatistica si bioinformatica (2013) - Curs 9

  38. Biclustering • Algoritmii de biclustering au fost proiectați pentru a realiza gruparea simultană atât la nivelul datelor (genelor) cât și la nivelul atributelor (condițiilor experimentale) => identificarea în matricea datelor a unor submatrici (nu neapărat disjuncte) • Submatricilesuntdenumitebiclustere bicluster 3 bicluster 2 bicluster 1 [P. Pardalos – Lecture on Biclustering, http://www.ise.ufl.edu/pardalos/] Biostatistica si bioinformatica (2013) - Curs 9

  39. Biclustering • Direct clustering (Hartigan, 1972) • Se pornește de la matricea de date văzută ca un singur bloc după care se identifică linia și coloana unde să se realizeze partiționarea; identificarea se bazează pe minimizarea varianței datelor în fiecare bloc; procesul se repetă pentru fiecare bloc identificat • Inițial nu a fost concepută pentru analiza expresiei genice ci pentru analiza datelor electorale Biostatistica si bioinformatica (2013) - Curs 9

  40. Biclustering • Metoda Cheng-Church (2000) • Idee: • se cautăsuccesivcâteun biclusterutilizândun criteriu de optim specific (vezi slide următor) • dupăidentificareaunuibiclusterelementelecorespunzătoareporțiuniipe care o ocupăîn matricesuntînlocuitecu valorialeatoare • se continuăprocesul cu identificareaunuinoubicluster Biostatistica si bioinformatica (2013) - Curs 9

  41. Biclustering • Metoda Cheng-Church (2000) • Identificareaunuibicluster = problema de optimizare cu restrictii • Pentru o matrice A[1..m,1..n] conținând valori ale expresiei genice (în cazul a m gene și a n condiții) se caută un bicluster, adică o submatrice A[I,J] unde I este submulțime a lui {1,...,m} iar J este submulțime a lui {1,...,n} astfel încât: • Biclusterul să fie cât mai extins (I și J sa fie submulțimi cât mai mari) • Variabilitatea datelor în cadrul biclusterului să fie mai mică decât un prag dat • Cheng si Church au propus o măsură specifică a variabilității unui bicluster (I,J) numită reziduu pătratic mediu (mean squared residue score) Biostatistica si bioinformatica (2013) - Curs 9

  42. Biclustering • Metoda Cheng-Church (2000) • Reziduu pătratic mediu: • Observatie: • H(I,J)=0 indică faptul ca nivelele de exprimare ale genelor fluctuează la unison (cazul în care elementele biclusterului sunt identice este doar un caz particular) Biostatistica si bioinformatica (2013) - Curs 9

  43. Biclustering • Varianta bazată pe tehnica forței brute • Intrare: matricea datelor A[1..m,1..n] • parametrul δ (pragul maxim pentru H(I,J)) • Iesire: δ-bicluster = pereche (I,J) pentru care H(I,J) < δ cu I si J maximale • Algoritm: • I={1,...,m} J={1,....,n} • Repeat • - calculează H pentru fiecare eliminare/inserare de linie/coloana • - aplica operația pentru care descreșterea lui H este cea mai mare • Until <nu există operație care să micșoreze pe H> or <H a devenit mai mic decat δ> • Complexitate: O((m+n)mn) Biostatistica si bioinformatica (2013) - Curs 9

  44. Biclustering • Algoritmul Cheng-Church • Etapa 0: inițializare I={1,...,m}, J={1,...,n}; setare valoare α • Etapa 1: eliminare multiplă linii/coloane • Se elimină liniile i cu proprietatea • Se elimină coloanele j cu propr. • Etapa 2: Se elimină secvențial linia i, coloana j pentru care d(i) respectiv d(j) sunt maxime • Etapa 3: Se adaugă liniile și coloanele care nu măresc valoarea reziduului Ordin complexitate: O(mn) Biostatistica si bioinformatica (2013) - Curs 9

  45. Alte metode • Algoritmi de gruparebazațipegrafuri • Algoritmi de gruparepentru volume mari de date Biostatistica si bioinformatica (2013) - Curs 9

  46. Algoritmi de grupare bazati pe grafuri • Pornind de la un set de n date se poate construi un graf caracterizat prin: • Multimea nodurilor coincide cu multimea datelor • Nodurile sunt unite intre ele prin muchii etichetate cu valoarea distantei dintre datele asociate • Gruparea datelor este echivalenta cu identificarea unui subgraf constituit din componente conexe cu conectivitatea totala (numite clici) • Datele din fiecare clica trebuie sa fie suficient de similare intre ele (deci costurile muchiilor corespunzatoare ar trebui sa fie mai mici decat un anumit prag) Biostatistica si bioinformatica (2013) - Curs 9

  47. Algoritmi de grupare bazati pe grafuri • Exemple de clici: • Determinarea clicilor se realizeaza prin eliminarea unor muchii din graful curent (cele al caror cost depaseste pragul) Biostatistica si bioinformatica (2013) - Curs 9

  48. Algoritmi de grupare bazati pe grafuri • Exemple de clici: • Determinarea clicilor se realizeaza prin eliminarea unor muchii din graful curent (cele al caror cost depaseste pragul) Biostatistica si bioinformatica (2013) - Curs 9

  49. Algoritmi de grupare bazati pe grafuri • Problema care trebuie rezolvata: • pornind de la un graf sa se determine (printr-un numar cat mai mic de eliminari de muchii) un graf constituit din componente conexe de tip clica • Este o problema dincategoria celor NP-dificile • Metoda euristica de rezolvare: • CAST (Cluster Affinity Search Technique) • Metoda se bazeaza pe distanta dintre o data si un cluster definita ca fiind media aritmetica a distantelor dintre data respectiva si toate elementele clusterului • Apropierea sau indepartarea fata de un cluster se defineste in functie de un prag T: • Daca d(x,C) <= T atunci x se considera apropiata de clusterul C • Daca d(x,C) > T atunci x se considera indepartata de clusterul C Biostatistica si bioinformatica (2013) - Curs 9

  50. Algoritmi de grupare bazati pe grafuri • CAST(S, G, T) • P Ø • whileS ≠ Ø • v nod de grad maxim in graful G • C  {v} • while “exista o data x care fie este apropiata de C dar nu face parte din C fie este indepartata de C dar face parte din C” • Determina data cea mai apropiata de C care nu face parte din C • si o adauga la C • Elimina data din C pentru care distanta fata de C este maxima • endwhile • Adauga clusterul C la partitia P • S S \ C • Elimina nodurile corespunzatoare din graful G • endwhile • return P • Notatii: • S – setul de date • G – graful asociat datelor corespunzator pragului T (doar nodurile corespunzatoare unor date aflate la o distanta mai mica decat T sunt unite prin muchii) • P - partitia Biostatistica si bioinformatica (2013) - Curs 9

More Related