1 / 59

Bayesian Inference Algorithms Revisited

Bayesian Inference Algorithms Revisited. Inference. 2 optimisation problems. Symbolic Simplification. Exact symbolic simplification (example). Question dependent. 9x10 6. Reordering. Applying normalization. Factorizing. Result (1). 19+19+2=40. Result (2). (21x10)+9+1=220. Summary.

leann
Download Presentation

Bayesian Inference Algorithms Revisited

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Bayesian Inference Algorithms Revisited

  2. Inference

  3. 2 optimisation problems

  4. Symbolic Simplification

  5. Exact symbolic simplification (example)

  6. Question dependent 9x106

  7. Reordering

  8. Applying normalization

  9. Factorizing

  10. Result (1) 19+19+2=40

  11. Result (2) (21x10)+9+1=220

  12. Summary Reorder Normalize Factorize

  13. Question independent

  14. Sharing parts (1)

  15. Sharing parts (2)

  16. Sharing parts (3)

  17. Sharing parts (4)

  18. Sharing parts (5)

  19. Sharing parts (6)

  20. Sharing parts (7)

  21. Message passing algorithms

  22. Example 2

  23. Question dependent

  24. Junction Tree Algorithm

  25. Cut-Set Algorithm

  26. Max-Product & Min-Sum Algorithms

  27. Viterbi Algorithm

  28. Approximate symbolic simplification: Variational methods

  29. Crunching numbers: Sampling methods • Monte Carlo (MC) • Importance sampling • Rejection sampling • Markof Chains Monte Carlo (MCMC) • Metropolis sampling • Gibbs sampling Information theory, Inference and learning algorithms (2003) D. MacKay

  30. Bayesian Learning Revisited

  31. Data and Preliminary knowledge

  32. 13241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416455511126661324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141645551112666 How to Deal with Data? Using Preliminary Knowledge

  33. Direct problem: • Inverse problem:

  34. Bernoulli's Urn (1) • VariablesDraw • Decomposition • Parametrical Form • Preliminary Knowledge p: "We draw from an urn containing w white balls and b black balls"

  35. Bernoulli's Urn (2) • Variables: • Decomposition: • Parametrical Form: Note:

  36. Bernoulli's Urn (3)

  37. Parameters Identification Variables: Decomposition:

  38. Variables: Decomposition: Model Selection

  39. Summary

  40. Entropy Principles • Content: • Entropy Principle Statement • Frequencies and Laplace succession law • Observables and Exponential laws • Wolf's dice

  41. Entropy Principle Statement 20 000 flip of a coins: 9553 heads Probability distribution of the coin?

  42. Observables and Exponential Laws Observable: Constraint levels: Maximum Entropy Distribution: proof Partition Function: Constraints differential equation:

  43. 20 000 Flips Observable: Constraint levels: Maximum Entropy Distribution: Partition Function: Constraints differential equation:

  44. 13241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416455511126661324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141641324154131461646541464123146464634343601161464116461164564114641641131116646414616141343511616316416114461164641141135521611614111161616111314413161414646461346464464446461131316416144164316341641416413241541314616465414641231464646343436011614641164611645641146416411311166464146161413435116163164161144611646411411355216116141111616161113144131614146464613464644644464611313164161441643163416414164132415413146164654146412314646463434360116146411646116456411464164113111664641461614134351161631641611446116464114113552161161411116161611131441316141464646134646446444646113131641614416431634164141645551112666

  45. Frequencies and Laplace Succession Law • Preliminary Knowledge: • 1- Each of the 20 000 digit is a number • 2- The 20 000 data come from the same phenomenon • 3- A single variable V has been observed 20 000 times • 4- The order of these observations is not relevant • 5- The variable V may take 6 different values

  46. Wolf's dice (1) H1 Hypothesis: excavations shifted the gravity center

  47. Wolf's dice (2) H2 Hypothesis: The dice is oblong along the 1-6 direction and the excavations shifted the gravity center

  48. Wolf's dice (3) Inverse Problem:

  49. Theoretical Basis Objective: Justify the use of the entropy function H • Content: • What is a good representation? • Combinatorial justification • Information theory justification • Bayesian justification • Axiomatic justification • Entropy concentration theorems justifications

  50. What is a Good Representation?

More Related