C01. Intro DS. Intro XML. Sintaxa XML

C01. Intro DS. Intro XML. Sintaxa XML Date Semistructurate, 2012-2013

C01. DS • Date semistructurate • XML • Istoric XML. Marcarea documentelor • De ce XML? • Avantaje / Dezavantaje XML • Sintaxa XML

C01 - DS • Tipuri de date: • structurate (relational) • semistructurate • nestructurate (text). => date partial structurate

C01 - DS • Motive pentru care datele ar fi semistructurate: • structura datelor poate fi implicita, ascunsa, necunoscuta, sau utilizatorul decide sa o ignore • nu se cunoaste structura sau se poate modifica in viitor • integrarea datelor din surse eterogene – intr-un asemenea caz, un model de date structurat este prea rigid, cel putin intr-o prima faza; exemplu: bibliografie, carte, organigrama • date „sparse” – pe modelul relational am avea multe date NULL • datele sunt modelate pe structura ierarhica, recursiva • ordinea este importanta • nu se poate interoga o baza de date structurata fara a cunoaste schema (de fapt se poate, insa e putin mai greu ), insa uneori apare nevoia de a interoga datele fara a cunoaste schema

C01 - DS • => Date semistructurate – depozite de date XML, BD OO sau BD obiect-relationale • Caracteristici: • nu au o schema fixa (precum cea relationala) • structura este implicita sau non-regulata • imbricate sau eterogene • reprezentare ca graf etichetat • (cel putin) XML: nu solicita schema suplimentara • Exemple: pagini Web, integrare informatii din surse eterogene (ex: o bibliografie), XML.

C01 - DS • Marcarea unui document electronic – marcarea o constituie codurile care se gasesc prin textul documentului (meta data), care ofera informatie necesara procesarii electronice, precum nume, stil, sau structura documentului, s.a. • Origine marcare: industria publicistica (“instructiuni” pentru tipograf).

C01 - DS • Marcare procedurala: • in procesarea textelor, utilizatorul alege din meniul aplicatiei diferite operatii de formatare, poate sa includa un anumit text la o pozitie pe pagina, s.a. • => aceste informatii sunt marcaje si sunt retinute prin coduri speciale in text • => instructiunile de formatare spun aplicatiei cum sa faca afisarea / tiparirea textului • o asemenea operatie este in general numita marcare procedurala deoarece marcarea este o procedura pentru „output device” (ex: RTF). • nu inregistreaza structura documentului (da doar indicatii de afisare, desi am plecat de la structura documentului) • este inflexibil (o schimbare a regulilor de formatare – de exemplu – subject-ul sa fie bold-underlined – trebuie materializata manual); marcarea depinde de soft-ul folosit (nu este portabil); (ex: formatarea unei bibliografii – titlu, autori, editura, etc.) • este o operatie costisitoare ca timp

C01 - DS Exemple marcare document • Exemplu: parte dintr-un document RTF, pentru afisarea: Linia 1 continut bold cuvant italic sfarsit

C01 - DS Exemple marcare document • Exemplu: RTF {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid7668181 Linia 1} {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid12744919 \par } \pard \ltrpar\ql li0\ri0\widctlpar\wrapdefault\aspalpha\aspnum\faauto\adjustright \rin0\lin0\itap0 {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid12982338 continut} {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid7668181 } {\rtlch\fcs1 \af0 \ltrch\fcs0 \b\lang1033\langfe1033\langnp1033\insrsid7668181\charrsid7668181 bold} {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid7668181 } {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid12982338 cuvant} {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid7668181 } {\rtlch\fcs1 \af0 \ltrch\fcs0 \i\lang1033\langfe1033\langnp1033\insrsid7668181\charrsid7668181 italic} {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid7668181 } {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid12982338 sfarsit} {\rtlch\fcs1 \af0 \ltrch\fcs0 \lang1033\langfe1033\langnp1033\insrsid7668181 \par }

C01 - DS • Marcare generica: • codificarea generica: marcarea a evoluat catre codificarea generica odata cu introducerea macrourilor – acestea inlocuiesc controalele cu apeluri catre proceduri de formatare externe • un tag este atasat unui element text, iar reguli de formatare sunt asociate tag-urilor • o aplicatie de formatare proceseaza textul si produce documentul intr-un anumit format • este mai portabila si mai flexibila; daca se folosesc macrouri – schimbarea unei reguli de formatare presupune doar schimbarea macroului • marcarea de acest tip permite o oarecare descriere de structura a documentului • Ex: LaTeX • De exemplu: LaTeX => fisier .tex => document .pdf.

C01 - DS Exemple marcare document • Exemplu: un mesaj From: George P. To: Ana-Maria M. Subject: Acte noi Am auzit ca trebuie sa completam noi formulare. Daca ai vreunul, te rog sa-mi trimiti si mie. Cand ai timp, uita-te la http://www.adresa.org – am pus cateva poze din ultima excursie. George

C01 - DS Exemple marcare document • Exemplu: un mesaj (LaTeX) \begin{document} \noindent{\it From:} George P. \newline{\it To:} Ana-Maria M. \newline{\itSubject:} {\bfActe noi} \newline \newline Am auzit ca trebuie sa completam noi formulare. Daca ai vreunul, te rog sa-mi trimiti si mie. \newline \newline Cand ai timp, uita-te la \underlined {http://www.adresa.org} – am pus cateva poze din ultima excursie. \noindent \underlined {George} \end{document}

C01 - DS Exemple marcare document • Exemplu: articol (LaTeX) \title[...]{Indexing Mobile Objects Using BrickR Structures} \author{Andreea Sabau} \address{Faculty of Mathematics and Computer Science} \address{Babes-Bolyai University, Cluj-Napoca} \email{deiush(a)cs.ubbcluj.ro} \date{November 2006} % submission date \begin{document} \begin{abstract} A growing number of applications manage mobile objects. (…) \end{abstract} \maketitle \section {Introduction} There is a tendency today to study systems for management of objects with spatial evolution in time, particularly for management of mobile objects. (…) \newline \indent{The spatial attributes of which values have evolution in time can represent the shape and / or the location of objects, and these evolutions may be discrete or continuous. ...} ...

C01 - DS

C01 - DS SGML • SGML • marcarea descrie structura documentului, nu modul de afisare; • marcarea este conforma unui model, precum schema unei BD. • SGML nu ofera o structura standard – exista o serie de tipuri de documente atat de diferite (carti, articole, dictionare, orare s.a.) => nu se poate stabili un tipar pentru toate => nu impune un set de marcaje / tag-uri, ci propune un limbaj pentru descrierea structurii documentelor si marcarea corespunzatoare a acestora (reguli!!!). • Observatie: SGML a fost initial proiectat pentru a permite „sharing” de mari documente care sa fie citibile de sisteme de calcul, in domenii precum guvernare, industrie, armata s.a. • Structura documentului este, in general, definita folosind alte limbaje (ex: DTD = Document Type Definition) – care identifica elementele care pot sa apara in document. • Obs: HTML este o aplicatie SGML. • Obs: HTML include tag-uri de formatare a.i. este partial un limbaj de marcare procedurala (de exemplu <B>); pe de alta parte – permite adaugarea de stylesheets si folosirea atributului class => HTML este partial si un limbaj de codificare generica.

C01 - DS Exemple marcare document • Exemplu: un mesaj (aplicatie SGML) <mesaj> <header> <from>George P. <to>Ana-Maria M. <subject>Acte noi <body> <para>Am auzit ca trebuie sa completam noi formulare. Daca ai vreunul, te rog sa-mi trimiti si mie. <para>Cand ai timp, uita-te la http://www.adresa.org – am pus cateva poze din ultima excursie. <signature>George </mesaj>

C01 - DS Exemple marcare document • Exemplu: un mesaj (HTML= aplicatie SGML) <html> <head> <title>Mesaj - Acte noi</title> </head> <body> <h2>Acte noi</h2> <br/> <i>From:</i>George P. <br/> <i>To:</i>Ana-Maria M. <p>Am auzit ca trebuie sa completam noi formulare. Daca ai vreunul, te rog sa-mi trimiti si mie.<p> <p>Cand ai timp, uita-te la <a href=“http://www.adresa.org”>http://www.adresa.org</a> – am pus cateva poze din ultima excursie.</p> <u>George</u> </body> </html>

C01 - DS Exemple marcare document • Exemplu: un mesaj (HTML + stil) <html> <head> <title>Mesaj - Acte noi</title> <style> .from {font-style: italic;} </style> </head> <body> <h2>Acte noi</h2> <br/> <span class=“from”>From:</span>George P. <br/> <i>To:</i>Ana-Maria M. <p>(...)<p> <p>(...)</p> <u>George</u> </body> </html>

C01 - DS Exemple marcare document • Exemplu: un mesaj (XML) <?xml version=”1.0”?> <!DOCTYPE memo SYSTEM “mesaj.dtd”> <message> <header> <from>George P.</from> <to>Ana-Maria M.</to> <subject>Acte noi</subject> </header> <body> <para>Am auzit ca trebuie sa completam noi formulare. Daca ai vreunul, te rog sa-mi trimiti si mie.</para> <para>Cand ai timp, uita-te la <url>http://www.adresa.org</url> – am pus cateva poze din ultima excursie.</para> <signature>George</signature> </body> </message>

C01 - DS XML • In dezvoltarea XML au avut rol doua influente • pe de o parte, fiecare vroia mai multe tag-uri (matematicianul vroia tag-uri pentru scrierea de formule, chimistul – de asemenea etc.); • pe de alta parte, trebuia limitat numarul de tag-uri pentru ca paginile sa fie mai usor de incarcat (sau – posibil – anumite browser-e nu ar cunoaste intreg setul de tag-uri). • => pentru a rezolva problema „un limbaj cu mai multe tag-uri si mai putine tag-uri” => XML: • sa nu existe tag-uri predefinite (dar permite unui autor sa defineasca oricate tag-uri) • sa fie mai strict (decat HTML, …).

C01 - DS XML • XML este un standard pentru “marcarea” documentelor, sustinut de W3C; • este o specificare / tehnologie pentru crearea de limbaje de marcare particularizate; • este o tehnologie orientata in principal pentru gestiunea, afisarea si organizarea datelor. • defineste o sintaxa generica folosita in marcarea datelor cu tag-uri simple, citibile de o persoana; • furnizeaza un format standard pentru documente electronice – format destul de flexibil pentru a fi customizat pentru diferite domenii precum site-uri Web, schimb electronic de date, genealogie, imobiliare, serializare de obiecte, RPC-uri, sisteme de voice-mail, alte domenii stiintifice (matematica, chimie, etc.) s.a.

C01 - DS XML • XML este un limbaj de meta-marcare (metamarkup language) pentru documente text. • Datele sunt incluse in document ca siruri de caractere (se pot include obiecte de tip imagine, audio, etc.). • Unitatea XML de baza de data si marcare este elementul. • Specificatia XML defineste sintaxa care trebuie sa fie respectata in marcare: • cum sunt delimitate elementele de tag-uri, • cum arata un tag, • ce nume sunt acceptabile pentru elemente, • unde sunt mentionate atributele, • s.a. .

C01 - DS XML • XML este un limbaj de meta-marcare – nu are un set fix de tag-uri. XML permite definirea de elemente in functie de aplicatie. X =Extensible – limbajul poate fi extins si adaptat pentru a indeplini diferite cerinte. • XML este relativ strict – se poate defini o gramatica prin care sa se spuna locul in care poate sa apara un anumit tag, care nume de elemente sunt acceptate, cum sunt atasate atributele elementelor s.a. • Marcajul permis intr-o aplicatie XML poate fi documentat intr-o schema. Un anumit document poate fi comparat cu schema si, daca se potriveste, se spune ca este valid (altfel – invalid). Exemplu: DTD (Document Type Definition) de la XML 1.0; W3C XML Schema Language. • Din motive de interoperabilitate, grupuri de persoane sau organizatii pot sa se inteleaga sa foloseasca anumite tag-uri. Aceste multimi de tag-uri sunt numite aplicatii XML(o aplicare a XML intr-un anumit domeniu).

C01 - DS XML • Marcarea dintr-un document XML descrie structura (ierarhica a) documentului. Permite sa se vada care elemente sunt asociate cu alte elemente. In unele documente XML, marcarea descrie de asemenea si semantica documentului. • Marcarea nu ar trebui sa indice si cum sa fie afisat documentul (stil). XML este un limbaj de marcare structural si semantic, nu un limbaj de prezentare. • XML ofera posibilitatea de manipulare de date pe platforme diferite, pe termen lung. • Un document XML este simplu de citit, ca structura si ca tip de document (text). Nu sunt probleme de aliniere, de trecere pe un rand nou, de delimitare, de formatul unui numar care se gaseste (ca text) in document. XML – date portabile. • XML este simplu.

C01 - DS XML • Ce nu este XML • XML nu este limbaj de programare – nu sunt compilatoare XML care sa citeasca documente XML si sa produca cod executabil. Un document XML pur si simplu exista – nu face nimic. • XML nu este un protocol de transmitere a datelor in retea. Datele transmise prin HTTP, FTP s.a. pot respecta formatul XML, insa trebuie sa existe un soft aditional care sa transmita efectiv datele. • Un document XML nu este o baza de date. In schimb, o BD poate sa contina date in format XML (ca VARCHAR, BLOB sau un tip specializat XML) sau exista BD XML.

C01 - DS XML • Parsarea documentelor XML • Pentru ca un document XML sa fie citit, trebuie sa respecte regulile XML => exista parser-e care citesc un document XML si extrag informatia dorita (aceasta nu inseamna ca intelege semantica datelor  ) => sunt capabile sa parcurga intreaga structura a unui document XML. • => un document XML poate fi citit de orice parser XML (nu conteaza aplicatia careia ii este destinat documentul, aplicatia care l-a creat sau platforma pe care a fost creat). In plus, daca se mai adauga un element, aplicatia care lucra pana in prezent cu acest document nu trebuie modificata (decat daca se doreste si citirea noului element). Daca, in schimb, se modifica numele elementelor, atunci si aplicatia trebuie modificata corespunzator.

C01 - DS XML • Validitatea documentelor XML: • Well-formed: un document XML respecta regulile XML. • Type-valid: pentru fiecare document exista un DTD sau o schema (o gramatica!!!) a carei reguli (structura) sunt respectate. • Observatie: in general se doreste ca documentele sa fie doar well-formed; insa, mai ales in situatiile in care un document XML este folosit pentru transfer de date intre organizatii, el trebuie sa respecte o structura pre-definita.

C01 - DS XML • Ce avem intr-un document XML: • Elemente: fiecare element este delimitat de 2 tag-uri (inceput si sfarsit); continutul unui element; exista elemente goale. • Arbori XML: • Element radacina • Imbricarea elementelor • Atribute • Declaratia XML <?xml version="1.0" encoding="ASCII" standalone="yes"?> <persoana nrcopii="2"> Victor Popa </persoana>

C01 - DS Sintaxa XML • Exemplu: structura arborescenta <e1> <e11> info_e11 </e11> <e12> <e121> info_e121 </e121> <e122> info_e122 </e122> </e12> (...) <e1n> info_e1n </e1n> </e1>

C01 - DS Validarea / doc XML well-formed • fiecare tag de inceput trebuie sa aiba un tag de sfarsit corespunzator • elementele trebuie sa fie imbricate, sa nu se suprapuna • trebuie sa fie exact un element radacina • valorile atributelor trebuie incluse intre ghilimele sau apostroafe • un element nu poate avea doua atribute cu acelasi nume • comentariile si instructiunile de procesare nu pot sa apara in interiorul tag-urilor • caracterele „<” si „&” nu pot sa apara in interiorul datelor caracter ale unui element sau atribut.

C01 - DS Validarea / doc XML well-formed • Alte observatii: • XML este case-sensitive • Documente data-oriented si documente narative • Numele XML • Contin caractere alfanumerice, litere non-english (ideograme, caractere caracteristice unei limbi), „_”, „-”, „.”. • Nu pot sa contina alte semne de punctuatie in afara de acestea trei sau „whitespace”. • Denumirile care incep cu XML (indiferent de majuscula / minuscula) sunt rezervate pentru viitoare dezvoltari W3C. • Un nume XML poate sa inceapa cu litere, ideograme sau „_”. • Exemple: corect: nume, nume_persoana, nume-persoana, nume.persoana, şcoala, _nume; incorect: -nume, .nume

C01 - DS XML • Internationalizare • Pentru a include caractere speciale, din diferite limbi, trebuie stabilit setul de caractere din care face parte – dupa care in document se include codificarea caracterului dorit. • Exemplu – setul Latin-2 (europa de est): • <?xml version="1.0" encoding="ISO-8859-2"?> • Chiar daca nu se stabileste un set de caractere pentru un document XML, se poate recunoaste unul implicit (din primele 5 caractere din declaratia de document). • Referinte de caractere • Exemplu: њ • Referinte de entitati • O referinta de entitate se foloseste atunci cand in continutul text al unui element trebuie folosit un caracter rezervat pentru sintaxa XML. De exemplu „<” = „<”; „&” = „&”; „>”=„>”; „””=”"”; „’”=”'”. • " si ' se folosesc in valorile atributelor. • Alte referinte se pot defini in DTD.

C01 - DS XML • Sectiuni CDATA • Daca, de exemplu, se doreste includerea de cod XML sau HTML intr-un document XML (ca si continut text), trebuie inlocuite toate caracterele „<” si „&” cu referintele respective. Pentru a evita aceasta, s-a introdus sectiunea CDATA: • <![CDATA[text]]> • Acest text nu este interpretat de parser. • Parser-ul XML nu spune daca un anumit text a rezultat dintr-o sectiune CDATA sau din simplul continut al unui element. • Comentarii •  • Secventa „--” nu are voie sa apara in interiorul comentariului. Comentariile pot fi incluse in datele caracter ale documentului, sau inainte sau dupa elementul radacina; nu pot sa apara intr-un tag sau intr-un alt comentariu.

C01 - DS XML • Avantaje • Poate reprezenta structuri de date cunoscute: inregistrari (record), liste, arbori • Structura ierarhica este usor de folosit pentru multe tipuri de documente • Format “self-documenting”: descrie structura + semnificatia data de numele elementelor • Suport pentru diferite seturi de caractere • Permite validare (standardizare) • Independent de platforma • Durabil in timp (ca si compatibilitate cu tehnologii) • Usor de folosit • Exista deja o multime de tehnologii orientate XML • Flexibilitate – avantaj • Publicare de date, schimb de date, mediere de date • Etc.

C01 - DS XML • Dezavantaje • Ofera un model de date ne-normalizat; permite date redundante – mai ales cand e scris … fara o analiza adecvata • Dificil de decis ce sa fie continut si ce sa fie atribut • Ofera mai putin decat graf OO • Flexibilitate – dezavantaj (uneori) • Oarecum – lipsa de suport in browser-e sau alte aplicatii end-user • Mai strict decat HTML • Etc.

C01 - DS Sintaxa XML • Exemplu: document XML narativ <eseu> <name><first_name>Alan</first_name><last_name>Turing</last_name></name>was one of the first people to truly deserve the name <emphasize>computer scientist</emphasize>. Although his contributions to the field are too numerous to list, his best-known are the eponymous <emphasize>Turing Test</emphasize> and <emphasize>Turing Machine</emphasize>. <definition>The <term>Turing Test</term> is to this day the standard test for determining whether a computer is truly intelligent. This test has yet to be passed. </definition> <definition>The <term>Turing Machine</term> is an abstract finite state automaton with infinite memory that can be proven equivalent to any any other finite state automaton with arbitrarily large memory. (...) </definition> <name><last_name>Turing</last_name></name> was also an accomplished <profession>mathematician</profession> and <profession>cryptographer</profession>. His assistance was crucial in helping the Allies decode the German Enigma machine. He committed suicide on <date><month>June</month> <day>7</day>, <year>1954</year></date> after being convicted of homosexuality and forced to take female hormone injections. </eseu>

C01 - DS Sintaxa XML • Exemplu: document XML narativ (elemente+atribute) <eseu> <nameborn='1912-06-23' died='1954-06-07'><first_name>Alan</first_name><last_name>Turing</last_name></name>was one of the first people to truly deserve the name <emphasize>computer scientist</emphasize>. Although his contributions to the field are too numerous to list, his best-known are the eponymous <emphasize>Turing Test</emphasize> and <emphasize>Turing Machine</emphasize>. <last_name>Turing</last_name> was also an accomplished <profession>mathematician</profession> and <profession>cryptographer</profession>. His assistance was crucial in helping the Allies decode the German Enigma machine. <footnotesource="The Ultra Secret, F.W. Winterbotham, 1974">1</footnote> He committed suicide on <date><month>June</month> <day>7</day>, <year>1954</year></date> after being convicted of homosexuality and forced to take female hormone injections.<footnote source="Alan Turing: the Enigma, Andrew Hodges, 1983">2</footnote> </eseu>

C01 - DS Exemple aplicatii XML • Exemplu: Mathematical Markup Language(MathML) <math xmlns="http://www.w3.org/1998/Math/MathML"> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>-</mo> <mi>b</mi> </mrow> <mo>&PlusMinus;</mo> <msqrt> <msup> <mi>b</mi> <mn>2</mn> </msup> <mo>-</mo> <mrow> <mn>4</mn> <mo>⁢</mo> <mi>a</mi> <mo>⁢</mo> <mi>c</mi> </mrow> </msqrt> </mrow> <mrow> <mn>2</mn> <mo>⁢</mo> <mi>a</mi> </mrow> </mfrac> </math>

C01 - DS Exemple aplicatii XML • Exemplu: Scalable Vector Graphics (SVG) <?xml version="1.0"?> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd"> <svg xmlns="http://www.w3.org/2000/svg" version="1.1" width="467" height="462">  <rect x="80" y="60" width="250" height="250" rx="20" fill="red" stroke="black" stroke-width="2px" />  <rect x="140" y="120" width="250" height="250" rx="40" fill="blue" stroke="black" stroke-width="2px" fill-opacity="0.7" /> </svg>

C01 - DS Exemple aplicatii XML • Exemplu: MusicXML <?xml version="1.0" encoding="UTF-8" standalone="no"?> <!DOCTYPE score-partwise PUBLIC "-//Recordare//DTD MusicXML 2.0 Partwise//EN" "http://www.musicxml.org/dtds/partwise.dtd"> <score-partwise version="2.0"> <part-list> <score-part id="P1"> <part-name>Music</part-name> </score-part> </part-list> <part id="P1"> <measure number="1"> <attributes> <divisions>1</divisions> <key> <fifths>0</fifths> </key> <time> <beats>4</beats> <beat-type>4</beat-type> </time> <clef> <sign>G</sign> <line>2</line> </clef> </attributes> <note> <pitch> <step>C</step> <octave>4</octave> </pitch> <duration>4</duration> <type>whole</type> </note> </measure> </part> </score-partwise>

C01 - DS Exemple aplicatii XML • Exemplu: DocBook <?xml version="1.0" encoding="UTF-8"?> <book xml:id="simple_book" xmlns="http://docbook.org/ns/docbook" version="5.0"> <title>Very simple book</title> <chapter xml:id="chapter_1"> <title>Chapter 1</title> <para>Hello world!</para> <para>I hope that your day is proceeding <emphasis>splendidly</emphasis>!</para> </chapter> <chapter xml:id="chapter_2"> <title>Chapter 2</title> <para>Hello again, world!</para> </chapter> </book>

C01 - DS • Next C02 • DTD

C01. Intro DS. Intro XML. Sintaxa XML