Ako vidí obsah Google

2. Ako vidí obsah Google Jozef Tvarožek – Neplytká analýza webu

3. Obsah webovej stránky • Pri„obyčajnom“HTTP sťahovaní/ crawlovanísúproblémy s CSS štýlmi… dal by saspraviťnejakýinterpret hierarchickýchpravidiel … • Ďalšíproblém je doťahovaniekontentuAJAXom– treba interpret Javascriptu… • Častokrát obsahzavisíodinterakciív okneprehliadača … pohybmyšou, čakanies myšounadelementom … atď • Na vyriešenie týchtoproblémovtreba full-blown prehliadač… realizovalismetakýto prehliadačakoslužbu… pre vás všetkých,abyste ho mohlilpoužívať… Jozef Tvarožek – Neplytká analýza webu

4. Analýza webovej stránky • Čo tentoprehliadačumožňuje… • Dokáže navigovaťnastránky, vykonávaťv nichakcie “používateľského rozhrania” … myš, klávesnica… a zisťovaťakézmeny to nastránkevykonalo • … získaťDOM strom, pozícieelementovnastránke, aktuálneštýly… tedačije text písanýveľkým/malým písmom, čiernym/šedým/červeným? … • … získať prístupkuzdrojomzostránky … obrázky… Jozef Tvarožek – Neplytká analýza webu

5. Ukážka analýzy stránky • DEMO Jozef Tvarožek – Neplytká analýza webu

6. Obsah webovej stránky (2) • Začínate inak vnímať obsahnastránke… čo sa s ním deje… • Ktorýobsah je zaujímavý?? • UmiestnenienastránkeHore ? Dole ? … medzitým ? • Či sa zmenil (pribudol?) a ako často sa meníObsah, ktorý sa za týždeň nezmenil, je menej zaujímavý ako obsah, ktorý sa zmení tri krát za deň. Čo keď príliš často? (real-time dáta / reklamné bannery) Jozef Tvarožek – Neplytká analýza webu

7. Extrakcia obsahu • Štruktúrne podobné stránky majú obsah na štruktúrne podobných miestach • Vyznačenie významných miest Jozef Tvarožek – Neplytká analýza webu

8. Archív webu • Čo dokáže takýwebový archív … • Vývojobsahustránky v čase (DEMO) • Máme služby, ktoréumožňujúsapozrieťnanejakústránkuv časeakosamenila, akosamenilijednotlivéprvkynastránke… • … môžetenavštevovať všelijaká stránky, získavať zmeny obsahu stránok … zaujímavýobsah … Jozef Tvarožek – Neplytká analýza webu

9. Pôvod obsahu • Keď máte detailnú analýzu obsahu webových stránok počas celej ich existencie, začínate sa pýtať: • čo to je za obsah, odkiaľ sa berie ... kde vzniká? • Keď sledujeme viaceré významné zdroje obsahu (online médiá) môžete sledovať: • ktoré médium správu prinieslo prvé, • kde sa objavil aký obsah • môžeme začat obsah spájať dokopy, a • analyzovať príspevok jednotlivých zdrojov k celkovému obsahu Jozef Tvarožek – Neplytká analýza webu

10. Analýza pôvodu obsahu • DEMO • HodinaZeme • Aktuality.sk • Sme.sk • Teraz.sk Jozef Tvarožek – Neplytká analýza webu

11. Ako sa k tomuto dostať? • Zaujalo vás to, a prípadne by ste chceli niečo takéto využit vo svojom projekte ... Ako sa k tomuto dostať? • API pre dáta • dátovezdrojesúweb stránky, počasie, … • Vlastné dáta 1) zbieranie dát (logovanie), 2) wizard– anotáciečlovekom • API pre službyzískanieobsahuwebovejstránky • archív webovejstránky • analýzu pôvoduobsahu Jozef Tvarožek – Neplytká analýza webu

12. Použitie • Služby sú udržiavané • V archíve momentálnecca 1000 stránok • Mali by fungovaťkeďichbudetepotrebovať;) • Spôsoby použitia: • Internet bezpripojenia ;) ... DEMO • Integrácia aplikácií s (externými) webovými zdrojmi... • Logovanie / wrapovanie dát, spracovanie ľudmi • Strojové spracovanie aktuálnych/historických dát Jozef Tvarožek – Neplytká analýza webu