Web Usage Mining (Analisi dei dati di log)

1. Web Usage Mining(Analisi dei dati di log) Web Usage Minig

2. Web Usage MiningAnalisi dei dati di log • Introduzione • Web usage mining • Scopi dello WUM • Processo di WUM • Fase di preprocessing • cleaning dei dati • identificazione delle sessioni • identificazione delle page view • completamento dei traversal path • identificazione degli episode Web Usage Minig

3. Web Mining (WM) • WM è il processo di scoperta ed analisi di informazioni utili dai documenti e servizi Web, usando tecniche di data mining. • I dati che possono essere usati nel processo di WM: • Contenuto delle pagine Web • Struttura della pagina (HTML o XML tags) • Struttura del sito (hyperlink tra le pagine) • Dati di uso (Web log) descriventi come le pagine sono accedute • Profili utente includenti informazioni demografiche e di registrazione. Web Usage Minig

4. FinalitàdelWM • Capire il comportamento degli utenti • Analizzare il comportamente di navigazione degli utenti per capirne le preferenze e quindi massimizzare l’attività commerciale. • Capire chi compra e che cosa compra • Scoprire la % di clienti acquisiti/persi • Determinare l’efficacia di un sito Web • Capire i pattern di navigazione per • migliorare la struttura del sito • personalizzare la navigazione • Misurare il successo dell’attività di marketing • Capirel’impatto sull’attività commerciale delle campagne di marketing • Classificare gli utenti per personalizzare l’offerta • Misurare l’efficacia di specifici banner pubblicitari. Web Usage Minig

5. Web Mining Web Content Mining Web Structure Mining Web Usage Mining Web Page Content Mining Search Result Mining General Access Pattern Analisys Customized Usage Analisys Tassonomia di WM • Web Content Mining • Processo di scoperta di informazioni utili dall’analisi del contenuto di dati Web. Custumized Access Pattern Analisy Adaptive sites (Pekwitz &Etzioni, 1997) Analizza i patterns di accesso di ciascun utente, uno per volta. Il sito Web ristruttura se stesso automaticamente imparando dai patterns di accesso Personalization (Suggest, 2004. WebWatcher, 1999) Fornisce raccomandazioni per aiutare la navigazione degli utenti. • Web Structure Mining • Processo di scoperta di informazioni utili dall’analisi della struttura del sito (hyperlink) e/o delle pagine (tags HTML o XML) Web Usage Mining L'insieme dei processi, delle tecniche e delle tecnologie di data analysis, finalizzato alla scoperta di significativi schemi di comportamento (pattern) dai Web server logs descriventi la navigazione degli utenti in uno o più siti Web. General Access Pattern Analisy Estrazione di conoscenza dai pattern di accesso alle pagine (WebLogMining, 1998, WUM, 1998, WebSIFT,1999) Può aiutare per migliorare la struttura del sito, migliorare il caching, ecc. Web Usage Minig

6. Web Content Mining • Il Web Content Mining (WUM) indica il processo di • scoperta di informazioni utili dall’analisi del contenuto • del Web. • Tale contenuto può essere non-strutturato, semi-strutturato • (documenti HTML o XML) o più strutturato (tabelle, database). • Una tassonomia del Web mining divideil Web content mining in due classi: Agent Based Approach e Database Approach. • Agent Based Approach prevede l’uso di agenti che possono operare autonomamente a semiautonomamente (per uno o un calsse di utenti) per scoprire e organizzare informazioni dal Web. Web Usage Minig

7. Web Content Mining • Gli agenti in questa classe si dividono in: • Intelligent search agent • Vanno oltre i semplici search engines, usano, ad esempio, informazioni descriventi il profilo di un utente o classe di utenti o altre specifiche informazioni per organizzare ed interpretare le informazioni scoperte. • Information filtering Utilizzano tecniche di IR, informazioni sui hyperlink in uso ed eventali altri approcci per classificare i documenti. Web Usage Minig

8. Web Content Mining • Personalization Web agents • Collaborative filtering. • Raccomanda pagine che sono state prima richieste da altri utenti aventi simile caratteristiche • User registration preference • Raccomandazioni basate sul profilo o informazioni demografiche dell’utente. • Content-based filtering • Raccomanda pagine che risulano, in base a qualche criterio, simili al profilo dell’utente. • Database Approach Vede i dati Web come memorizzati in un database e quindi interrogabili tramite un linguaggio di query. Web Usage Minig

9. Web Structure Mining • E’ il processo di scoperta di informazioni utili dall’analisi della struttura del sito (hyperlink) e/o delle pagine (tags HTML o XML). • L’informazione sulla struttura del sito Web può essere usata per classificare le pagine o creare misure di similarità tra documenti. • PageRank • misura l’importanza di un pagina calcolando il numero di pagine che a questa puntano. Web Usage Minig

10. Web Usage Mining • Il Web Usage Mining (WUM) indica l'insieme complessivo dei processi, delle tecniche e delle tecnologie di data analysis, finalizzato alla scoperta di significativi schemi di comportamento (pattern) dai Web log descriventi la navigazione degli utenti in uno o più siti Web. • I Web log possono essere esaminati dal lato client o dal lato server. • Dal lato server permettono di scoprire informazioni sul sito/siti su cui il servizio risiede, che possono essere usate, ad esempio, per migliorare la struttura del sito • Dal lato client permettono di individuare informazioni su sequenze di click (clickstrem), sul singolo utente o su gruppi di utenti, che possono usate , ad esempio, per la personalizzazione del contenuto delle pagine. Web Usage Minig

11. Scopi dello WUM Web Usage Mining Usage Charac- terization Businness Intelligence Personali- zation System Improvement Site Modification Web Usage Minig

12. Scopi dello WUM • Personalization • Dei contenuti (banner, prodotti, campagne pubblicitarie) • Recommendation systems • Collaborative filtering • Similarità tra le preferenze di utente e le preferenze espresse esplicitamente da altri utenti. • Content-based filtering • Similitudine del contenuto di una pagina con il profilo dell’utente. • Usage-based filtering • Basato sulla storia delle visite dell’utente Web Usage Minig

13. Scopi dello WUM • Business Intelligence • Customer attraction • Customer retention • Cross sales • Customer departure • System Improvement • Web caching • Network trasmission • Load balancing • Intrusion detection • Fraud, etc. Web Usage Minig

14. Scopi dello WUM • Site Modification • Dettagliato feedback sul comportamento degli utenti per: • permettere al Web designer di fare scelte di ridisegno di un sito. • costruire modelli adattivi che permettono di cambiare automaticamente la struttura di un sito in modo da adattarlo meglio alle esigenze degli utenti. Web Usage Minig

15. Scopi dello WUM • Web Usage Characterization • Consiste nell’analisi di dati di log per fornire informazioni quali: numero di risultati e pagine visitate, numero di visite, browser utilizzato, file salvati, ecc. atte a caratterizzare l’uso, il contenuto e la struttura di un sito Web. • In genere sono usate tecniche adatte ad ottenere informazioni strutturate (es. tecniche statistiche) che non fanno parte delle tecniche di data mining. Web Usage Minig

16. Scopi dello WUM Web Usage Minig

17. Web Usage Minig

18. Sorgenti di dati per WUM Web Usage Minig

19. Sorgenti di dati per WUM • Server level • Il server Web registra, in uno o più file, i dati descriventi il comportamento di navigazione degli utenti. • Client level • Il client invia a un repository informazioni concernenti il proprio comportamento. • Proxy level • L’informazione è memorizzata livello server proxy. Web Usage Minig

20. Livello Server • Dati collezionati automaticamente nei file: • Access log file • Dati relativi alle richieste effettuate dagli utenti. Memorizzai in vari formati, i più comuni CLF (Common Log Format) o ECLF (Extended CLF) • Error log file • Dati relativi ad errori incorsi durante l’invio delle pagine richieste. • Referrer log file • Memorizza lo URL della pagina dalla quale è stata effettuata la richesta al sito. • Agent log file • Memorizza il nome ed il numero della versione del browser usato dall’utente per fare la richiesta. Web Usage Minig

21. IP Address Userid Time Method/URL/Protocol Status Size Server access log file Formato CLF IP Address indirizzo Internet della macchina da cui proviene la richiesta, può corrispondere all’indirizzo di un server proxy. UserId  presente quando la richiesta richiede l’autenticazione per accedere a determinati file. Se non disponibile compare il segno “-”. Time  tempo al quale il Web server ha ricevuto la richiesta Method/URL/Protocol  modalità di accesso al Web server Status  codice ritornato dal server in risposta all’azione richiesta Size  numero di bytes trasmessi Web Usage Minig

22. Web Usage Minig

23. IP Address Userid Time Method/URL/Protocol Status Size Referrer Agent Server access log file Formato ECLF IP Address indirizzo Internet della macchina da cui proviene la richiesta, può corrispondere all’indirizzo di un server proxy. UserId  presente quando la richiesta richiede l’autenticazione per accedere a determinati file. Time  momento in cui il Web server ha ricevuto la richiesta Method/URL/Protocol  modalità di accesso al Web server Status  codice ritornato dal server in risposta all’azione richiesta Size  numero di bytes trasmessi Referrer  URL del documento da cui è stata emessa la richiesta della pagina. Agent  sistema operativo e browser utilizzati dal client Web Usage Minig

24. Method/URL/Protocol • Method:modalità di accesso al Web server GET • GET, POST e HEAD • URL:indirizzo della della risorsa nel Web server • Indica il file che è stato acceduto. Quando è specificata una directory /, è il server a decidere che cosa ritornare all’utente. Di solito il file file “index.html” or “home.html”. • Protocol:nome del protocollo di comunicazione • HTTP/1.0 Web Usage Minig

25. Status • Status codes are defined by the HTTP protocol. • Common codes include: • 200: OK • 3xx: Some sort of Redirection • 4xx: Some sort of Client Error • 5xx: Some sort of Server Error Web Usage Minig

26. Server access log file Web Usage Minig

27. Server access log file • Causa la presenza di vari livelli di caching i dati collezionati possono non essere attendibili. • Gli accessi a pagine memorizzate nella cache del client o proxy non sono registrati nei server log. • Il modello stateless del protocollo HTTP non consente l’identificazione delle sessioni. • L’informazione inviata da browser al server tramite il metodo POST non è registrata nei file di log. Web Usage Minig

28. Tempi di richiesta/risposta di una pagina Web Usage Minig

29. Meccanismo dei Cookie • Un cookie è un identificatore del client generato dal server web e spedito ad un browser, che, se abilitato, lo memorizza per usi successivi. • In genere, è assegnato ad un browser la prima volta che questo si collega ad un server Web. • Il messaggio è poi inviato al server Web ogniqualvolta il browser richiede una pagina a tale server Web. • Principale uso: identificare gli utenti per fornire ad esse contenuti/servizi personalizzati. Web Usage Minig

30. Formato del Cookie • In genere costituito da 7 campi: • Dominio identificatore del server che ha creato il cookie • Metodo  specifica il metodo con cui il cookie è inviato • = TRUE se inviato usando un HTTP header • = FALSE se inviato tramite un Javascript • Path  specifica il sottoinsieme di URL per cui il cookie è valido • Secure  specifica se il cookie è criptato • Expiration time  specifica il tempo di vita del cookie • Name  identifica il cookie • Value  memorizza informazioni (es. pagine visitate, scelte effettuate, ecc) • Il meccanismo dei cookie deve essere abilitato dal client. Web Usage Minig

31. Livello Client • Dati collezionati tramite un agente software (es. Javascript o Java applets) o con specifiche estensioni al codice sorgente del browser usato. • L’uso di un browser modificato può permette di collezionare dati descriventi gli accessi a più siti Web. • In ambedue i casi è richiesta la collaborazione dell’utente. • Rispetto al livello server ha il vantaggio di rimuovere problemi dovuti all’uso della cache e all’identificazione delle sessioni. Web Usage Minig

32. Livello Proxy • Un proxy Web opera come un intermediario tra i brower client e i server Web. • L’informazione è memorizzata a livello server proxy. • Può riguardare più siti Web. • Sono collezionati i dati dei soli client che accedono al sito passando per il server proxy. Web Usage Minig

33. Data modelling • Le informazioni collezionate ai vari livelli possono essere usate per identificare varie astrazioni di dato. • W3C ha definito le astrazioni di dato: • User, Page view, Click stream, User session, Server session, Episode relative all’uso del Web. • Possono essere usate per analizzare l’uso del Web. Web Usage Minig

34. Data modelling • User: un singolo individuo che sta accedendo file da uno o più server Web tramite un browser. • Page view: insieme di file (es. frame, graphic, ecc.) che contribuisce alla visualizzazione di una singola pagina sul browser utente. • Click-stream:una sequenza di richieste di page view. • User session:click-stream di page view per un singolo utente all’intero dell’intero Web. • Server session: insieme di page view relativo ad uno specifico sito Web (comunemente detta visita o sessione). • Episode: qualsiasi sottoinsieme semanticamente significativo di un server o user session. Web Usage Minig

35. Fasi del Processo di WUM Web Usage Minig

36. WUM - Preprocessing • Consiste nel convertire i dati usage, content e strucure, collezionati ad i vari livelli, nelle astrazioni di dato adatte per la fase di pattern discovery. • Informazioni sul contenuto e struttura di un sito possono essere usate per, ad esempio, limitare l’analisi a pagine che si riferiscono ad un argomento, o ad una data struttura (es. pagine tra loro collegate). • Dipende dal tipo di studio che si intende effettuare. • In generale può essere vista strutturata secondo tre fasi principali: data cleaning, user/session identification, page view identification e un fase opzionale: path completion. Web Usage Minig

37. Fasi del preprocessing Web Usage Minig

38. Data cleaning • E’ una fase di “pulizia” del file di log per eliminare informazioni irrilevanti o outlier, rispetto all’analisi condotta. • La richiesta di una pagina comporta il download automatico di tutti i file che la costituiscono. • Ciò comportare la registrazione di più entry nei file di log. • Un approccio comune consiste nel mantenere solo la registrazione relativa alla pagina effettivamente richiesta. Web Usage Minig

39. Data cleaning • Tipicamente sono: • cancellate registrazioni relative a: file grafici (es. .gif o .jpg), agent o spider, • normalizzate le URL ad un formato comune, Es. sample.edu, www.sample.edu, www.sample.edu/ e www.sample.edu/index.html riferiscono tutte la stessa pagina. • cancellate le registrazioni relative a agent e spider (robots.txt), • cancellate le registrazioni il cui status code è diverso da 200. • cancellate le richieste effettuate con i metodi POST e HEAD. POST di solito si riferisce a richieste CGI, HEAD è normalmente usato dai robot. Richieste che di solito non si riferiscono a richieste fatte dagli utenti. Web Usage Minig

40. Esempio di access log file nel formato CLF Es. di access log file ( form.CLF) dopo la fase data cleaning Web Usage Minig

41. Problemi relativi alla • identificazione degli utenti e sessioni • Individuazione degli utenti di un sito • Ricostruzione del comportamento di navigazione degli utenti (generalmente riferito ad un singolo sito) • Uso di Proxy server • Uso di connessioni al sito tramite ISP (Information Service Provider) • Individuazione dei riferimenti a pagine memorizzate nelle cache • Impossibilità dei Web server a distingure tra differenti visite. Web Usage Minig

42. Metodi per l’identificazione degli utenti e delle sessioni • Software agent Implementati in Java Applet sono caricati nel client-browser una sola volta all’esecuzione della prima richiesta. Pemettono di collezionare dati relativi alle richieste successive che sono inviati al server Web. • Modifiedbrowser Il codice sorgente del browser usato può essere modificato per collezionare dati relativi alle richieste fatte all’intero Web. • IPAddress/Agent Assume che ciascuna coppia IP address/Agent identifica un utente. • EmbeddedsessionID Alla prima richiesta fatta da un client-browser al server, quest’ultimo ritorna la pagina richiesta modificata tramite l’inclusione di un ID identificante la sessione. Le richieste a pagine successive sono ricinosciute tramite tale ID. Web Usage Minig

43. Metodi per l’identificazione degli utenti e delle sessioni • Cookie Un token è memorizzato nel client-browser. Permette di identificare facilmente gli utenti di un sito Web • Registration L’utente accede al sito Web tramite le sue informazioni di registrazione al sito stesso. Web Usage Minig

44. Identificazione degli utenti Web Usage Minig

45. Identificazione degli utenti e delle sessioni • Dati disponobili nei server log per identificare l’utente e le sessioni: indirizzo IP, agent e click-stream dal lato server. • Alcuni tipici problemi che si incontrano in questo caso sono: • Singolo indirizzo IP/molteplici visite • Molteplici indirizzi IP/singola visita • Molteplici indirizzi IP/singolo utente • Molteplici visite/singolo utente • Singolo client/molteplici utenti Web Usage Minig

46. Client Client Web server Proxy server Identificazione degli utenti Singolo ind. IP/molteplici server session • Molteplici client-browser accedono al Web passando • per un server proxy. Singolo indirizzo IP usato da più utenti Metodo IP address & Agent non applicabile Web Usage Minig

47. Client ISP server Web server Identificazione degli utenti Molteplici indirizzi IP/singola server session Ciascuna richiesta del client-browser può essere evasa usando un differente indirizzo IP Più indirizzi IP in una server session Metodo IP address & Agent non applicabile Web Usage Minig

48. Identificazione degli utenti • Singolo client/molteplici utenti • In questo caso abbiamo lo stesso IP usato da più utenti che in genere usano anche lo stesso browser. • Molteplici sessioni server/singolo utente • Si verifica quando un utente apre più di un browser e accede simultaneamente parti differenti di un sito Web. • In questo caso l’utente accede con lo stesso IP usando lo stesso browser o differenti browser. • Molteplici indirizzi IP/singolo utente • Si verifica quando un pool di utenti condivide la stesso insieme di elaboratori. • Un utente che accede il Web da elaboratori differenti avrà un IP differente da una sessione all’altra sessione. Web Usage Minig

49. 1 Client browser Web server 5 2 5 Web application <a href =“link.htm?ID> anchor text </a> 3 4 Web content <a href =“link.htm> anchor text </a> Metodo Embedded Session ID • Client-browser emette la richiesta • Web server riceve la richiesta • e la passa a Web application • Recupero del contenuto (pagina) • Web application genera lo ID e • cambia ogni href (link ad altrer pagine) • nella pagina agiungendoci lo ID • La pagina modificata è restituita dal • web server al client-browser • Le richieste a pagine successive sono • riconosciute tramite lo ID Web Usage Minig

50. Identificazione delle sessioni • Una volta che l’utente è stato individuato, il click-stream (la sequenza di richieste) di ciascun utente deve essere diviso in sezioni. • La non disponibilità delle richieste fatte ad altri siti Web rende difficile conoscere quando un utente ha lasciato un sito Web. • Un timeout di 30 minuti è comunemente usato per individuare la fine di una sessione. • Se il tempo che intercorre tra due richieste successive supera il timeout si assume che l’utente abbia iniziato una nuova sessione. Web Usage Minig