Big Data: I Microsoft ima slona za utrku

1. MICROSOFT HRVATSKA Big Data: I Microsoft ima slona za utrku Luka Lovošević, Antonio Faletar Microsoft Hrvatska

2. Sadržaj Uvodu Big Data Pregled MS platforme Hadoop Demo

3. Što je Big Data?

5. Što je Big Data? Podaci koji su vam bitni, ali ih tradicionalnim alatima ne možete procesirati. VOLUME (Količina) VARIETY (Struktura) VELOCITY (Brzina, real-time)

6. Izvori podataka Vrijeme i lokacija RFID Logovi Text Telemetrija Društvene mreže Pametne kuće Senzori

7. Big Data algoritmi Slični artikli (npr. web shop) Real-time analiza Analiza povezanih pojmova Česti skupovi artikala c Klastering (grupiranje) Reklamiranje na webu Sustavi preporuka Analiza na društvenim mrežama

8. Microsoft Big Data platforma

9. Microsoft Big Data platforma Self-service BI alati SQL Server StreamInsight SQL Server 2012 Parallel Data Warehouse Hadoop – HDInsight (Windows ili Azure)

10. Malo više o Hadoopu

11. Što je Hadoop? Platforma za procesiranje velike količine podataka Apache, open source Google GFS i MapReduce Visoko skalabilan i distribuiran Commodity hardver Apache projekt Yahoo! EnterpriseHadoop 2013 2004 2006 2008 2010 2012

12. Hadoop arhitektura Task tracker Task tracker MapReduceLayer (distribuirano procesiranje) Job tracker Name node HDFS Layer (distribuirana pohrana) Data node Data node

13. MapReduce Node Node Podaci Node Node

14. MapReduce Program // Map Reduce function in JavaScript varmap = function (key, value, context) { var words = value.split(/[^a-zA-Z]/); for (var i = 0; i < words.length; i++) { if (words[i] !== "") context.write(words[i].toLowerCase(), 1);} }}; varreduce = function (key, values, context) { var sum = 0; while (values.hasNext()) { sum += parseInt(values.next()); } context.write(key, sum); }; Node Node Node Node

15. Primjer za MapReduce

16. Alati za uspješno Hadoopiranje

17. Pig Procesiranje i oblikovanje podataka ETL tool MapReduce

18. Hive Strukturiranje podataka SQL sintaksa ODBC, Excel … MapReduce

19. Mahout Biblioteka gotovih algoritama Strojno učenje (npr. clustering, recommendation, …) MapReduce

20. HDInsight Hadoop Hadoopza Windows Server Hadoopza Windows Azure Programiranje u .NET-u Security, HA & management Podrška za virtualizaciju Integracija s Microsoft BI alatima Isto iskustvo za on-premise i cloud

21. Demo Windows Azure HDInsight

22. Hadoop 2.0 HortonWorks Stinger inicijativa Tez (interactive) vs. batch Streaming (Storm project), itd.

23. Zaključak Big data trend Hadoop de facto standard Windows Azure HDInsight Open source

24. Pitanja?

25. Hvala!