MVP Virtual Conference 2013

1. MVP Virtual Conference 2013 Cenário atual no mundo dos dados e a plataforma SQL Server Luciano Moreira

2. Luciano Moreira [Luti] SQL Server MVP | PASS RM | MC* | MCM Wannabe @luticm http://luticm.blogspot.com luciano.moreira@srnimbus.com.br

3. Agenda A plataforma SQL Server Business Intelligence CloudComputing Big Data Appliances Engine Relacional vNext Referências Conclusão

4. SQL Server SQL Server 4.2 – Fim do acordo com Sybase SQL Server 6.5 – Pequenos volumes de dados e suporte Windows NT SQL Server 7.0 • Mudanças arquiteturais (tamanho de página, UMS) • Full-TextSearch e DTS • OLAP Services SQL Server 2000 • Entrando no mundo Enterprise • Boa estabilidade e desempenho SQL Server 2005 • SSRS, SSIS e SSAS = BI edition • DatabaseMirror, Snapshot (DB e Isolation), ...

5. SQL Server SQL Server 2008 • Enterprise Level – Audit, PBM, compressão backup e dados, mirroring, xEvents, ResourceGovernor, filestream • Reescrita engine SSRS SQL Server 2008 R2 • StreamInsight, Master Data Services • PowerPivot • PDW SQL Server 2012 • AlwaysOnAvailabilityGroups • ColumnStore Index • Data Quality Services, Filetable, semanticsearch, SSAS tabular, windowingfunctions, distributed replay, SSDT, batch processing, ...

6. Business Intelligence / Data Warehouse DW vs BI Uma das maiores tendências no mundo dos dados Presente na lista de prioridade do Gartner nos últimos 10 anos 10 anos? TI? Falhas dos projetos • Projeto complexo • Problemas nos dados • Usuário não sabe o que quer • Só preciso de um relatório • Mudança Modo de “fazer BI” vem mudando

7. Business Intelligence / Data Warehouse OLTP OLAP

8. Business Intelligence / Data Warehouse ? OLAP OLTP OLAP

9. CloudComputing Preciso falar que é uma tendência em TI? Não é para todo mundo, mas é um facilitador Pequenos podem se tornar grandes Windows Azure SQL Database • Release contínuo de funcionalidade AzureTables • Espaço noSQL (MongoDB, Cassandra, BigTable, etc.) Databaseonthecloud ou database for thecloud? • NuoDB

10. O volume de dados só cresce... 50%Crescimento global de dados 4.3Média Há mais dados armazenados por empresa do que na biblioteca do Congresso dos EUA Números de dispositivosconectadosporadultonos EUA. Geradopela NYSE tododia Contra 5% Do aumento do custo de TI 15 17Setores de Negócios – U.S 55 GBs De dados de mercado de Volume de informações está crescendo em todo o mundo a uma taxa mínima de 59% ao ano com 15% de dados dados estruturados e o resto composto de novos tipos de dados complexos o que contribui para cenários de Big Data - Donald Feinberg, Gartner IT Symposium, Outubro 2010

11. Big Data Explosão de dados = fenômeno “Big Data” The economist: “The data deluge” Bilhões de dados sendo gerados a cada minuto ou segundo Aplicações crescem e maiores volumes de dados têm que ser armazenados Necessidade de armazenar, catalogar, explorar e fazer esse dado virar informação

12. Big Data Muitos da TI encaram esse volume de dados como CUSTO Mas deveriam ver os dados como uma OPORTUNIDADE O que é Big Data? É algo que fica entre medium data e gigantic data? Big Data é uma coleção de dados tão grande e complexa que fica difícil de processar usando ferramentas de gerenciamento de banco de dados ou aplicações tradicionais. A quantificação do valor (TB, PB) não é precisa e a cada evolução da tecnologia o big dá um passo a mais

13. Big Data - Hadoop

14. Big Data - Hadoop

15. HDInsight https://www.hadooponazure.com/ HDInsight http://www.windowsazure.com/en-us/manage/services/hdinsight/introduction-hdinsight/ http://www.windowsazure.com/en-us/manage/services/hdinsight/

16. Polybase Integração entre mundo relacional e hadoop (não-relacional) http://projectbotticelli.com/news/sql-server-2012-sp1-hekaton-xvelocity-polybase-data-mining-office-sharepoint-2013 http://www.zdnet.com/microsofts-polybase-mashes-up-sql-server-and-hadoop-7000007424/ http://www.microsoft.com/en-us/sqlserver/solutions-technologies/data-warehousing/polybase.aspx http://gsl.azurewebsites.net/Projects/Polybase.aspx

17. Appliances Parallel Data Warehouse v1 PDW 2012 • Up to 50x performance gains with the xVelocity updateable columnstore. • Up to 100x performance gains over legacy warehouses. • Seamless integration with “Big Data” using PolyBase. • Multi-petabyte data capacity. • 2.5x lower price per terabyte than SQL Server 2008 R2 PDW and lowest price per terabyte in industry. Configuração da “caixa” dispensa experts em diversas áreas na sua empresa

18. Engine relacional Avanços no query optimizer (star join queries, desempenho, etc.) SQL Server 2012 • ColumnStoreIndexes (não-cluster, não atualizável) • Batch Processing Armazenamento por coluna apresenta muitas vantagens: Compressão Segmentelimination Columnelimination SQL Server vNext • Clusteredcolumnstore index • Updatable

19. Engine relacional Projeto HEKATON = In-memorydatabases Não é pintable! Não necessita de appliance para executar, reutiliza mesmo hardware de hoje Demonstração PASS 2012 = 30x ganho de desempenho Optimistic Approach (no latching) Código nativo in-memory Aceleração das transções Uma melhor b-tree http://research.microsoft.com/en-us/news/features/hekaton-122012.aspx

20. Conclusão Talvez o mundo dos dados nunca foi tão empolgante como o que estamos vivendo hoje! Cientistas de dados

21. Luciano Moreira [Luti] SQL Server MVP | PASS RM | MC* | MCM Wannabe @luticm http://luticm.blogspot.com luciano.moreira@srnimbus.com.br

22. Obrigado.