Modelagem Analítica Pare de clicar & começe a programar

1. Modelagem Analítica Pare de clicar & começe a programar Pedro Carvalho

2. Qual o software mais importante?

3. Qual o software mais importante? Excel - planilha • Utilizadas para fundamentar grande parte de decisões de negócio no mundo • Fácil de introduzir, ver e modificar dados

4. Qual o software mais importante? Objetivo da modelagem? Obtenção de conhecimentos que ajudem a tomada de melhores decisões e resultados.

5. Qual o software mais importante? No entanto, estima-se que 90% das planilhas contenham erros Fontes: http://panko.shidler.hawaii.edu/SSR/Mypapers/whatknow.htm http://www.marketwatch.com/story/88-of-spreadsheets-have-errors-2013-04-17 http://www.eusprig.org/stories.htm Porquê?

6. Alguma vez...? • Teve que repetir várias vez o mesmo processo de copiar, colar, clicar? • Teve dúvidas sobre a origem,versão,última data atualizada dos dados brutos? • Sentiu constrangido por pedir várias vezes diferentes dados/formatos de dados ao departamento de TI?

7. Alguma vez...? • Teve problemas em agregar, filtrar e indexar diferentes tabelas e/ou diferentes origens? • Teve dificuldade em analisar dados em diferentes formatos (csv, tsv, txt, sql, json..)? • Não lembrar quais as alterações feitas anteriormente na tabela da planilha?

8. Alguma vez...? • Não entendeu / não conseguiu reproduzir o que os outros (ou você mesmo) fizeram? • Teve receio de haver falhar, erros, fraude, na modelagem? • Não conseguiu entender a lógica da análise porque o processo não está documentado?

9. Alguma vez...? • questionou se o resultado finalda modelagem atualizou com novos dados? • não teve certeza como mudanças na modelagem afetam o seu resultado final? • Teve dificuldade em colaborar ou trabalhar em conjunto por ter dificuldade em entender e modificar a modelagem de terceiros?

10. É provavél que sim porque.. Planilha é o programa adequado para tarefas que envolvem análises simples, diretas, sem encadeamento • Orçamentos: Fácil Introduzir, ver e modificar dados e comentários • Contabilidade: Dimensão reduzida (DR & Balanço) • Estatística simples: soma, média, mínimo / máximo, gráficos

11. É provavél que sim porque.. Planilha não é o programa mais adequado para análises de dados mais complexas • Baixar dados de diferentes formatos, fontes • Limpar, formatar, manipular, indexar, agregar, filtrar dados • Implementar modelagem numérica, estatística, simbólica (álgebra), documentando todo o processo para entender diferença de resultados • Testar / “backtesting” e visualizar análises • Repetir este processo quantas vezes necessárias,comparando resultados • Documentar métodos, processos, comentários, resultados, conclusões

12. A análise quantitativa é um processo Método científico / analítico • Pensar em problema • Formular hipótese • Procurar dados • Formatar dados • Implementar hipótese: • Estatística • Modelagem económica • Testar / “Backtesting” para quantificar eficácia do modelo / algoritmo • Refletir sobre resultados • GOTO 2 até ficar satisfeito com o “melhor” modelo preditivo • Implementar análise prescritiva combinando algoritmo preditivo com a base de dados da empresa (stocks, encomendas) através de modelagem numérica - otimização • Desenvolver Interface gráfico para utilizador

13. A análise quantitativa é um processo • É também uma arte: • tem de ser aberta, transparente • facilitar colaboração, atualizações, adaptações para se adaptar às mudanças. • economia de escala de trabalho e conhecimento, eliminando repetições manuais Dado a complexidade do processo, tudo tem de ficar documentado em código e em texto

14. Passando para a fase seguinte • Cada fase da análise quantitativa (descritiva, preditiva e prescritiva) tem como base a fase anterior • Embora o objetivo final da análise seja recomendar decisões (análise prescritiva), a maior parte das empresas não passam da 1ª fase (descrição)

15. Passando para a fase seguinte • Gerentes têm acesso apenas à análise descritiva, interpretando-a, fazendo eles próprios estimativas preditivas e prescritivas sem qualquer método, nem testando eficácia das suas estimativas anteriores • “Vendemos x número de produtos/serviços? Então, provavelmente... • Iremos vender a mesma quantidade no próximo período • Teremos que aumentar o stock em x%

16. Passando para a fase seguinte A maioria das empresas não passam da análise descritiva. Porquê? Porque construir modelagem com capacidade descritiva, preditiva e prescritiva requer fluxo / processo / sistemas, mas... ...as planilhas quebram com complexidade.

17. Há alternativa à planilha? • VBA, Java, MATLAB, SAS? • Necessário programadores / software propietário • Ao contrário da planilha, dados ficam “longe” do utilizador. É difícil: • introduzir dados, • ver, • modificar, • fazer cálculos

18. A solução - R & Python As linguagem de programação mais utilizadas por analistas de Data Mining e Análise Preditiva

19. A solução - R & Python Apresentações sobre Python • Computação científica

20. Vantagens • Transparência • Documentação detalhada do princípio ao fim da análise, facilidade de auditoria de erros/fraudes • Facilidade de colaboração entre analistas

21. Vantagens • Escala • de trabalho - não é necessário repetir os mesmos cliques e copy-paste • de conhecimento - possível acrescentar novos conhecimentos ao código antigo. Esforço dedicado na aprendizagem e automatização, mas não na sua implementação diária.

22. Vantagens • Flexibilidade / Agilidade • Linguagens “limpas” - fácil de entender, alterar, de fazer análise exploratória de dados (ao contrário do VBA,apropriada apenas para automatizar processos) • Facilidade em alterar / adaptar código • Compatibilidade com quase todos os formatos de dados (xls, xlsx, csv, tsv, txt, json, sql, etc.) • Fácil integração com websites através de APIs

23. Vantagens • Amplas bibliotecas estatística e númericas • Graphical User Interface • Facilidade de criar interface gráfico

24. Modelo de negócio Cliente recebe trabalho da 1ªfase (Análise descritiva) • Apenas paga se desejar continuar a modelagem analítica • Case contrário, não paga qualquer valor pelo trabalho que recebeu 1. Análise Descritiva 2. Análise de diagnóstico / descoberta 3. Análise Preditiva O modelo de negócio visa minimizar os riscos para todas as partes. O “contrato” de pagamento é simples • O cliente paga pelo serviço de cada fase do projeto apenas se decidir continuar para a fase seguinte. 4. Análise Prescritiva 5. Interface gráfico

25. Modelo de negócio - Serviços • Análise Descritiva • Estatística, Análise económica e de mercado • Análise de Diagnóstico e de Descoberta • Clusterização / Segmentação de clientes e mercados com técnicas de Machine Learning • Análise Preditiva • Secções Cruzadas e dados em painel • Classificação • Quantificação de Probabilidade • Séries Temporais • Análise Prescritiva / Recomendações de decisões automatizadas • Otimização e Simulação • Interface Gráfico de Utilizados • Integrando e automatizando todas as fases anteriores

26. Conclusão Programar análise de dados é uma nova forma de trabalhar. Com Modelagem Analítica você pode testar as vantagens deste novo modelo sem qualquer risco ou compromisso.