Prezentują:

2. Prezentują: Marek Wałach UX Designer Marcin Ceran PHP Developer

3. Agenda • O nas • Skala projektu iPresso • Wykorzystywana technologia • Casestudy 1: Przetwarzanie danych do analiz w tle • Casestudy 2: Aktualizacja wielu baz jednocześnie • Casestudy 3: Procesy działające w tle • Czas na pytania

4. encja.com S.A. Jesteśmy zespołem kilkudziesięciu pracowników i współpracowników skoncentrowanym na potrzebach ludzi biznesu i administracji.

5. Nasze rozwiązania …i wiele innych

6. iPresso Platforma dla nowoczesnych i skutecznych marketerów, która posiada w jednym miejscu profesjonalne narzędzia

7. iPresso Zarządzanie kontaktami Monitoring mediów e-PR

8. iPresso Marketing Automation Direct Marketing Integracje

9. Skala projektu iPresso Wielu klientów obsługiwanych w modelu SaaS

10. Skala projektu iPresso Ponad 500 000 kontaktów (użytkowników) obsługiwanych w ramach jednego klienta … i rośnie

11. Skala projektu iPresso Ponad 13 000 zadań dziennie wykonywanych dla jednego klienta … i rośnie

12. Przykładowe zadania systemu • Wysyłka mailingu do 500 000 kontaktów • Monitorowanie kilkunastu fraz w mediach • Synchronizacja z zewnętrznymi systemami klienta • Analizowanie bieżących działań

13. Prognozy • Wielu klientów obsługujących 1 – 5 milionów kontaktów • Wzrost ilości wykonywanych zadań dziennie

14. Wykorzystywana technologia

15. Konfiguracja maszyn w chwili startu 1 maszyna z kodem aplikacji, bazą oraz wykonująca akcje cronowe

16. Konfiguracja maszyn w chwili obecnej Wydzielone maszyny dla każdej z funkcji aplikacji

17. Konfiguracja maszyn w przyszłości Wydzielone maszyny dla każdej indywidualnej funkcji w celu lepszego skalowania i równoważenia obciążenia

18. Casestudy 1 Przetwarzanie danych do analiz w tle

19. Ilości danych i ich struktura w kontekście analiz • W systemie przechowywane są informacje na temat historii działań kontaktów. • Dla 400 000 aktywnych kontaktów w przeciągu kilku miesięcy powstaje tabela z ponad 6 000 000 rekordów

20. Ilości danych i ich struktura w kontekście analiz • Każdy rekord może być powiązany z innymi elementami systemu • Danych cały czas przybywa

21. Główne wyzwanie Przygotowanie raportu zawierającego analizę aktywności kontaktów w jak najkrótszym czasie na żądanie użytkownika

22. Przygotowanie analizy • Analiza wymaga sprawdzenia aktywności każdego kontaktu z osobna i połączenia ich w odpowiednie grupy. • Grupowanie polega na znalezieniu kontaktów, których sekwencja aktywności jest taka sama. • Data wystąpienia danej aktywności i ich kolejność może być różna dla każdego kontaktu.

23. Zastosowane rozwiązania • Przerzucenie procesu wyciągania i analizowania danych w tło • Rozbicie analizy danych na wiele procesów działających w tym samym czasie • Wykorzystanie współdzielonego serwera memcached dla procesów przygotowujących analizy

24. Zastosowane rozwiązania • Przetrzymywanie gotowych analiz w cache’u • Mechanizm informujący o postępie przygotowania analizy użytkownika

25. Dalszy rozwój • Wydzielenie osobnej maszyny dla analiz • Cykliczna wstępna obróbka danych umożliwiająca przyspieszenie procesu generowania analizy

26. Casestudy 2 Aktualizacja wielu baz jednocześnie

27. Struktura bazodanowa • 1 wspólna baza przetrzymująca informacje na temat klientów • Każdy klient ma swoją bazę danych w której przechowywane są jego dane • Struktura baz klientów jest identyczna

28. Pliki aktualizujące bazę • Wykorzystanie plików xml/sql wykonywanych dla każdej bazy • Podział pliku na tagi z zaznaczeniem jaki tag był ostatnio wykonywany

29. Napotkane problemy • Czas wykonywania skryptów aktualizacyjnych dla cały czas rosnącej liczby klientów • Zabezpieczenie przed niepowodzeniem operacji

30. Opis problemu • Bardzo długi czas aktualizacji baz danych jedna po drugiej • Brak dostępu do usług podczas aktualizacji • Obsługa potencjalnych błędów

31. Obciążenie sprzętowe Bardzo niskie obciążenie sprzętowe ze względu na to, że aktualizowana była jedna baza na raz

32. Zastosowane rozwiązania • Przerzucenie skryptów w tło • Rekurencyjne odpalanie się skryptów • Snapshoty w celu bezpieczeństwa

33. Efekty wprowadzonych rozwiązań • Czas wykonywania skryptów skrócił się o ponad 60 % • W pełni wykorzystanie mocy obliczeniowej podczas aktualizacji

34. Casestudy 3 Procesy działające w tle

35. Pierwsze rozwiązanie Początkowo zadania były inicjowane przez cron-a

36. Napotkany problem Duża liczba zadań oraz rosnąca liczba klientów wymagały jednoczesnego uruchamiania coraz to większej liczby skryptów. Skutkowało to dużym, skokowym zużyciem zasobów.

37. Zastosowane rozwiązanie Daemons

38. Zalety Daemonów • Obsługa nieukończonych zadań • Brak konieczności czekania całej minuty do wykonania następnego zadania

39. Zalety Daemonów • Zarządzanie wieloma zadaniami w jednym czasie • Obsługa intentów

40. Przykładowe kategorie zadań • System mailingowy • System SMS • Marketing automation

41. Przykładowe kategorie zadań • Komunikacja z portalami społecznościowymi • Synchronizacja z systemami zewnętrznymi • Procesy związane z analizą danych

42. Opis rozwiązania • Jeden proces do zarządzania zadaniami • Każdy daemon posiada swój grafik z definicjami zadań • Kolejkowanie zadań z wykorzystaniem IPC

43. Opis rozwiązania • Rejestracja zadań (aktywności daemonów) • Niezależna obsługa daemonów z wykorzystaniem narzędzia do ich monitoringu • Obsługa intentów

44. Rezultaty • Optymalizacja wykorzystania zużycia zasobów • Jednoczesna realizacja wielu zadań • Wywoływanie dowolnej akcji na żądanie

45. Czas na pytania