Az { SQL Server 2008 } Integration Services és Analysis Services újdonságai

2. Az {SQL Server 2008}Integration Services ésAnalysis Services újdonságai Kővári AttilaKovari.Attila@biprojekt.hufüggetlen BI bevezetési tanácsadó,SQL Server MVPwww.biprojekt.hu

3. Néhány szó az SSIS-ről • Adatbetöltésre való (ETL eszköz) + • Adattisztítás • Adatprofilozás • Adatbányász modellek Futtatása • Szövegbányászat (szótövezés, …) • … • Része az SQL Server 2008 programcsomagnak

4. Az Integration Services 2008 újdonságai • Teljesítmény növelése • Továbbfejlesztett {Data Flow}Task • Továbbfejlesztett {Lookup}Task • Új, {Adatprofilozást} támogató Data Profiling Task • Egyéb újdonságok • Új scripting Engine, új Connector-ok, SuperDump, …

5. Továbbfejlesztett Data Flow Task {Optimalizálták} az egy executiontree-ből álló, szinkron transzformációk teljesítményét: • Az SSIS 2005 nem vizsgálta az executiontree-n belüli munka nagyságát. Minden executiontree kapott egy szálat és x mennyiségű memóriát. • Egy szál = 1 processzor Executiontree1. Executiontree1. Executiontree2.

6. Párhuzamosítás SSIS {2005} SSIS {2008}

7. Továbbfejlesztett Data Flow Task Az SSIS {2008} képes az egy executiontree-ben található transzformációkat több szálon futtatni (Azaz a szálakat dinamikusan allokálni.) Integration Services 2005 Integration Services 2008

8. Továbbfejlesztett Lookup komponens • Megosztott cache • Nem talált kulcsok gyorsítótára Dataflow 1 Integration Services 2005 Dataflow 1 Dataflow 2 Integration Services 2008 2008-05-07 2008-05-07; 20080507 2008-05-07; 20080507 2008-05-07 Ténytábla forrás Dimtábla forrás Dimtábla forrás Ténytábla forrás Cache Connection Manager Lookup Cache Lookup Cache Párosított Nem talált Nem talált Párosított Hiba 20080507 20080507

9. Egyéb SSIS 2008 újdonságok • {Új scripting engine} -> C# is lehet a szkript nyelv • Web szerviz hívás a Data Flow-ból • {SuperDump}: A futó csomagok aktuális állapotának kipakolása txt fájlba • ORACLE, Teradata, SAP BW connector (RTM után, Featurepack-ban) • Connection Manager, • BulkExtractSource • BulkLoadDestination, • IncrementalLoadDestination

10. Adatprofilozás támogatása Data Profiling Task • Mit nevezünk adat profilozásnak? • Mire használhatjuk? • Forrásrendszerek felmérése • Adattárházak, üzleti intelligencia rendszerek auditálására, minőség biztosításra • forrásadatok betöltés előtti ellenőrzésére • Hogyan működik?

11. Az adatprofilozó eljárások • Kitöltöttség analízis {Column Null Ratio} • Adathossz eloszlás elemzés {ColumnLengthDistribution} • kulcsképesség elemzés {Candidate Key} • Minták keresése {Pattern} • Oszlop statisztikák {Columnstatistics} • Érték eloszlás analízis {ColumnValueDistribution} • Összefüggés vizsgálat {FunctionalDependency} • Részhalmazok keresése {ValueInclusion}

12. Az {Analysis Services} 2008fontosabb újdonságai

13. Analysis Services 2008 stratégiaia célok • {Teljesítmény} növelése • Motor: Blokkonkénti számítás, Visszaírás, új backup szerkezet, oldalra skálázhatóság • {Hősök} támogatása: Áttervezett (kézreállóformok),tervezési figyelmeztetések, grafikus attribútum reláció és aggregáció tervező, erőforrás monitorozás támogatása, … • Olyan horderejű változások, mint a 2000-2005-ös verziók esetén voltak, nem lesznek. -> könnyű lesz áttérni 

14. Blokkonkénti számítás(Block computation) • Egy példa: városonként listázzuk ki, hogy hány rendelést adtak fel interneten keresztül az előző év eleje óta WITH MEMBER [Measures].[RollingSum] AS ([Date].[Calendar Year].PrevMember, [Internet Order Quantity]) + [Internet Order Quantity] SELECT [Date].[Calendar Year].&[2004] ON 0, [Customer].[City].members ON 1 FROM [Adventure Works] WHERE [Measures].[RollingSum]

15. Ahogy az SSAS 2005 csinálta(Cell by Cell Computation) • Hátrányok • Csak az erőforrást pocsékoljuk a {NULL értékek} összeadására • Teljesen felesleges végig mennünk minden cellán és kiértékelnünk pl. a rekurzív hivatkozásokat! [Város.*, 2004, RollingSum] Város 1 16 Város 2 Város 3 Város 4 4 Város 5 Város 6 [Város.*, 2003, Rendelések sz] [Város.*, 2004 Rendelések sz] + Város 1 Város 1 + 6 10 Város 2 Város 2 + Város 3 Város 3 + Város 4 Város 4 + 4 Város 5 Város 5 + Város 6 Város 6

16. Ahogy az SSAS 2008 csinálja(Block Computation) 1. A {nem üres} cellák felolvasása a lemezről [Város.*, 2004, RollingSum] Város 1 16 Város 2 Város 3 Város 4 2. A nem üres cellákon(blokk) elvégzi az összeadást (1 darab a 8 helyett) 4 Város 5 Város 6 + [Város.*, 2003, Rendelések sz] [Város.*, 2004, Rendelések sz] 3. Az összes többi cella NULL marad 6 10 Város 2 Város 2 Város 3 Város 4 4 Város 5 Város 6

17. Minden lekérdezésünk felgyorsul? • Hurrá! • Fogalmazzuk át a lekérdezést úgy, hogy mutassuk meg hány olyan terméket rendeltek, amelyre legalább 5 rendelés érkezett az interneten. WITH MEMBER [Measures].[5-nel tobbinternetenrendelttermek] AS Count(Filter([Product].[Product].[Product], [Measures].[Internet Order Quantity] > 5)) SELECT [Customer].[Customer Geography].[Country] ON 0, [Date].[Calendar].[Date].MEMBERS ON 1 FROM [Adventure Works] WHERE [Measures].[5-nel tobbinternetenrendelttermek]

18. Új backup fájlszerkezet • Új belső adatszerkezet • A backup készítésének sebessége nem exponenciálisan függ a mérettől és közelít a fájlmásolás sebességéhez • kompatibilis a korábbi backup-okkal (Azaz vissza tudjuk állítani a 2005-ös mentéseket is)

19. Data Management Views (DMV) • A DMV-ken keresztül • Lekérdezhetjük az SSAS objektumait • Monitorozhatjuk az SSAS erőforrásait • Olyan kérdésekre kaphatunk választ, mint… • Több mint 50 DMV. Kérdezze le: Select * from $system.dbschema_tables where TABLE_SCHEMA = '$system' order by Table_name

20. Tervezési figyelmeztetések • Több mint 40 tervezési irányelvet (Best Practice) építettek a BI developmentStudióba • Egy mini BPA, ami folyamatosan elemzi, hogy mit alkot a fejlesztő • Diszkrét, kikapcsolható, kommentezhető figyelmeztetések • Példák • Adatkockák tervezése • Adatforrások tervezése • Adatbázisok tervezése • Dimenziók tervezése • Partíciók és aggregációk tervezése

21. Új attribútum-reláció szerkesztő • <-- A régi áttekinthetetlen volt • Tervezési figyelmeztetések Ilyen volt… Ilyen lett…

22. Dinamikus nevesített halmazok • Statikus nevesített halmazok • Dinamikus nevesített halmazok • Mire fogjuk használni? • Hogyan hozhatjuk létre őket? CREATE DYNAMIC SET CURRENTCUBE.[Top 3Ország] AS TopCount ( [Ország].Members, 3, [Measures].[Terv-tény eltérés %] );

23. Köszönöm, hogy együtt gondolkodtak velem! • Ha {többet} szeretne tudni az itt hallottakról: • www.biprojekt.hu/technet

24. SQL Server 2008 { Reporting Services } Kovács Zoltánzoltanko@microsoft.comrendszermérnökMicrosoft Magyarország

25. Tartalom • Architekturális változások • Szolgáltatások • Jelentésfeldolgozás • Memóriakezelés • Jelentéskészítési újdonságok • Új jelentéstervező – ReportDesigner 2008 • {Tablix} = {Tabl}e + Matr{ix} • Dundas grafikonok, műszerek • Formázott{szöveg} • Word export • Megnövelt • teljesítmény

26. Architekturális változások • {Gyorsan, megbízhatóan! }

27. SSRS 2005 szolgáltatás-architektúra Report Builder Report Manager Management Studio 3rd Party Applications SOAP / URL elérés Report Designer SharePoint V3 Configuration Tool Riport feldolgozás Web Service Bővíthetőség ASP.NET IIS Report Data Sources WMI Windows Service WMI Provider SharePoint V3 Databases Configuration Files Report Server Database

28. SSRS 2005 szolgáltatás-architektúra Report Builder Report Manager Management Studio 3rd Party Applications Report Designer SharePoint V3 Configuration Tool Jelentés feldolgozás IIS Ütemezés / kézbesítés ASP.NET Web Service Adatbázis karbantartás Bővíthetőség Report Data Sources WMI Windows Service WMI Provider SharePoint V3 Databases Configuration Files Report Server Database

29. SSRS 2008 szolgáltatás-architektúra Report Builder Management Studio 3rd Party alkalmazások Report Designer SharePoint V3 Configuration Tool Windows szolgáltatás Webszolgáltatások Report Manager Háttér feldolgozások Jelentésadat-források WMI Platform WMI Provider SharePoint V3 adatbázisok Konfigurációs fájlok Report Server adatbázis

30. SSRS 2008 szolgáltatás-architektúra Report Builder Management Studio 3rd Party Applications Jelentés feldolgozás Report Designer SharePoint V3 Configuration Tool Ütemezés / kézbesítés Bővíthetőség Web Service Adatbázis karbantartás Report Manager Background Processing Report Data Sources WMI Platform WMI Provider SharePoint V3 Databases Configuration Files Report Server Database

31. SSRS 2008 szolgáltatás-architektúra Report Builder Management Studio 3rd Party Applications Report Designer SharePoint V3 Configuration Tool ASP.NET App Domain kezelés Web Service Hitelesítés Memória-menedzsment Report Manager Szolgáltatás hálózati interfészei Szolgáltatás platform Background Processing Report Data Sources WMI Platform WMI Provider SharePoint V3 Databases Configuration Files Report Server Database

32. Az új szolgáltatás-architektúra előnyei • Egy szolgáltatás • Könnyebb telepíteni, konfigurálni és felügyelni • Megszűnt az IIS függőség • A Report Server eszközök biztosítják az IIS funkcionalitást • Nem kell IIS-t futtatni az adatbázis szerveren • Az SQL Server-rel közös belső komponensek • A hálózati interfészek közösek az SQL Server-rel • A Report Server szolgáltatásSQL CLR-ben implementálja az ASP.NET-net • Nem változik meg a telepítési topológia • Változatlan SOAP, URL Access és Report Manager támogatás • A frissítések támogatottak

33. feldolgozó-architektúra SQL Server 2005 SQL Server 2008 Adatok Tablix Table Matrix List Chart Kalk Soft Page előállítás HTML Webforms Group HTML Excel Chart Winforms Adat CSV Kép ROM Adattár XML Hard Page előállítás Image Nyomtató Kép PDF

34. Jelentés előállítási újdonságok Word formátum Az előállított jelentés Word 2000 és újabb verziókkal kompatibilis Javított CSV formátum Valódi adatformátum, nem hibrid adat/szöveg Javított Excel formátum Egymásba ágyazott adatrégiók támogatása Egymásba ágyazott aljelentések támogatása

35. További előnyök • Formázási és lapozási konzisztencia • Elosztottügyfél/kiszolgálószámítások • Robosztus, ügyfél-oldali jelentés előállítás • Gyorsabb készülnek el az első oldalak • Tablix

36. A memóriakezelés újdonságai • Szerver oldali memóriafelügyelő infrastruktúra • Dinamikus, önmagát menedzselő, memória krízisre reagáló • Memória hiány esetén automatikusan csökkenti a terhelést • Fájlrendszer alapú gyorsítótár • Memóriahiány esetén használja • Amikor a feldolgozó alrendszer további memóriát igényel • Határértékeket állíthatunk be (Min, Max) • A szerver azt feltételezi, hogy a Minimum értékkel jelzett memória rendelkezésre áll • Több memóriát csak akkor foglal a rendszer, ha szükség van rá • A Maximum határérték azt jelzi, hogy azt nem szabad túllépni • Figyeli más rendszerek memóriafoglalását is

37. Az interaktivitásra gyakorolt hatás • Az egyes lapok előállítására fordított idő közel állandó • Az első lap előállítási ideje változó • Jelentésfüggő • Az RS 2008 adatok kisebb változatosságot mutatnak

38. Válaszidő alakulása

39. A memóriaésaz IO kölcsönhatása SSRS 2008

40. {Memóriakezelés} demó

41. Jelentéskészítési újdonságok{Szebbet, egyszerűbben! }

42. Tabl e + Matr ix

43. Tablix = mindkettőből a legjobbak++ • Mátrix+: • Többszörös egymás melletti sor/oszlop elemek minden szinten • Bármelyik elem lehet statikus vagy dinamikus • Az elemek fejlécei elhagyhatóak • Táblázat+: • Dinamikus, egymásba ágyazhatóoszlopcsoportok • Többszörös párhuzamos sorcsoportok • Statikus sorok • Átnyúló sorfejlécek

44. Egymás melletti, dinamikus csoportok SQL 2005 SQL 2008

45. Dinamikus és statikus csoportok SQL 2005 SQL 2008

46. Hierarchikussorokdinamikus fejlécekkel SQL 2005 SQL 2008 ... ...

47. Dundasintegráció • ADundasSoftware alábbi komponenseitlicenszeljük: • Chart • Gauge • Map • Barcode • Calendar • Grafikonok – CTP4-től • Gauge-ok – CTP 6-tól • Map, Barcode, Calendar?

48. Példák grafikonokra

49. Formázott szöveg • A szövegdobozokban többfajta stílust használhatunk • A kevert statikus szövegek, referenciák, kifejezések különböző formátumúak lehetnek • Bekezdések • Listák • Felsorolások • HTML elemek

50. Report Builder 2008 • {A ReportBuilder-t és a ReportDesigner-taReport Builder 2008}váltja ki hosszabb távon • Egységes felület, teljes RDL támogatás • A Report Builder modell támogatása megmarad • A szemantikusjelentésmodellekmegmaradnak • Az SQL Server 2008 után: {a Report Builder 2008 az SQL Server 2008 megjelenését követően, önállóan jelenik meg}