270 likes | 420 Views
KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDING BIJ IT-PROJECTEN. PRESENTATIE VOOR NGI SECTIE LIMBURG DOOR DR. ROBERT J. PETERS VRIJE UNIVERSITEIT, AMSTERDAM FACULTEIT EXACTE WETENSCHAPPEN AFDELING INFORMATICA / IMSE SITTARD 15 FEBRUARI 2005.
E N D
KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDING BIJ IT-PROJECTEN PRESENTATIE VOOR NGI SECTIE LIMBURG DOOR DR. ROBERT J. PETERS VRIJE UNIVERSITEIT, AMSTERDAM FACULTEIT EXACTE WETENSCHAPPEN AFDELING INFORMATICA / IMSE SITTARD 15 FEBRUARI 2005
KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDINGBIJ IT-PROJECTEN • AGENDA • RISICO’S BIJ UITVOERING IT-PROJECTEN • 2. KWANTITATIEF IT-PORTFOLIO MANAGEMENT • WISKUNDIG MODEL VOOR RISICO-BEHEERSING BIJ ING • 4. CONCLUSIES
RISICO’S BIJ ONTWIKKELING EN EXPLOITATIE VANIT-PROJECTEN • RISICO’S BIJ SYSTEEMONTWIKKELING • RISICO VAN VOLLEDIGE MISLUKKING • RISICO VAN BUDGET OVERSCHRIJDING • RISICO VAN NIET TIJDIGE OPLEVERING PROJECTRESULTAAT • RISICO VAN NIET OPLEVEREN GEVRAAGDE FUNCTIONALITEIT • IMPLEMENTATIE RISI • ORGANISATORISCH RISICO • EXPLOITATIE RISICO’S • TECHNISCH RISICO • BEVEILIGINGS RISICO • FINANCIEEL RISICO
IT PORTFOLIO MANAGEMENT • SAMENSTELLING IT PORTFOLIO • SOFTWARE (INFORMATIE SYSTEMEN) • IT PROJECTEN • - ONTWIKKELING INFORMATIESYSTEMEN • - AANSCHAF HARDWARE • - INRICHTING IT PROCESSEN • - ETC. • 4. IT STAF / EXPERTISE ( HUMAN CAPITAL) • 5. IT PROCESSEN- ONTWIKKELING • - ONDERHOUD- EXPLOITATIE- DIENSTVERLENING (HELPDESK, ETC.) • 6. HARDWARE (COMPUTERSYSTEMEN, NETWERKEN, ETC.)
VOLWASSENHEID IT-SYSTEEM ONTWIKKELORGANISATIE • DE 5 NIVEAUS VAN VOLWASSENHEID VAN HET CAPABILITY MATURITY • MODEL (CMM) • INITIAL (BEGINNER) • REPEATABLE (REPRODUCEERBAAR) • DEFINED (GESTANDAARDISEERD) • MANAGED (GEORGANISEERD) • OPTIMIZING (STEEDS BETER WORDEN)
KWANTITATIEF IT PORTFOLIO MANAGEMENTUITGANGSPUNTEN EN ACHTERLIGGENDE GEDACHTEN • RATIONELE BESLUITVORMING OVER (DES)INVESTERINGEN IN IT WORDTPAS GOED MOGELIJK ALS INZICHT BESTAAT IN DE KWANTITATIEVEIMPACT VAN “IT-GOVERNANCE RULES “ OP DE KEY MANAGEMENT ISSUES ZOALS: KOSTEN, OPBRENGSTEN, “TIME TO MARKET”, BEDRIJFSRISICO’S, ETC • “EENVOUDIGE” TOEPASSING VAN WISKUNDIGE EN STATISTISCHE METHODEN EN TECHNIEKEN. • DE MODELLEN MOETEN OOK BRUIKBAAR ZIJN VOOR ORGANISATIES MET EEN LAAG CMM-NIVEAU (CMM NIVEAU 1) • FOCUS OP IT SOFTWARE ASSETS EN IT-PROJECTEN PORTFOLIO: VAAK MEER DAN 50% VAN DE (ECONOMISCHE) PORTFOLIO WAARDE • Literatuur: Verhoef, C. (2002). Quantitative IT Portfolio Management, • Science of Computer Programming, 45 (1), pp. 1-96
IT PORTFOLIO MANAGEMENTFOCUS OP SOFTWARE ASSETS EN IT-PROJECTEN 1999 2000 2001 2002 2003 2004 Hardware 13.2 14.7 16.2 17.7 19.5 21.4 Package software 5.5 6.3 7.3 8.4 9.8 11.4 IT services 19.2 22.0 25.0 28.1 31.5 35.1 Total IT 37.8 42.9 48.4 54.3 60.9 67.9 IT expenditure of Western European bank 1999 – 2004, in billions of dollars (Source: IDC) Note: due to rounding, the sum of the categories may not equal the total
KWANTITATIEF IT PORTFOLIO MANAGEMENTIT PORTFOLIO DATABASE • BENODIGDE DATA VOOR TOEPASSING KWANTITATIEF IT-PORTFOLIO • MANAGEMENT • GEBRUIK EIGEN, INTERNE DATA-SET VERDIENT STERK DE VOORKEUR - IT PROJECTEN (KOSTEN, PROJECTDUUR, RISICO’S, ETC)- BESTAANDE INFORMATIESYSTEMEN (ONDERHOUD, EXPLOITATIE, BESCHIKBAARHEID, CREATIE BUSINESS VALUE, ETC.)- INZET IT PERSONEEL (INTERN, EXTERN, PRODUCTIVITEIT, ETC) - ETC. • INDIEN GEEN INTERNE DATA BESCHIKBAAR IS OF INTERNE DATASET IS ONVOLLEDIG EN ONBETROUWBAAR (CMM NIVEAU 1) GEBRUIK DAN EXTERNE BENCHMARK DATA (STANDISH GROUP, ETC) • PAS OP VOOR VALKUILEN BIJ GEBRUIK EXTERNE DATA:- DE DEFINITIES KUNNEN STERK VERSCHILLEN VAN DE DEFINITIES IN EIGEN HUIS - HETEROGENITEIT VAN DE DATA
KWANTITATIEF IT PORTFOLIO MANAGEMENTMETING OMVANG IT-ASSESTS • FUNCTIE PUNTEN (FP’S) • DEFINITIE • EEN FUNCTIEPUNT IS EEN (SYNTHETISCHE) MAAT VOOR HET METEN VAN DE • OMVANG VAN EEN SYSTEEM IN TERMEN VAN BESCHIKBARE OF OP TE LEVEREN • HOEVEELHEID FUNCTIONALITEIT • MEN KAN FP’S VERGELIJKEN MET KILOGRAMMEN WAARIN HET GEWICHT WORDT • UITGEDRUKT OF LITERS WAARIN VAN HET VOLUME VAN EEN VLOISTOF OF GAS • WORDT GEMETEN. • TELLEN VAN FUNCTIE PUNTEN • ALBRECHT (IBM) HEEFT IN 1974 EEN METHODE ONTWIKKELD OM HET AANTAL • FUNCTIE PUNTEN VAN EEN BESTAAND SYSTEEM OF TE BOUWEN SYSTEEM TE • TELLEN. • FP’S KUNNEN WORDEN GETELD DOOR MENSEN MAAR HET KAN OOK • GEAUTOMATISEERD WORDEN GEDAAN (MET TOOLS)
KWANTITATIEF IT PORTFOLIO MANAGEMENTWISKUNDIGE RELATIES TUSSEN IT-VARIABELEN EEN PAAR EENVOUDIGE VOORBEELDEN VAN WISKUNDIGE VERBANDEN TUSSEN IT-VARIABELEN FUNCTIONELE RELATIE TUSSEN DE OMVANG VAN EEN TE BOUWEN SYSTEEM, GEMETEN IN AANTAL FUNCTIEPUNTEN (f), EN DE TIJD NODIG OM HET SYSTEEM TE BOUWEN (d) f 0,39 = d (1) NB. DE CONSTANTE 0,39 VERSCHILT PER INDUSTRIETAK EN SYSTEEM TYPE FUNCTIONELE RELATIE TUSSEN DE ONTWIKKELTIJD (d) EN HET BENODIGDE AANTAL FTE’S VOOR SYSTEEMBOUW (n) 1 n (d) = ------ d 3,564 (2) 150
KWANTITATIEF IT PORTFOLIO MANAGEMENTWISKUNDIGE RELATIES TUSSEN IT-VARIABELEN VOORBEELDEN VAN WISKUNDIGE VERBANDEN TUSSEN IT-VARIABELEN (VERVOLG) rw tcd (d) = ------ d 3,564 (3) 1800 WAARIN: tcd = TOTAL COST OF DEVELOPMENT w = AANTAL WERKDAGEN IN EEN KALENDER JAAR r = DAGLOON d = ONTWIKKELTIJD wr mco (y) = ------ y3,205 (4) 750 y = GESCHATTE GERUIKSDUUR VAN HET SYSTEEM (LIFE-TIME) mco = MINIMALE KOSTEN VAN EXPOITATIE EN ONDRHOUD VAN HET SYSTEEM GEDURENDE Y
KWANTITATIEF IT-PORTFOLIO MANAGEMENTKOSTEN ALLOCATIE FUNCTIES VOOR DE FINANCIERING VAN DE ONTWIKKELINGSKOSTEN EN OPERATIONELE KOSTEN VAN EEN INFORMATIESYSTEEM IS INZICHT NODIG IN HET VERLOOP VAN DE KOSTEN GEDURENDE DE BOUWTIJD EN DE LEVENSDUUR VAN HET SYSTEEM NA OPLEVERING, VOORBEELD VAN KOSTENALLOCATIE FUNCTIES: TCDs (ds – is) CADs(t) = als is≤ t ≤ ds , en = 0 voor andere waarden van t ds – is MCO s (ds – is) CAOs(t) = als ds≤ rs ,, en = 0 voor andere waarden van t 12.y (ds – is) waarin: CADs(t) = ontwikkelkosten allocatie functie van systeem s CAOs(t) = operationele kosten allocatie functie van systeem s
KWANTITATIEF IT PORTFOLIO MANAGEMENTGRAFISCHE WEERGAVE KOSTENALLOCATIE FUNCTIES Verloop ontwikkelkosten en operationele kosten van een systeem s in de tijd: grafische weergave cad(t) en cao(t) 4 3 besteding 2 1 0 0 20 40 60 80 tijd in maanden
KWANTITATIEF IT PORTFOLIO MANAGEMENTVOORBEELD VAN KOSTENBEELDEN OP PORTFOLIO NIVEAU • CASE: • EEN PORTFOLIO BESTAAT UIT 75 PROJECTEN VAN VERSCHILLENDE OMVANG EN ONTWIKKELDUUR. • ENTERPRISE RESOURCE PLANNING (ERP) PROJECT • CUSTOMER RELATIONSHIP MANAGEMENT (CRM) PROJECT • EEN AANTAL e-BUSINESS PROJECTEN • ETC • MEN KAN BIJVOORBEELD DENKEN AAN HET RESULTAAT VAN EEN FUSIE TUSSEN TWEE ONDERNEMINGEN. • TIME TO MARKET EIS: • DE PROJECTEN MOETEN ALLE KORT NA DE FUSIE WORDEN UITGEVOERD • OM DE FUSIEVOORDELEN TE INCASSEREN • MANAGEMENT VRAAG: • DE BOARD WIL EEN BEELD HEBBEN VAN DE TOTALE KOSTEN VAN REALISATIE EN EXPLOITATIE VAN DE PORTFOLIO IN DE KOMENDE JAREN
KWANTITATIEF IT-PORTFOLIO MANAGEMENTKOSTENBEELD ONTWIKKELING EN EXPLOITATIE IT-PORTFOLIO Een plotselinge, omvangrijke investerings-impuls kan een operationele kosten vloedgolf (tsunami) veroorzaken cadM(t) Kosten caoM(T) Planningsperiode (in maanden) cadM(t) = verloop van de totale ontwikkelkosten van de portfolio in de tijd caoM(t) = verloop van de totale operationele kosten van de portfolio in de tijd
KWANTITATIEF IT PORTFOLIO MANAGEMENTKWANTIFICERING RISICO OP PROJECT MISLUKKING KANS VAN MISLUKKING ( Pf) VAN EEN IT- PROJECT INDIEN EEN SYSTEEM MOET WORDEN GEBOUWD VAN f FUNCTIE PUNTEN Pf (f) = 0,4805538 . (1 – exp (- 0,07488905. f 0,587375)) (5) WAAR exp (x) STAAT VOOR: e (X) OF, INDIEN MEN DE RELATIE :F 0,39 = d IN (5) SUBSTITUEERT, Pf (d) = 0,4805538 . (1 – exp (- 0,007488905. d1,506090)) (6)
KWANTITATIEF IT PORTFOLIO MANAGEMENTRISCO PROJECTMISLUKKING ALS FUNCTIE VAN ONTWIKKELDUUR GRAFISCHE WEERGAVE VAN DE KANS OP MISLUKKING VAN EEN IT-PROJECT ALS FUNCTIE VAN DE PROJECT-DUUR 0.4 chance 0.3 on 0.2 failure 0.1 0.0 0 20 40 60 80 duration time (months)
ONDERZOEK NAAR KWANTIFICERING VAN HET RISICOVAN BUDGETOVERSCHRIJDING BIJ ING • DE WISKUNDIGE RELATIE TUSSEN PROJECT OMVANG EN RISICO OP MISLUKKING VAN HET PROJECT IS BELANGRIJK OM TE KENNEN, MAAR GEEFT GEEN GERICHTE INFORMATIE VOOR RISICO-BEHEERSING • DAAROM IS ONDERZOEK GEDAAN NAAR DE FACTOREN DIE HET RISICO VAN NIET-HALEN VAN DE PROJECT DOELSTELLINGEN BEPALEN EN DE KWANTITATIEVE IMPACT VAN DIE FACTOREN OP HET RISICO • PRIORITEIT IS GEGEVEN AAN ONDERZOEK NAAR DE FACTOREN DIE HET RISICO BEPALEN VAN BUDGET-OVERSCHRIJDING
RISICO BEPALENDE FACTOREN DIE IN DE LITERATUUR WORDEN GENOEMD LIJST VAN SUCCESFACTOREN EN RISICOFACTOREN ONTLEEND AAN EEN ONDERZOEK DOOR DE STANDISH GROUP ONDER 500 BEDRIJVEN, IN 2001. SLECHTS DE TOP-TIEN ZIJN GENOEMD. 1.Executive Support (18 Points) 2.User Involvement (16 Points) 3.Experienced Project Manager (15 Points) 4.Clear Business Objectives (12 Points) 5.Minimised Scope (10 Points) 6.Standard Software Infrastructure (8 Points) 7.Firm Basic Requirements (6 Points) 8.Formal Methodology (6 Points) 9.Reliable Estimates (5) 0Other (5) BRON: STANDISH GROUP
RISICO BEPALENDE FACTOREN VOLGENS LITERATUUR ONDERZOEK • BRON: Journal of Management Information Systems, R. Schmidt e.a, (2001). • Lack of top management commitment to the project • Failure to gain user commitment • Misunderstanding the requirements • Lack of adequate user involvement • Lack of required knowledge/skills in the project personnel • Lack of frozen requirements • Changing scope/objectives • Introduction of new technology • Failure to manage end user expectations • Insufficient / inappropriate staffing • Conflict between user departments • Alle genoemde factoren zijn genoemd op hoog management niveau.Bij • ING onderzoek is gezocht naar operationele risicofactoren, waarvan data • beschikbaar is.
GESLECTEERDE RISICO BEPALENDE FACTOREN BIJ ING Karakteristieken van projecten en Business Units die van invloed zijn op het risico van budgetoverschrijding. Variable Definitie Waarde DDS ONTWIKKELSTAF ALS PERCENTAGE VAN TOTALE IT-STAF 0 - 1 CMM2 BU WEL OF NIET OP CMM-2 NIVEAU 1 or 0 CMM3 BU WEL OF NIET OP CMM-3 NIVEAU 1 or 0 RQF WEL OF GEEN HELDERE FINANCIELE RAPPORTAGE DOOR BU 1 or 0 good BS > 0 OMVANG BU ( MAAT: TOTALE IT KOSTEN PER JAAR PP PROJECT OMVANG (MAAT: GESCHATTE PROJECTDUUR) > 0
MEETNIVEAUS VAN DE GESLECTEERDE RISICO BEPALENDE FACTOREN Meet niveau Beschrijving Voorbeeld uit data set 1 Ratio . Beschikbaarbudget 2 Interval Budget afwijking (+/-) 3 Ordinaal Geheeltallig op een geordende schaal. CMM niveau 4 Nominaal Geheeltallig, ordening heeft geen betekenis Project categorie Klasse Kwantitatieve schaal met absoluut nulpunt Kwantitatieve schaal met willekeurig nulpunt
MOTIVERING SELECTIE LOGISTISCHE REGRESSIE MODEL HET LOGISTISCHE REGRESSIE MODEL IS MET SUCCES GEBRUIKT DOOR ANDERE DISCIPLINES BIJ DE VOORRSPELLING VAN DE KANS OP SUCCES OF MISLUKKING. BIJVOORBEELD IN DE MEDISCHE WETENSCHAP BIJ HET VOORSPELLEN VAN STERFTEKANSEN BIJ TE VROEG GEBOREN KINDEREN LOGISTISCHE REGRESSIE IS MET NAME EEN GESCHIKTE TECHNIEK OM DE KANS TE MODELLEREN OP DE UITKOMST 0 OF 1 VAN EEN STOCHASTISCHE BINAIRE VARIABLE IN EEN LOGISTISCH REGRESSIE MODEL KUNNEN VERLKARENDE VARIABELEN VAN VERSCHILLENDE MEETNIVEAUS (CONTINU, ORDINAAL, NOMINAAL) WORDEN OPGENOMEN.
LOGISTISCHE REGRESSIE FORMULE De onderstaande logistische regressievergelijking is geschat uit de beschikbare data bij ING van 165 IT projecten Pbo log ( ) = -2 + 4 DDS + CMM2 - 7 CMM3 - RFQgood + 0,01 BS – 2 PP 1 – Pbo waarin Pbo de kans aanduidt op budgetoverschrijding en DDS, CMM2, CMM3, RFQgood, BS en PP de eerder besproken geselecteerde risico bepalende factoren
INTERPRETATIE RESULTATEN OP INDIVIDUEEL PROJECT NIVEAU - DDS RQFgood CMM2 CMM3 PP BS + - o + Factor verlaagt het risico op budget overschrijding (positieve invloed) -Factor verhoogt het risico op budget overschrijding (negatieve invloed) O De invloed van de factor op het risico van budgetoverschrijding kan statistisch niet worden aangetoond + - klein groot Invloed op risico van budgetoverschrijding
KWANTIFICERING RISICO BUDGETOVERSCHRIJDING BIJ INGVOORSPEL EFFICIENTIE VAN HET LOGISTISCHE MODEL 100 84 75 53 50 % projecten met waargenomen budgetoverschrijding voorspeliing logistish model perfectevoorspelling 25 Willekeurige werkwijze 25 58 0 25 0 50 75 100 Projecten gesorteerd van hoog naar laag risico ( % )
CONCLUSIES • BIJ DE BESUITVORMING OVER IT-INVESTERINGEN EN DESINVESTERINGEN • VORMEN WISKUNDIGE EN STATISTISCHE MODELLEN EEN BELANGRIJKHULPMIDDEL BIJ HET NEMEN VAN RATIONELE BESLISSINGEN • 2. DE GROOTSTE BOTTLENECK BIJ HET TOEPASSEN VAN KWANTITATIEVE • METHODEN EN TECHNIEK IS MEESTAL HET ONTBREKEN VAN EEN • BETROUWBARE DATASET WAARIN VOLDOENDE HISTORIE IS OPGESLAGEN • 3. HET VOORDEEL VAN HET ONTWIKKELEN VAN MODELLEN OM INZICHT TE • KRIJGEN IN DE (KWANTITATIEVE) IMPACT VAN MANAGEMENT BESLISSINGEN • OVER IT OP DE BUSINESS IS DAN OOK TWEELEDIG: • - HET DWINGT TOT HET VERZAMELEN EN BIJHOUDEN VAN BETROUWBARE IT-DATA IN EIGEN HUIS (METEN IS WETEN!) • - HET LEIDT TOT EEN MEER RATIONELE BESLUITVORMING (OBJECTIEVER) OVER IT-INVESTERINGEN EN DESINVESTERINGEN