Ministerstwo Finansów 28 sierpnia 2014 r.

1. WDROŻENIE SYSTEMU OCEN ZEWNĘTRZNYCH AUDYTU WEWNĘTRZNEGOW FORMIE NIEZALEŻNEJ WALIDACJI W JEDNOSTKACH W DZIALE ADMINISTRACJI RZĄDOWEJ - SPRAWIEDLIWOŚĆ Justyna Marszałek Audytor wewnętrzny MF, QA Validator Samodzielne Stanowisko do spraw Audytu Wewnętrznego Ministerstwo Sprawiedliwości Marek Januszczyk Audytor wewnętrzny, CIA, CGAP, CISA, MF, QA Validator Sąd Okręgowy w Białymstoku Ministerstwo Finansów 28 sierpnia 2014 r.

2. Plan spotkania: • Charakterystyka resortu • Oceny zewnętrzne wg. Standardów IIA • Założenia koncepcji • Wdrożenie koncepcji • Praktyczny aspekt przeprowadzania walidacji

3. Audyt wewnętrzny w dziale sprawiedliwość prowadzony jest w: • Ministerstwie Sprawiedliwości; • Prokuraturze Generalnej; • Sądach apelacyjnych i okręgowych oraz w prokuraturach apelacyjnych i okręgowych – od 01.01.2010 decyzja MS; • Sądach rejonowych – po przekroczeniu progów • Centralnym Zarządzie Służby Więziennej • Biurze Emerytalnym Służby Więziennej • Krajowej Szkole Sądownictwa i Prokuratury

4. Struktura zatrudnienia audytorów wewnętrznych w resorcie sprawiedliwość • Stan na dzień 31.12.2013 r. • Wielkość komórek audytu: • W 9 jednostkach – dwuosobowe komórki audytu • W 114 jednostkach – jednoosobowe komórki audytu

5. 83 jednostki w resorcie przystąpiły do koncepcji przeprowadzania ocen zewnętrznych jakości audytu w formie niezależnej walidacji.

6. Dlaczego walidacja a nie pełna ocena? • Wielkość komórek audytu w jednostkach w dziale. • Jednolite podejście do oceny (identyczny zakres i sposób dokonania samooceny oraz jej walidacji) zapewni odpowiednią jakość i porównywalność wyników dokonywanych ocen pomiędzy jednostkami. • Znajomość organizacji jednostek w dziale. Audytorzy z resortu posiadają jednocześnie wiedzę nt. specyfiki jednostek resortu, co pozwala na ograniczenie czasochłonności przygotowań do przeglądu oraz ułatwia ocenę spełniania standardów w odniesieniu do działalności merytorycznej (ogranicza obawy prezesów sądów i środowiska sędziowskiego przed naruszeniem niezależności sądownictwa). • Bezpłatne dokonanie oceny zewnętrznej. Jedynym kosztem jest delegacja audytora do ocenianej jednostki. • Kwalifikacje audytorów, potwierdzone międzynarodowymi standardami.

7. Argumenty przeciw walidacji: • Audytorzy wewnętrzni resortu z reguły się znają, co wiąże się z ryzykiem braku obiektywizmu przy walidacji (stąd liczne rozwiązania wprowadzające ograniczenia tego ryzyka). • Mniej czasu przeznaczone na realizację zadań audytowych (co ma znaczenie zwłaszcza w jednostkach zatrudniających audytorów na część etatu).

8. Mając na uwadze wymagania dotyczące profesjonalizmu, obiektywizmu i niezależności, w opracowaniu koncepcji udział wzięli audytorzy posiadający odpowiednie kompetencje i doświadczenie. • Metodologia przeprowadzenia samooceny z niezależną walidacją w resorcie sprawiedliwość została oparta na metodologii oceny jakości audytu wewnętrznego zalecanej przez Międzynarodowe Stowarzyszenie Audytorów Wewnętrznych IIA.

9. Standard 1300 – Program zapewnienia i poprawy jakości • 1311 Oceny wewnętrzne (bieżące monitorowanie działalności AW; samoocena) • 1312 oceny zewnętrzne muszą być przeprowadzone co najmniej raz na pięć lat przez wykwalifikowaną, niezależną osobę lub zespół spoza organizacji. Zarządzający audytem wewnętrznym musi omówić z radą: • Potrzebę częstszych ocen zewnętrznych; • Kwalifikacje i niezależność osoby lub zespołu oceniającego, w tym wszelkie potencjalne konflikty interesów.

10. Wymogi standardów Rozwiązania koncepcji • Razna 5 lat (licząc od 30 czerwca 2006 r., kiedy to zaczęły obowiązywać Standardy IIA) tj. termin upłynął 30 czerwca 2011 r. przy czym dopiero zmiana Standardów, które obowiązują od 19 lutego 2009 wprowadziły zapis, że oceny zewnętrzne „muszą” być przeprowadzone (poprzednio było użyte słowo „powinny”), czyli okres 5 lat minął w lutym 2014 r. • Zakłada się, że ocena jakości AW we wszystkich jednostkach resortu zostanie przeprowadzona w ciągu 2 lat tj. w latach 2013-2014. • Standard 1312 - Czas przeprowadzenia ocen zewnętrznych: raz na 5 lat

11. Kwalifikacje osób przeprowadzających ocenę zewnętrzną: • Wykwalifikowana osoba lub zespół posiadają kompetencje w dwóch obszarach: praktyce audytu wewnętrznego i procesie oceny zewnętrznej. Kompetencje mogą wynikać z połączenia doświadczenia i wiedzy teoretycznej. • Doświadczenie zdobyte w organizacjach podobnych pod względem wielkości, złożoności, specyfiki lub sektora lub branży jest cenniejsze niż doświadczenie zdobyte w innych organizacjach. • Posiadać co najmniej 3 letnie doświadczenie na stanowisku kierowniczym (samodzielnym) w audycie wewnętrznym lub pokrewnym doradztwie. • Kwalifikacje osób przeprowadzających walidację w resorcie: • Udział w szkoleniu audytorów resortu: • z przeprowadzenia kompleksowej samooceny jakości audytu wewnętrznego zgodnie ze Standardami oraz wg jednolitego dla wszystkich jednostek resoru zakresu i sposobu. • z dokonywania walidacji samooceny zgodnie ze Standardami i Poradnikami oraz wg jednolitego dla wszystkich jednostek resoru zakresu i sposobu • Szkolenie 4 dniowe w IV kwartale 2012 r. przeprowadzone przez audytorów z resortu, którzy posiadają szkolenia specjalistyczne w tym zakresie potwierdzone dokumentem (np. szkolenia z oceny jakości audytu organizowane przez IIA lub równoważne) • Oceny są przeprowadzane przez dwuosobowe zespoły. • Przynajmniej jedna osoba z zespołu musi posiadać co najmniej trzy letnie doświadczenie na stanowisku kierowniczym w audycie.

12. Niezależność osoby lub zespołu oceniającego oznacza, ze nie występuje rzeczywisty lub domniemany konflikt interesów i osoby te nie są częścią ani nie pozostają pod kontrolą organizacji, której audyt wewnętrzny jest oceniany. • Zabezpieczenie niezależności Zespołu: • Zespoły 2-osobowe, wg zgłoszonych potrzeb jednostki ocenianej mogą być zespoły 3 osobowe. Zespoły powinny (mogą) się składać z audytorów z różnych grup jednostek (np. sąd i prokuratura) • Audytor z sądu okręgowego nie może dokonywać oceny jakości AW w nadrzędnym Sądzie Apelacyjnym (jako że kierownik jednostki w której zatrudniony jest audytor oceniający podlega kierownikowi jednostki ocenianej). • Audytor apelacyjny nie może dokonywać oceny w jednostce podległej na terenie apelacji. Natomiast nie ma przeszkód, by audytor z apelacji X przeprowadził ocenę w jednostce z apelacji Y • Każda relacja oceniającego z jednostką w której przeprowadzana jest ocena jakości AW, a mogąca rodzić rzeczywisty bądź domniemany konflikt interesów powinna zostać ujawniona i stanowić podstawę wyłączenia z zespołu oceniającego. • W celu potwierdzenia niezależności od jednostki ocenianej członkowie zespołu przeprowadzającego ocenę będą musieli złożyć stosowne oświadczenia.

13. Czas przeprowadzania walidacji: • Według wskazówek dokonywania ocen zewnętrznych IIA walidacja samooceny powinna zająć 2-3 dni • Rozwiązania koncepcji: • Ocena przeprowadzona będzie na podstawie materiałów przesłanych drogą elektroniczną oraz bezpośredniej wizyty walidatorów w jednostce. • W trakcie walidacji wyniki samooceny zostaną zweryfikowane wg próby losowej kluczowych aspektów realizacji audytu wewnętrznego oraz ankiet i wywiadów z kierownictwem. • Czas przeprowadzenia oceny ok. 2-4 dni.

14. Wyniki oceny wg. poradników: • Ostateczne sprawozdanie z samooceny z niezależną walidacją jest podpisywane przez zespół, który dokonał samooceny i przez wykwalifikowaną, niezależną zewnętrzną osobę (y) oceniającą. Kierownik komórki audytu przekazuje sprawozdanie kierownictwu. • Rozwiązania koncepcji: • Sprawozdanie (raport) sporządzone przez walidatora, w którym odnosi się do zawartości raportu audytora z samooceny, wskazuje potencjalne rozbieżności i propozycje programu poprawy jakości zależne od wyników oceny.

15. Zakres oceny wg. poradników i Podręcznika oceny jakości IIA: • Zawiera całe spektrum prac zapewniających i doradczych wykonywanych przez audyt wewnętrzny w tym opinie na temat zgodności audytu wewnętrznego z Definicją audytu wewnętrznego oraz Kodeksem etyki i Standardami. • Rozwiązania koncepcji: • Badanie w ramach samooceny pełnego zakresu zgodności działalności audytu z definicją audytu wewnętrznego, Kodeksem etyki oraz Standardami audytu wewnętrznego, z uwzględnieniem Praktycznych poradników stosowania Standardów. • Weryfikacja dokonana przy użyciu opracowanych jednolitych dla jednostek resortu kwestionariuszy, opartych na narzędziach oceny wymaganych przez IIA, w tym na Podręczniku procedur. • Okres objęty oceną powinien obejmować co najmniej roczny cykl audytu w rozumieniu zaplanowania działalności rocznej, jej wykonania oraz sprawozdania z działalności.

16. Definicja audytu • Wg. Standardów IIA: • Audyt wewnętrzny jest działalnością niezależną i obiektywną, której celem jest przysporzenie wartości i usprawnienie działalności operacyjnej organizacji. Polega na systematycznej i dokonywanej w uporządkowany sposób ocenie procesów: zarządzania ryzykiem, kontroli i ładu organizacyjnego i przyczynia się do poprawy ich działania. Pomaga organizacji osiągnąć cele dostarczając zapewnienia o skuteczności tych procesów, jak również poprzez doradztwo • Wg. ustawy o fin. publ.: • Art. 272. 1. Audyt wewnętrzny jest działalnością niezależną i obiektywną, której celem jest wspieranieministra kierującego działem lub kierownika jednostki w realizacji celów i zadań przez systematyczną ocenę kontroli zarządczej oraz czynności doradcze. • 2. Ocena, o której mowa w ust. 1, dotyczy w szczególności adekwatności, skuteczności i efektywności kontroli zarządczej w dziale administracji rządowej lub jednostce.

17. Ponowienie oceny • Standard 1312 określa, że zarządzający audytem musi omówić z kierownikiem jednostki potrzebę częstszych ocen (częściej niż raz na 5 lat). • Koncepcja zakłada: • Coroczne dokonywanie samooceny AW. • Walidacja samooceny co najmniej raz w ciągu 5 lat od poprzedniej oceny lub częściej. • Kolejne oceny zewnętrzne w formie samooceny z niezależną walidacją uzależnione będę od potrzeb, po dokonaniu oceny realizacji koncepcji.

18. Harmonogram działań • Marzec 2012 szkolenie AW z ocen zewnętrznych • Kwiecień 2012 – pismo do Komitetu Audytu z informacją o obowiązku przeprowadzenia ocen zewnętrznych • Kwiecień 2012 - Powołanie zespołu składającego się z 9 audytorów wewnętrznych resortu do opracowania szczegółów koncepcji oraz dokumentacji • Maj 2012 – opracowanie koncepcji • Wrzesień 2012 – opracowanie kwestionariuszy • Listopad 2012 – akceptacja koncepcji przez Komitet Audytu • Grudzień 2012 – szkolenie audytorów resortu • Luty 2013 – złożenie deklaracji przystąpienia do koncepcji (uczestnictwa) • Czerwiec 2013 – zatwierdzenie przez KA harmonogramu walidacji • Lipiec 2013 – grudzień 2014 – przeprowadzenie ocen zewnętrznych w formie niezależnej walidacji; bieżący monitoring wykonania harmonogramu (w tym aktualizacja harmonogramu) • I kw. 2015 – podsumowanie i przedstawienie wyników KA

19. PRAKTYCZNE ASPEKTY PRZEPROWADZANIA WALIDACJI

20. Samoocena • Kwestionariusze pomocnicze: • Kierownictwa (w sądach prezes sądu i dyrektor), • Klientów audytu (kierownicy komórek audytowanych w okresie objętym samooceną i walidacją), • Samooceny audytu w zakresie etyki (kwestionariusze wypełniają wszyscy audytorzy wraz z kierującym AW)

21. Samoocena • Kwestionariusz główny samooceny zgodności ze Standardami i z Kodeksem Etyki

22. Samoocena Skala samooceny • „Generalnie Zgodne” - oznacza, że audyt wewnętrzny w jednostce ma odpowiednią strukturę, zasady oraz funkcjonujące procedury jak również procesy, w których są one stosowane zgodnie ze Standardami pod wszystkimi istotnymi względami. • „Częściowo zgodne” – oznacza, że przy ocenie zauważono odchylenia od Standardów, ale braki te nie wykluczają, że audyt wewnętrzny wykonuje swoje obowiązki w sposób zadowalający. • „Niezgodne” – oznacza braki lub niedociągnięcia w działalności audytu wewnętrznego, które są na tyle istotne, aby poważnie zaszkodzić lub uniemożliwić działalność audytu wewnętrznego w wykonywaniu obowiązków odpowiednio w całości lub w istotnych obszarach.

23. Samoocena • Raport z samooceny zawiera: informacje ogólne, w tym okres objęty samooceną, opinię co do zgodności ze Standardami wg przyjętej skali, zakres i metodykę, spostrzeżenia i rekomendacje oraz załącznik z oceną poszczególnych stanadardów. • Przekazanie samooceny Kierownictwu następuje zgodnie z zasadami Procedur Zapewnienia i Poprawy Jakości AW obowiązujących w Jednostce lub przyjętej praktyki – najczęściej bezpośrednio po dokonaniu samooceny, w pierwszym kwartale po roku objętym samooceną.

24. Przygotowanie walidacji • Uzgodnienie dogodnego terminu walidacji, • Zaproszenie (pismo do kierownictwa jednostek zatrudniających walidatorów), • Niezwłoczne złożenie oświadczeń przez walidatorów po otrzymaniu zaproszenia, • Przesłanie walidatorom skanów części dokumentacji (m.in. raport samooceny, karta audytu, procedury audytu, plan audytu i sprawozdanie z jego wykonania).

25. Przygotowanie walidacji • Pomoc walidatorom w znalezieniu noclegu, • Przesłanie w wersji edytowalnej kwestionariusza samooceny wypełnionego przez ocenianego audytora z dołożoną kolumną na czynności walidatorów, • Przygotowanie listy dokumentów, o które Zespół poprosi audytora na miejscu, • zarezerwowanie odrębnej sali w jednostce, żeby móc przejrzeć swobodnie dokumenty.

26. Przygotowanie walidacji • Wstępny podział zadań pomiędzy członków zespołu walidującego, • Weryfikacja w kwestionariuszu tych standardów, które można ocenić na podstawie przesłanych skanów dokumentów, • Zapoznanie się z treścią kwestionariusza wypełnionego przez Kierownictwoprzed spotkaniem otwierającym.

27. Narada otwierająca • Pierwszy dzień wizyty na miejscu, z rana, • Audytor tylko przedstawia gości i nie uczestniczy w spotkaniu (ok. pół godziny), • Przedstawienie celu oceny audytu oraz podkreślenie niezależności i obiektywizmu Zespołu Walidującego, • Poinformowanie kierownictwa o przebiegu i organizacji czynności walidacyjnych (wizyty na miejscu 2-3 dni robocze).

28. Narada otwierająca • Omówienie celu przeprowadzenia walidacji: • ocena funkcji audytu (nie audytora), zgodności z definicją audytu, Standardami i Kodeksem Etyki, • podkreślenie wagi opinii kierownictwa w ocenie AW • Podkreślenie zachowania poufności przez walidatorów co do informacji uzyskanych w trakcie weryfikacji samooceny • Rozmowa z kierownictwem nt. roli audytu w jednostce, pozycji, zasad współpracy przy planowaniu rocznym i w pracy bieżącej, itp.

29. Czynności walidacyjne • Wizyta walidacyjna może odbywać się w trakcie dwóch oddzielnych spotkań: • pierwsza wizyta, w czasie której następuje spotkanie z kierownictwem oraz podstawowe czynności walidacyjne, • druga wizyta, oddzielona okresem ok. tygodnia, na podsumowanie walidacji i przekazanie raportu. • Dwie wizyty są wskazane w przypadku większej komórki audytu oraz ilości spostrzeżeń; ponadto daje to czas na spokojne przeanalizowanie wyników i sporządzenie raportu z walidacji oraz zapoznanie z jego projektem audytora ocenianego.

30. Czynności walidacyjne • Ustalenie podziału pracy – omówienie wspólnie tylko kwestii wątpliwych, • Bieżące wypełnianie kwestionariusza walidacji (np. poprzez wpisywanie sygnatury dokumentu który potwierdza spełnienie wymaganego kryterium), • Ocena warunków pracy komórki audytu, • Szukamy potwierdzenia zgodności z kluczowymi kryteriami, a nie jakichkolwiek niezgodności ze standardami (poprzez weryfikację dowodów na jakich oparto samoocenę, w razie potrzeby sięgając do dokumentacji i źródeł dodatkowych), • Raport oraz cała dokumentacja z walidacji zostaje w jednostce ocenianej (nie kserujemy dokumentów także w trakcie walidacji),

31. Podsumowanie – spotkanie zamykające • Udział bierze kierownictwo i szef audytu, • Na spotkaniu zamykającym podkreślamy rolę kierownictwa jednostki dla skutecznego funkcjonowania audytu oraz dziękujemy za współpracę (kierownictwu i audytorom), • Omawiamy spostrzeżenia i rekomendacje, podkreślając zauważone dobre praktyki (Progress Through Sharing – dodatkowa korzyść walidacji), • Wskazujemy na potencjalne możliwości wykorzystania funkcji audytu dla wsparcia kierownictwa w zarządzaniu jednostką.

32. Podsumowanie – raport z walidacji • Sporządzamy i pozostawiamy w jednostceOświadczenie niezależnego walidatora po dokonaniu weryfikacji samooceny audytu wewnętrznego, • Raport z walidacji w 2 egz. (kierownictwo i audyt) zostaje w jednostce ocenianej, • Raport z walidacji zawiera m.in. odniesienie do wyników samooceny, spostrzeżenia i rekomendacje oraz opinię nt. zgodności ze Standardami.

33. Korzyści z realizacji koncepcji: • Wypełnienie wymogów przeprowadzenia oceny zewnętrznej w jednostkach resortu; • Wymiana doświadczeń; • Promocja audytu; • Dodatkowa motywacja dla audytorów do przeglądania treści standardów i ich interpretacji oraz praktycznych poradników; • Rekomendacje i spostrzeżenia walidatorów dotyczą działania funkcji audytu w organizacji tj. zarówno zależnych od kierującego audytem jak i od kierownictwa jednostki.

34. Dziękujemy za uwagę! Justyna Marszałek tel. 22 23 90 527, e-mail: marszalek@ms.gov.pl Marek Januszczyk tel. 085 7459-203, e-mail: audytor@bialystok.so.gov.pl