กิจกรรมการตรวจวัดคุณภาพข้อมูลรายงาน (RDQA)

1. ข้อค้นพบจากการตรวจวัดคุณภาพข้อมูลรายงานในโปรแกรม RIHIS(Routine Data Quality Assessment: RDQA)และการรายงานผลการดำเนินงานตัวชี้วัดด้านบริการ VCT, STI ที่เป็นมิตร ในกลุ่ม FSW, MSM, MW, IDUสำนักงานบริหารโครงการกองทุนโลก (PR-DDC)

2. 1. รูปแบบการจัดบริการ VCT, STI ของโรงพยาบาล โดยเฉพาะในกลุ่ม KAPs 2. ทำความชัดเจนตัวชี้วัด VCT, STI - นิยามกลุ่มเป้าหมาย FSW, MSM, IDU, MW - วิธีการวัดผล และเงื่อนไขการนับ 3. ทำความชัดเจนแบบฟอร์มรวบรวมข้อมูล - แบบบันทึกการให้บริการ VCT, STI ที่มีอยู่ของโรงพยาบาล - โปรแกรมบันทึกข้อมูลผู้รับบริการ VCT, STI ที่มีอยู่ของโรงพยาบาล 4. ประเด็นค้นพบจากการใช้โปรแกรม RIHIS ในการบันทึกข้อมูล ตรวจสอบ รายงานข้อมูล 5. หารือในการเชื่อมโยงโปรแกรมบันทึกข้อมูลฯ ที่มีอยู่ของโรงพยาบาล 6. การตรวจวัดคุณภาพข้อมูลรายงานในเชิงปริมาณ (RDQA) การให้บริการ VCT, STI ในรูปแบบเอกสาร/ หลักฐาน และโปรแกรม พร้อมทั้งบันทึกรายละเอียดและสาเหตุที่เกิดข้อผิดพลาด 7. สรุปผลการตรวจสอบข้อมูลในเชิงปริมาณ ด้านความมีอยู่จริง ความถูกต้อง ความครบถ้วนสมบูรณ์ ความทันต่อเวลา ปรึกษาหารือในประเด็นที่ตรวจพบ และเสนอแนะแนวทางเพื่อปรับปรุงคุณภาพข้อมูลในเชิงปริมาณ กิจกรรมการตรวจวัดคุณภาพข้อมูลรายงาน (RDQA)

3. - ด้านความมีอยู่จริงของเอกสารหลักฐาน โดยสอบทานความมีอยู่จริงและความสอดคล้องต้องกันของเอกสารหลักฐาน (แบบบันทึกการให้บริการ,Logbook, OPD card, Lab. Record) • - ด้านความถูกต้องของการรายงาน โดยตรวจนับจากเอกสารหลักฐานอีกครั้ง ให้สอดคล้องตรงตามนิยามกลุ่มเป้าหมาย และเงื่อนไขการวัดผล • - ด้านความครบถ้วนสมบูรณ์ของตัวแปรที่สำคัญ โดยสอบทานจากเอกสารหลักฐานว่ามีตัวแปรที่สำคัญ เช่น แยกกลุ่มเป้าหมายหลัก (FSW, MSM, IDU, MW) กลุ่มเป้าหมายย่อย (FSW: Venue, Non-venue, MSM: MSM, MSW, TG) รายเก่ารายใหม่ • - ด้านความทันต่อเวลารอบการรายงานไตรมาสโดยสอบทานจากเอกสารหลักฐานว่า วันเดือนปีที่จัดกิจกรรมตรงตามรอบการรายงานไตรมาสหรือไม่ มีการรายงานที่ล่าช้ากว่ารอบการรายงาน • ไตรมาสหรือไม่ 6. การตรวจวัดคุณภาพข้อมูลรายงานในเชิงปริมาณ (RDQA) การให้บริการ VCT, STI ในรูปแบบเอกสาร/ หลักฐาน และโปรแกรม

4. 1. ด้านสอบทานความมีอยู่จริงของเอกสาร/หลักฐาน (สอบทานความมีอยู่จริงและความสอดคล้องกัน) • - ผลการดำเนินงานที่หน่วยงาน SSR/IA สรุปส่งทางSR NAMc • - ตรวจนับจากเอกสารที่มีอยู่ (ข้อมูลดิบ เช่น Logbook OPD card) • สิ่งที่รายงานจะน้อยกว่าความมีอยู่จริง • 2. ด้านความถูกต้องของข้อมูล (ตรงตามนิยามกลุ่มเป้าหมาย เงื่อนไขการวัดผล) • 3. ด้านความครบถ้วนสมบูรณ์ของตัวแปรที่สำคัญ (การบันทึกข้อมูลครบถ้วนตามตัวที่สำคัญ) • 4. ด้านความทันต่อเวลารอบการรายงานไตรมาส (ทันตามรอบระยะเวลาที่กำหนด) 7. สรุปผลการตรวจสอบคุณภาพข้อมูลในเชิงปริมาณ (RDQA): VCT, STIประเด็นที่ตรวจพบ เสนอแนะแนวทางเพื่อปรับปรุงคุณภาพข้อมูลในเชิงปริมาณ

5. ผลการตรวจวัดคุณภาพข้อมูลรายงานโดย กองทุนโลก

6. Indicator 2.2.1 Number of FSW, MSM and prisoners received an HIV test and test result in the last 12 months North

7. OSDV results – Indicator 2.1.2 VCT

8. Observations on OSDV results of Indicator 2.2.1 at SDP level

9. At Aggregation level *Chiang Mai PHO delayed submission of report for Q7, data not included in the report to GF, only 14 cases from CMU was reported Verified/Reported results: Q7= 333/14; Q8 =766 /766

10. At Higher Aggregation Level

11. Reported Results of Indicator 2.2.1 VCT NAMc informed that 217 out of 548 (40%) of health facilities submitted reports so far Q8: MSM – 68 facilities in 31 provinces; FSW 52 facilities in 37 provinces (half from RIHIS)

12. OSDV results – Indicator 2.1.2 • Weighted error at SDP Level = 34.8% • Weighted error at Intermediate Aggregation Level = 29.0% • Weighted Error Higher Aggregation Level = 0.0% • Average Weighted Error for Aggregation Level = 14.5% • Weighted error at Central level = 0% • Average weighted error at all level = 7.3% • Overall Average Absolute Weighted Error Margin on reported Indicator result (34.8 + 7.3)/2 = 21.0% • Overall % Average Reports availability for the Indicator = 70% Rating of Indicator = Major Data Quality Issue

13. Assessment of Reporting Performance of MIS

14. M&E structure, functions and capabilities • Since 2010, the “Routine Integrated HIV Information System – RIHIS” has been developed by NAMc to use for recording and reporting delivery of treatment and care services, with aggregated data by sub-group of population, i.e., KAPs. • The development of RIHIS system is still not complete. Only about 40% of health facilities reported data on VCT and STI in quarter 8. This resulted in under-reporting of data. • As the OSDV showed high percentage of errors comparing the primary records/aggregation records with the reported number submitted to PR, as well as only 40% of sites submitted the report, the correct number of cases received HIV test and test result is difficult to be calculated

15. Some health facilities refused to use this RIHIS system. Some developed their own system e.g. Chiang Rai RIHIS which is being used in some other northern provinces as well. •  Weakness was seen at government facilities visited by LFA team where data for Indicator 2.2.1 were collected (some by hand-tally) and report submitted without reviewing prior to submission to the next aggregation level. • For Indicator 2.2.1 (VCT), no regular meetings done at the sites visited by LFA.

16. Standard forms and tools • Different hospitals/health facilities are using different forms and tools to collect data on VCT services for MARPs. Some are using log-book with hand-tally, some are using patient card and record data into excel sheets. Some are using paper-based to report while others are using computerized on-line database (RIHIS), or own ,system e.g. Chiang Rai RIHIS. • At hospitals, VCT services are integrated into the routine activities of the hospitals. • Reporting forms for Indicator 2.2.1 are in different format and are not always properly stored for auditing purposes.

17. PR, SR-Respond: RIHIS Program

18. LFA Recommend and PR, SR-Respond: RIHIS • Cause: การพัฒนาศักยภาพผู้ปฏิบัติงานเพื่อให้สามารถบันทึกข้อมูล ตรวจสอบข้อมูล และรายงานข้อมูล โดยใช้ระบบ RIHIS นั้น ไม่ได้ดำเนินการในทุกระดับ แต่จะพัฒนาศักยภาพให้ผู้ปฏิบัติงานในระดับ สคร. และสสจ. เพื่อให้ไปถ่ายทอดต่อกับผู้ปฏิบัติงานในระดับโรงพยาบาล ซึ่งการถ่ายทอดต่อนั้นขึ้นอยู่กับความสามารถ ความเข้มแข็ง และการเห็นประโยชน์ของการใช้ระบบ RIHIS ของ สคร. และสสจ. ซึ่งบางจังหวัดจะจัดอบรมพัฒนาศักยภาพที่ระดับ สคร. หรือ สสจ. ซึ่งผู้ปฏิบัติงานของโรงพยาบาลไม่ได้เข้าร่วมทุกโรงพยาบาล หรืออาจจะเป็นตัวแทนมาเข้าร่วม และไม่ได้ถ่ายทอดต่อให้ผู้ปฏิบัติงานจริงของโรงพยาบาล หรือบางจังหวัดจะใช้วิธีการนิเทศติดตามในระดับโรงพยาบาล ซึ่งทำให้ผู้ปฏิบัติงานจริงมีความรู้ความเข้าใจระบบ RIHIS • Cause: การบันทึกข้อมูล RIHIS ค่อนข้างใช้เวลา เนื่องจากต้องบันทึกข้อมูลใหม่ทั้งหมด จากแบบบันทึกการให้บริการ VCT, STI หรือ Logbook, OPD Card ในปัจจุบัน ระบบ RIHIS ยังไม่สามารถเชื่อมต่อกับระบบที่จัดเก็บอยู่แล้วในระดับโรงพยาบาลได้ เช่น HosXP, HosOSหรือ NAP ซึ่งบางโรงพยาบาล มีการนำข้อมูลจากระบบเดิมที่จัดเก็บอยู่แล้ว มาเพิ่มตัวแปร เช่น กลุ่มเป้าหมาย KAPs และเขียนโปรแกรมเพิ่มเติมเพื่อให้ออกรายงานได้เหมือนกับระบบ RIHIS

19. PR, SR-Response: RIHIS • PR & NAMC-Respond: ขอความร่วมมือผู้ปฏิบัติงานระดับ สคร. สสจ. ทำหน้าที่หนุนเสริมให้เจ้าหน้าที่ระดับโรงพยาบาล มีความรู้ความเข้าใจในการบันทึกข้อมูล ตรวจสอบ และรายงานข้อมูลโดยระบบ RIHIS หรือจัดอบรมฟื้นฟู เพื่อพัฒนาศักยภาพเจ้าหน้าที่ระดับโรงพยาบาล ในการใช้ระบบ RIHIS จัดเก็บข้อมูลการให้บริการ VCT, STI • PR & NAMC-Respond: วางแผนในการเชื่อมโยงการรายงานตามรูปแบบ RIHIS กับระบบข้อมูลที่จัดเก็บอยู่แล้วในระดับโรงพยาบาล เช่น Hos XP, Hos OS หรือ NAP โดยเพิ่มตัวแปรที่สำคัญให้สอดคล้องกับระบบ RIHIS เช่น ตัวแปรกลุ่มเป้าหมายหลัก FSW, MSM และตัวแปรกลุ่มเป้าหมายย่อย (MSM, MSW, TG) • NAMC-Respond: วางแผนเชื่อมโยงข้อมูลการจัดบริการ VCT เข้าสู่ระบบรายงานปกติของสปสช. คือ NAP Program ภายในปี 2558 โดยเพิ่มตัวแปรที่สำคัญ และให้ออกรายงานตามรูปแบบ RIHIS ซึ่งเรียกว่า NAP Plus Program • NAMC-Respond: วางแผนเชื่อมโยงข้อมูลการจัดบริการ STI เข้าสู่ระบบรายงานของสำนักโรคเอดส์ฯ กลุ่มงานโรคติดต่อทางเพศสัมพันธ์ คือโปรแกรม Mini STI Record และขยายให้ครอบคลุมจังหวัดที่มีการจัดบริการ STI

20. PR, SR-Response: RIHIS • PR & NAMC-Respond: กำหนดการติดตามทวงถามข้อมูลรายงานจากระดับโรงพยาบาลอย่างสม่ำเสมอ โดยกำหนดวันที่ 25 ของเดือนสุดท้ายก่อนสิ้นไตรมาส เพื่อสอบถามถึงปัญหาและกระตุ้นเตือนในการบันทึกข้อมูลและการรายงานข้อมูล โดยให้รายงานไม่เกินวันที่ 5 ของเดือนถัดไปหลังสิ้นไตรมาส • PR & NAMC-Respond: หนุนเสริมให้ทางโรงพยาบาลมีการตรวจวัดคุณภาพข้อมูลด้วยตนเอง (RDQA) ก่อนรายงานเข้าสู่ระบบ RIHIS และจัดเก็บข้อมูลที่บันทึกและรายงานแล้วให้เป็นระบบ เพื่อเป็นหลักฐานในการตรวจสอบคุณภาพข้อมูลรายงาน โดย SR: NAMC, SSR: สสจ. & สคร. และ PR-DDC • PR & NAMC-Respond: วางแผนในการลงติดตามพื้นที่ พร้อมทั้งตรวจวัดคุณภาพข้อมูลรายงาน อย่างสม่ำเสมอ ในทุกระดับ โดย SSR: สสจ. & สคร. ควรติดตามฯ ในทุกโรงพยาบาลที่มีการจัดบริการ VCT, STI ในกลุ่ม KAPs ปีละ 1 ครั้ง และในระดับ SR: NAMC & PR-DDC ควรลงพื้นที่ติดตามฯ ในระดับโรงพยาบาล โดยสุ่มจังหวัดละ 3-4 โรงพยาบาล อย่างน้อยปีละ 1 ครั้ง

21. ข้อค้นพบโปรแกรม RIHIS • RIHIS เป็นโปรแกรมที่บันทึกข้อมูลในระดับโรงพยาบาลซึ่งส่วนมากผู้บันทึกข้อมูล เป็นเจ้าหน้าที่ของคลินิคที่ดำเนินงานเกี่ยวกับ VCT และ STI • การรายงานข้อมูลจากระดับพื้นที่ดำเนินงานมายังฐานข้อมูลกลาง น้อยกว่าเป้าหมายที่ตั้งไว้ เนื่องด้วยภาระงานในโรงพยาบาลและโปรแกรมฐานข้อมูลที่หลากหลาย • โปรแกรมจากส่วนกลางที่ใช้ในการรวบรวมข้อมูล มีแบบฟอร์มที่แตกต่างกันออกไป และในแต่ละโปรแกรม ต้องบันทึกข้อมูลใหม่ เช่น ผู้มารับบริการ VCT 1 รายอาจต้องบันทึกข้อมูลในโปรแกรมต่างๆ 3-4 โปรแกรม ซึ่งเป็นการทำงานที่ซ้ำซ้อนเพิ่มภาระงาน

22. ข้อค้นพบโปรแกรม RIHIS • การดำเนินงานในระดับพื้นที่จะไม่มีเจ้าหน้าที่ที่รับผิดชอบงานด้านข้อมูลโดยตรง ส่วนมากจะเป็นพยาบาลวิชาชีพทำหน้าที่ในการบันทึกข้อมูล ซึ่งอาจจะทำให้การรายงานล่าช้าหรือมีการดำเนินงานในพื้นที่แต่ไม่ได้รายงานผลการดำเนินงานจริงเข้าสู่ระบบโปรแกรม RIHIS • โปรแกรมฐานข้อมูลที่โรงพยาบาลต้องบันทึกมีจำนวนมาก • ข้อมูลที่โปรแกรม RIHIS ต้องการนั้นมีการบันทึกข้อมูลในระบบปกติของโรงพยาบาล เช่นโปรแกรม HOSxP,HOS OS, MIT-NET เป็นต้น เพียงต้องบันทึกตัวแปรเพิ่มบางตัวแปร เช่น กลุ่มเป้าหมาย FSW, MSM, MW, IDU กลุ่มเป้าหมายย่อย

23. Flow การบันทึกข้อมูลในโรงพยาบาล

24. ข้อเสนอแนะทางเทคนิคในการเชื่อมโยงโปรแกรม RIHIS เข้าสู่ระบบปกติ • ควรมีการลดขั้นตอนในการบันทึกข้อมูลเข้าสู่ระบบโดยการเชื่อมประสานข้อมูลกับระบบปกติของโรงพยาบาลเพื่อไม่ให้เกิดความรู้สึกว่าเป็นการเพิ่มภาระงาน เช่น การเพิ่ม Module ชุดข้อมูลที่ต้องการเข้าไปในโปรแกรม HOSxP ซึ่งเป็นโปรแกรมที่พื้นที่ใช้งานอยู่แล้วและต้องส่งข้อมูลเข้าสู่ระบบส่วนกลางเป็นประจำ และผู้ดำเนินงานในพื้นที่มีความคุ้นชินกับโปรแกรมอยู่แล้วไม่จำเป็นต้องปรับพื้นฐานความรู้ในการใช้งานโปรแกรมใหม่ทั้งหมด • ระบบการส่งต่อรายงานของโปรแกรม HOSxPจะส่งไปยังฐานข้อมูล 43 แฟ้มของสำนักงานนโยบายและยุทธศาสตร์ ซึ่งสามารถดึงเฉพาะข้อมูลของโปรแกรม RIHIS จากฐานข้อมูล 43 แฟ้มเข้าสู่ฐานข้อมูลโปรแกรม RIHIS เพื่อประมวลผลออกรายงานเป็นของ RIHIS ได้

25. ข้อเสนอแนะ

26. ข้อเสนอแนะทางเทคนิคในการเชื่อมโยงโปรแกรม RIHIS เข้าสู่ระบบปกติ • โดยหลักการของโปรแกรม HOSxPสามารถเพิ่ม Module และทำการอัพเดพโปรแกรมเป็น New Version และอัพเดทโปรแกรมที่โรงพยาบาลได้เลย โดยไม่ต้องทำการ Uninstall เวอร์ชั่นเก่าและ Install เวอร์ชั่นใหม่ • ความเป็นไปได้ในการได้ข้อมูลรายงานที่เพิ่มขึ้น โรงพยาบาลที่ส่งข้อมูลรายงานให้กับโปรแกรม RIHIS จะมากขึ้นเพราะเป็นการดึงข้อมูลเหมือนเดิม แต่เพิ่ม ตัวแปรที่โปรแกรม RIHIS ต้องการ เช่น กลุ่มเป้าหมาย FSW MSM MW เป็นต้น ซึ่งในปัจจุบันโปรแกรม HOSxPยังไม่สามารถระบุกลุ่มเป้าหมายของโปรแกรม RIHIS ได้แต่ข้อมูลพื้นฐานเกือบทั้งหมด น่าจะมีครบถ้วน