UI 기능 테스트 자동화툴 TestOne 소개

1. UI 기능 테스트 자동화툴TestOne 소개 2013. 11

2. 1. TestOne - 개요 UI 기반 웹 애플리케이션및 클라이언트 프로그램의 기능테스트를 간단히 레코딩, 기능 수행 및 결과 검증을 자동으로 수행하여 어플리케이션 및 서비스의 오류를 검출하고, 반복 테스트를 자동화하여 지속적으로 품질을 개선하도록 지원하는 솔루션입니다. 01 현재 기능테스트의 문제 02 기능 테스트 자동화 도입 반복 테스트를 수작업 수행하여 생산성 저하 및 오류 반복 잦은 변경 및 기능추가에 따른 반복(회기) 테스트 비용(인건비)증가 및 테스트 누락으로 인한 결함증가 다양한 국내외 UI 환경에 대한 자동테스트 환경 부족 인력, 비용, 시간 낭비 자동 테스트 수행으로 생산성 향상(비용절감) 정확한 테스트 수행으로 오류 검출 기회 증가 자동화된 오류관리로 어플리케이션 품질향상

3. 2. TestOne- 구성 TestOne솔루션은 테스트 레코더, 플레이어, 매니저로 구성되어 있습니다. TestOne구성도 Recorder Controller Manager(관리자) Recorder Player Manager • 테스트 프로그램에 대한 UI 액션레코딩 • 테스트 스크립트 생성 및 편집 • 테스트데이터 바인딩 • 테스트 실행(시나리오 구성 및 제어) • 테스트 모니터링 • 반복(리그레션)테스트 수행 • 예약실행 • Test 진척 및 결과 통합 관리용 Manager로 직관적인 프로젝트 • 관리, 유지 보수 가능.

4. 3. 주요 기능 및 특징 – 테스트 컴포넌트 인식 • UI 테스트 컴포넌트는 사용자의 입력을 받아 처리하는 일반적인 서비스의 화면으로 부터, 사용자의 입력을 받고 서버로 부터 처리 결과를 화면에 표현하는 과정을 레코더에 의해 기록(recording)한 후, 테스트데이터를 연계하여 자동으로 테스트케이스를 수행(replay)하고 결과를 검증(comparison)하는 시스템으로서, 사용자의 입력을 최소화 하기 위해 테스트 대상의 객체인식, 이미지 패턴 인식, 이미지 OCR 인식, 텍스트 인식 등의 다양한 방법을 사용하여 UI 테스트 자동화율을 향상시킵니다. • 타 제품의 scripting 방식과의 차별점 • UI 테스트 컴포넌트의 자동화 여부 중 중요한 부분은 결과의 검증으로 전문테스트케이스 중에 ‘DB사전이미지’와 ‘예상 값’ 데이터를 이용하여검증(comparison) 할 수 있으며, • 일반Text 뿐 아니라 이미지로 표현되는 텍스트나 3rd Party 커스텀 컨트롤 등에 표현되는 결과값을 OCR을 이용하여 검증(comparison)할 수 있어 다양한 환경에서 자동화가 가능합니다. • 플래시, 플렉스, X-Internet 등 다양한 RIA 환경에서도 자동화가 가능하며 필요한 경우 커스터마이징을 동반 할 수 있습니다. • 사용자의 편의를 위한 환경으로 Test Manager System과 같은 웹 서비스 형태의 통합이 가능합니다. 따라서, 단일한 유저 인터페이스와 통합인증 등 처리 프로세스를 통일 하므로써 사용자의 편의성과 테스트 생산성이 향상됩니다. • 사용자의 테스트 생산성 향상을 위하여 화면에서입력한 테스트 데이터의 재현 기능을 제공 하므로서 다양한 테스트 데이터 입력 생산성을 획기적으로 향상 시킵니다. • 화면 테스트 시에 발생된 오류의 재현 기능을 통하여 개발자가 정확하게 수정 및 조치 할 수 있게 함으로서 개발생산성 및 품질 향상에 기여합니다. UI 테스트 컴포넌트

5. 3. 주요 기능 및 특징- 스크립트자동생성/유지보수 ■스크립트 자동생성/유지보수 - 화면 레코딩 방식의 테스트 스크립트 자동생성 사용자가 UI 화면을 실제 사용 시나리오와 동일하게 수행하면 자동으로 테스트 스크립트가 생성됩니다. 완전한 스크립트 생성 자동화를 위해 화면의 객체인식, 이미지 패턴매칭, 이미지 OCR, 텍스트 인식 등의 다양한 방법을 사용하여 거의 모든 테스트케이스를 자동으로 생성합니다. 인식된 객체는 화면의 디자인 변경, 수정 시 일일이 재 레코딩 하지 않도록 하며, 객체에 할당된 비교 검증을 동일하게 수행하여 테스트 스크립트 작성의 생산성을 높여 줍니다. 테스트 스크립트 레코딩 엔진은 다양한 GUI 방식(웹, Win32 control, 플래시, X-Internet, ActiveX 등)을 인식하여 레코딩할 수 있습니다. 단말 화면 레코딩 방식의 테스트 케이스 생성 – 테스트 케이스 및 테스트 데이터 자동 생성 1 4 텍스트 개체인식 리스트객체 인식 2 이미지패턴 인식 3 이미지OCR 인식

6. 3. 주요 기능 및 특징- 자동/수동 선택 테스트 수행 테스트의 수행은 기록된 테스트 케이스(스크립트) 별로 일괄 자동 수행하거나수동으로 직접입력을 통해 수행할 수 있으며,필요에 따라 일부 데이터는 자동으로 입력하고 나머지 필드는 수동으로 입력하는 것과 같은 반자동 수행 기능을 제공합니다. 수행 중 필요한 위치에서 수행을 중단할 수 있는 브레이크 포인트(Break-Point)를 제공해자유롭게수행중단위치를지정할수 있습니다. 브레이크 포인트 삽입에 의한 자동 및 수동 입력 테스트 수행 1 2 3 자동 테스트 수행에 의한 입력 일시중단 체크포인트 삽입 4 수동 입력

7. 3. 주요 기능 및 특징- 테스트데이터 바인딩(1) 사용자의 화면입력 및 거래흐름에 따른 시나리오 레코딩에 의해 자동으로 테스트케이스를 생성하며, 생성된 테스트케이스의 검증을 위한 예상값 설정 등을 손쉽게 할 수 있습니다. 입력값의 생성은 시나리오 레코딩 시 기록된(captured) 데이터를 사용하거나 엑셀/텍스트 파일 등으로 부터 대량으로 입력/출력예상값을 지정 사용할 수 있습니다. 테스트 케이스 및 테스트 데이터 자동 생성 – 스크립트 테스트 케이스 생성 테스트케이스 검증 예상값 설정 테스트케이스 생성을 위한 시나리오 레코딩시작 테스트 스크립트 자동 생성 시나리오 레코딩 1 테스트스크립트 자동생성 2

8. 3. 주요 기능 및 특징- 테스트데이터 바인딩(2) 화면 테스트에서 사용되는 테스트 데이터는 전문처리에 의한 대량 테스트 데이터를 연동하여 실제 화면 테스트 데이터로 사용할 수 있습니다. 입력필드 스크립트 5 3 치환된 테스트 데이터 화면 테스트와 전문테스트의 테스트 데이터 연동 2 화면 입력 필드 테스트 대상 서비스 시스템 입력필드 테스트데이터 치환 1 4 <xml> <master> <field>UserID</field> <field>Passwd</field> …… </master> <data> <UserID>ID001</UserID> <UserID>ID002</UserID> …………………. </xml> 테스트데이터 Test Data Repository

9. 3. 주요 기능 및 특징- 스크립트 변경 유지보수 테스트 스크립트 수행(Action) 엔진은 인식된 개체(웹, 플레시, X-Internet, ActiveX 등)에 대해 구별하고, 개체에 대한 수행 메시지를 전달 수행하므로 디자인 변경(개체의 위치 변경, 사이즈 변경, 이름 변경) 등과 같은 수정 변경과 관계없이 개체를 인식합니다. 따라서, 단말화면 변경시 단순 디자인변경 등에는 테스트 케이스를 수정할 필요가 없으며, 추가되는 입력 컨트롤이나 검증값에 대해서만 수정하면 되므로 스크립트 수정을 최소화할 수 있습니다. 단말화면 변경시 테스트 스크립트 수정방안 개체 및 변수의 디자인 변경에 무관하게예상값, 결과 값과 연결하여 비교 디자인 변경에 따른 위치 변경

10. 3. 주요 기능 및 특징- 테스트결과 검증 자동으로 수행되는 UI 테스트는 수행결과를 Pass/Fail로 구분하여 결과를 산출하며, 스크립트 내의 비교검증 단위로 Pass/Fail로 구분하므로 해당 화면의 특정 필드 또는 위치를 정확히 식별할 수 있습니다. 또한, Fail된 테스트 케이스에 대한 결함내역이 화면(Fail 시스크린캡쳐)으로 기록되어 있어 상세 Fail 내역을 조회할 수 있습니다. 테스트 전후 화면 이미지 결함 식별(UI) 테스트 수행 결과 테스트 수행 결과 화면(결과값이 잘못된 결과화면 캡쳐)

11. 3. 주요 기능 및 특징- 검증 포인트 지정 사용자의 화면입력 및 거래흐름에 따른 시나리오 레코딩 시에 비교 검증을 위한 스크립트를 추가할 수 있으며, 생성된 테스트케이스의 비교 검증을 위한 예상값 설정, 비교선택 등을 손쉽게 할 수 있습니다. 실제로 수행된 테스트 결과에서 예상값 비교에 의해 최종 테스트결과의 Pass/Fail을 결정할 수 있습니다. 테스트케이스 결과 비교 시나리오 레코딩 시 결과비교 버튼으로 자동 삽입 1 테스트 수행후 예상값과 결과값 비교에 의한 Pass/Fail 결정 3 2 결과비교검증을 위한 예상값 설정

12. 3. 주요 기능 및 특징- 멀티 브라우저 & OS 지원 하나의 브라우저에서 레코딩된 스크립트를 다른 브라우저에서 테스트를 수행할 수 있습니다. 또한, 윈도우 뿐만 아니라, 맥 OS, 리눅스, 등 다양한 OS에서도 다양한 브라우저별로 테스트가 가능합니다. 따라서, 일일이 서로 다른 브라우저, OS에 대해 수행하는 수작업 테스트의 생산성 문제를 해결할 수 있습니다. 멀티 브라우저, OS 레코딩 & 플레이 IE 윈도우 브라우저에서 스크립트 레코딩 다른 브라우저에서 테스트 다른 OS에서 테스트

13. 3. 주요 기능 및 특징- 테스트 통합 관리 3. Test Case (테스트 케이스) 2. Script (스크립트) 1. Project (프로젝트) • Project 생성 / 삭제 • Project별 개별 관리 가능 • Script 생성 / 수정 가능 • Script 등록가능 • Script 검색가능 • Script를 기반으로 한 Case 제작 가능 • Project별 Test Case 관리 6. Result (결과) 4. Plan (계획) 5. Run (실행) • Test를 위한 계획 설계 가능 • Script, Case를 취합 후 계획 관리 가능 • 실시간 Script Test 진행 • Test 과정 중 생기는 Log 저장 • 수행 과정 모니터링 • 결과 분석 및 실패 Case 재 검토 • 레포트 생성

14. 4. 차별화 – 타사 경쟁력 비교 국내의 RIA UI 환경에서 완벽한 지원이 가능하며, 대량 데이터 바인딩, 테스트 스크립트 재사용에 의한 유지보수성 우수 13

15. 5. 도입효과 TestOne솔루션을 도입함으로 기존과 동일한 공수 대비 테스트 생산성 향상, 서비스 품질 개선, 표준화된 테스트 절차 적용, 원가절감이 가능 함. 테스트 생산성향상 서비스 품질개선 TestOne솔루션 적용으로 인한 단순 반복업무자동처리 효율적인 시간관리 가능 1. 누적된 Script DB를 활용한 Test의 견고함 증가 2. Application 의 완성도향상 TestOne 솔루션 규격화 된 Test Case로 Test의 누락률 감소 통합 테스트 시 오류에 대한 간편 재구현 가능 1. 테스트 공수 감소 2. 개발 유지 보수 시 원가 절감 표준화된 테스트절차 원가절감(개발, 운용) 14

16. 5. 주요 고객