2006. 4. 미래경영연구원

교육평가 및 효과 측정 사례 2006. 4. 미래경영연구원

교육평가 및 효과 측정이 왜 중요할까? SHRD Domain ORGANIZATIONAL LEARNING ORGANIZATIONAL CHANGE HRD to support Biz Strategy R HRD as a Shaper of Strategy ORGANIZATIONAL PERFORMANCE R

교육평가 및 효과 측정이 왜 중요할까? SHRD Characteristics • Integration with organizational missions and goals • Top management support • Environmental scanning • HRD plans and policies • Line manager commitment and involvement • Existence of complementary HRM activities • Expanded trainer role • Recognition of culture • Emphasis on evaluation ※Source: Garavan, 1991

교육평가 및 효과 측정의 영역 미래경영연구원 KPI KPI 가중치 Target Target Setting 근거 • PG 종료 3개월 후 360도 평가 Leader 육성체계 구축 리더십 P/G Quality 20 4.2 인당 직무교육시간 15 25 • ’05년 기준 (11시간) 및 가용자원을 고려하여 설정 Biz. 전문가 육성 정량평가 20 50 • ’06년 전사 Learning Account 목표 Learning Account 6시그마 활용성과 10 BB 및 GB인력육성 • BB 1명, GB 2명 6시그마 활동 내재화 T-DNA 전사확산 및 내재화 15 전구성원 변화 Mind set 제고를 위해 T-DNA 교육실시 가. 전 실/본부 단위 T-DNA Camp 실시 나. 팀 단위 Customized Program 실시 부문 SUPEX 추구 환경조성 상사평가 20 Global Biz 인력육성 체계 수립/실행 Global HR Infra 구축 Global Expansion에 따른 Global 인력육성 가. Global Biz 전문가 육성 체계 수립/운영 나. Customized Global HRD 체계 수립/운영

교육평가 및 효과 측정의 영역 Assessment Evaluation Organizational Assessment - Employee Opinion Survey R R Reaction R Learning R Team Assessment - Team Effectiveness Diagnosis R Behavior R Individual Assessment - Leadership, Job Competency etc. R Results

매우그렇지않다 그렇지않다 보통이다 그렇다 매우그렇다 의견: Team Effectiveness 제고방안 매우그렇지않다 그렇지않다 보통이다 그렇다 매우그렇다 의견: 교육평가 및 효과 측정 사례 1. Reaction 1.본프로그램에대해전반적으로만족하십니까? 2. 세부과목에대한의견을기술하여주시기바랍니다. 3. 향후TLP에서다루었으면하는주제가있으시면의견을기술해주시기바랍니다. 4. 기타의견및제안(본과정의유익한점, 개선해야할사항등) - 감사합니다.-

교육평가 및 효과 측정 사례 2. Behavioral Change ■ 개요 - 대상: LIP 연구원에 대해 360도 다면 평가 ⇒ 본인, 상사, 동료/부하 (3명) 등 총 5명이 연구원의 역량 향상도 평가 - 방법: LIP 참가 연구원의 리더십 역량 향상도를 평가하기 위해 LIP 과정 중 학습 내용을 중심으로 현장에서 행동의 변화 정도를 진단 - 기간: 1주 (과정 종료 3개월 이후) ■ 진단 항목 (5점 척도): 총 10개 문항으로 구성 나는 (그는) LIP를 받은 후에 아래 행동에 대해 업무 현장에서 변화된 모습을 보이고 있다. 1: 매우 부정, 2: 부정, 3: 변화가 없다, 4: 긍정, 5: 매우 긍정 . 영 역 진단 항목 Biz Perspective • 업무 추진 과정에서 회사의 환경 변화를 이해하기 위하여 지속적으로 학습을 한다. • 업무 추진 과정에서 의사결정에 필요한 Key Factor를 파악하여 분명하게 제시한다. • 업무 추진 과정에서 상대방을 설득하기 위해 구체적인 Evidence나 논리를 제시한다. • 의사결정 과정에서 해당 팀의 Resource를 감안하여 합리적인 선택을 한다. • 전사적이고 중장기적인 관점에서 항상 업무를 바라보려고 노력한다 . Leading People • 프리젠테이션 또는 회의에서 본인의 의견을 명확하고 설득력 있게 전달한다. • 구성원과 대화 시 상대방의 의견을 수용하고 존중한다. • 구성원의 성장을 촉진하기 위해 주기적으로 피드백을 한다. • 업무관련 미팅 시 논리적이고 실행력 있는 토론을 전개한다. • 회사의 변화 방향에 대해 구성원에게 알기 쉽게 설명해 준다.

Assessment 1. 기업 내 Assessment의 종류와 활용 • Assessment tool로는 ACP, Multi-source feedback, interview, achievement records 등이 있음 Advantage Limitations Possible Applications Tools • 높은 신뢰도 및 타당도 • 객관적임 • 실제 상황과 유사한 시뮬레이션 potential 평가 AssessmentCenter Program • 상대적으로 많은 시간 소요 • 비싼 개발 및 운영 비용 • 표준화의 어려움 • 훈련된 평가자 필요 • Corporate talent 선발 • Corporate talent / CEO 육성 • Middle / top management 승진 시 Multi-sourceFeedback • 다양한 소스를 통해 보다 높은 정확도 • 피평가자들의 결과에 대한 수용도가 상대적으로 높음 • 자료수집 프로세스에 시간 및 집중적인 노력 필요 • Confidentiality 이슈 • 소스에 따른 결과의 편차로 의사결정시 어려움 • Manager 성과 및 역량 평가 및 개발 • Corporate talent 역량 평가 및 개발 • 상대적으로 방법 사용 및 적용의 제약이 없음 • 과거 경력이나 관심 정보 확인에 효과적 • 개인적 대면을 통한 실제 반응 관찰 가능 • 면접자-피면접자 개인차에 따른 반응이 매우 다양하고 통제 불가능 • 고비용 • 노동 집약적임 • 훈련된 interviewer 필요 Competency based Interview • Corporate talent 선발 • Corporate talent/CEO 개발 계획 수립 기 AchievementRecords (고과) • 높은 신뢰도 및 타당도 • 객관적임 • 직무 중심 • Corporate talent 선발 시 Developmental Council에서 리뷰 • Interview나 개발 계획 인터뷰 시 기초자료로 활용 • 기록 format이나 관리시스템 다를 수 있음 • 평가에 적합한 format으로 전환하거나 통일해야 함 • 직접자료가 아닌 간접 자료임

Assessment 2. ACP의 역사와 정의 • 다양한 평가방식을 조합하여 역할 특성에 맞도록 다양한 모의과제(simulation exercise)를 제시하고, 그 수행 과정에서 Assessor가 리더로서의 역량과 적응 준비도를 구체적인 반응 행동으로 확인하여 향후의 성과수준을 예측하는 방법이다. ACP의 정의 • Henry Murray(1943) : 복합적인(중다) 소스의 정보가 복합적인 판단과정을 거쳐 복합적인 상을 구성함. 제2차 세계 대전 중 미국 전략 사무국(OSS)을 위해 AC를 개발, 형식화 • Bray와 Grant(1966) : AT&T연구, 다양한 측정 기법이 managerial potency를 측정하는데 있어서 유용한 정보를 제공한다고 제안 • 산업 장면에 사용된 이후 AC의 사용은 급격히 증가(1958. AT&T에서 처음 관리자 선발에 사용) ACP의 역사 ACP의 발전배경 • 경험적 연구에 기반 • 초점이 직무관련 행동(행동기술) • 직무요건 분석과 측정도구 방법의 특징이 타 방법에 비해 차별적

Assessment 2. ACP의 역사와 정의 • 21C의 급변하는 변화에 능동적으로 대처하고, 도전적인 경영성과를 달성하기 위해서는 리더의 확보와 육성이 필연적이다. 리더의 역량을 분석하고, 가장 효과적인 ACP 설계하며, 효율적 운영 프로세스를 구축함으로써 장기적인 성과 향상과 이익창출의 기반을 굳건히 하는 것이 ACP의 주 목적이다. • 초기 30년간 AC의 주된 용도 : 앞으로 부여할 직무나 역할에 필요한 요구를 가진 • 후보자를 확인 ACP의 목적 ACP의 활용 영역 • HR관련 의사결정 직무나 역할의 역량 프로파일을 과학적으로 평가할 수 있는 다양한 형태의 과제와 척도를 활용함으로써 객관적 근거를 제시한다. • 개인의 잠재력을 경험적으로 확인 지필검사나 일방적 제안이 아닌 다양한 활동, 집단역동, 실무적 이슈와 자료 등으로 구성된 모의과제를 통해 역량의 실 보유 여부를 확인한다. • 리더로서의 역량 육성 포인트 설정 현 강점 뿐 아니라 취약점이 명료하게 표출됨으로써 향후 육성을 위한 구체적 훈련 요구점과 자기재발 포커스를 공유하고, 자발적이고 효율적인 육성 노력과 투자가 가능하다. • 인력계획 및 조직 재설계의 기준 제시 개인뿐 아니라 조직의 다양한 개성과 장단점에 관한 정교한 자료를 바탕으로 중장기 인력 운용 및 조직재설계 전략을 수립할 수 있다.

Assessment 3. ACP의 구성

Assessment 3. ACP의 구성 10 Ingredient of ACP Job analysis (behaviors) Behavioral classification (dimensions) Links:behaviordimensionexercise Multiple assessments Simulations Multiple assessors Assessor training Recording behavior Reports Data integration by Deborah Rubb

Assessment 3. ACP의 구성 • ACP의 진행 단계 (예시) 1단계 • 실제 업무 상황을 모사한 exercise에 참가 2단계 • ACP assessor training을 이수한 평가 전문가가 행동을 관찰 및 기록 • Assessor는 assessee를 가능한 한번 이상 관찰 3단계 • Assessor는 개인별 관찰결과를 기록하고, evaluation 리포트 작성 4단계 • ACP 진행자는 assessor를 모아 “Consensus meeting”을 통해 자료를 통합하고, 평정 결과와 최종 의사결정을 보고함 5단계 • ACP 진행자나 assessor는 각 참가자에게 평가 결과에 대해 객관적인 자료를 근거로 개별적인 feedback

Assessment 3. ACP의 구성 • ACP의 측정 역량 및 Simulation 과제 종류 • 전략적 사고 • 의사결정 • 고객중심 • 동기유발 • 변화지향…. 측정역량 • In-basket • Analysis • Fact-finding • Interaction • Oral presentation • Leaderless group discussion • (assigned role; competitive) 과제종류

Assessment 3. ACP의 구성 • Assessor의 역할 • Observe • Record (behavioral observation notes) • Classify • Rate (behavioral checklists or behaviorally anchored rating scales) • Share (integration discussion) • Examples… • Assessor는 누가 되는가? • 해당 역량의 전문가 • HR/심리 전문가

Assessment 3. ACP의 구성 • Follow up & Feedback • Multi-source feedback • Self • Supervisor • Peers • DAC Assessors • Consistency Explanation • Narrative report • Action steps • Suggested readings

Assessment 4. ACP 활용 사례 • 진단 영역 진단영역 내용 특성 진단방법 • 실제 업무상황에서 나타나는 리더십 행동 • 현재의 Leadership 역량 및 성과와 직접적 관련 • 인사고과 • 다면평가 Real Leadership Behaviors Simulated Leadership Behaviors Leadership Style • 모의상황에서 나타나는 가상적 리더십 행동 • Leadership Potential과 관련 • ADP(Simulation) Core Personality Trait • 리더십 요구환경에서 나타나는 행동적 스타일 • 환경과의 상호작용에 따라서 가변적 • SJT (Situational Judgment Test) • 핵심 인성특성 • 근본적/내재적 특성 • 쉽게 변화하지 않음 • 인성검사

Assessment 4. ACP 활용 사례 • 다양한 영역별로 적합한 진단 Tool을 활용하여 자가진단과 타인진단을 실시 행동 및 성과 • 업무수행상 실제 발현되는 행동 진단 • 진단자 : 다면진단(본인,상사,동료,부하) • 장 점 : 실제 수행결과에 근거한 평가 • 단 점 : 관대화 경향 다면평가 인사고과 • 직무관련 모의상황에서 대처하는 행동 진단 • 진단자 : 외부 전문 Assessor • 장 점 : 상황적 요소 때문에 나타나지 않은 잠재적 역량을 진단 가능 • 단 점 : 고비용, 시간투여가 과다함 ADP** SJT* 인식 내면 • 직무관련 모의상황에서 선택하는 행동경향성 진단 • 진단자 : 다면진단(본인,상사,동료,부하) • 장 점 : 진단용이, 저비용 • 단 점 : 상황에 따라 모범적 행동의 순위가 가변적 인성검사 • 성격유형 등 근본적이고 내재적인 특성 진단 • 진단자 : 본인 • 장 점 : 진단용이, 생각이나 행동의 원인 파악 • 단 점 : 진단결과 해석에 전문가의 도움이 필요 자가진단 타인진단

Competency Breadth Leader Talent Manager Biz Impact General Talent Low High Professional Expert Talent Assessment 4. ACP 활용 사례 • Talent 유형 Types of Talent Leadership Program CEO Academy Executive AMP Team Manager LEP LIP ACP Manager & Assistance Manager 국내외 MBA JMF

Exercise & Situation Action 참가자 Orientation • Leader Competency : 7개 핵심역량 • Simulation : 5개 Simulation 과제 수행 ●Role-Play • ● Presentation • ● Interview 과제 배포 Assessee Assessee 참가자 과제 분석 (RP, Data Analysis, Reporting, ) Role-Play/Presentation Assessor Assessor Observer 결과 통합 및 역량 판정 Assessment 4. ACP 활용 사례 • ACP 구조

Assessment 4. ACP 활용 사례 실제 활용 • 핵심 인재의 역량 진단 및 Pooling 시 • 주요 Position 이동 시 • 핵심 인재의 역량강화를 위한 강/약점 도출 및 육성 계획 제시 꼭 챙길 사항 • 용도 : 평가용 or 개발용 • 과제 : 구체적/실질적으로 측정하고자 하는 역량이 무엇인가, 과제의 목적 분명히 • Assessor : Frame Of Reference가 매우 중요 • 결과통합 : 결과의 판정 못지 않게 Assessee의 반응 이면의 심리적 동기도 함께 • 분석할 수 있어야 함. • Follow up : ACP 이후 역량의 향상과정, 실질적 행동의 변화과정을 반드시 F/U해야 함. 교육담당의 역할 확대 • 전략과 연계된 과제 설계자 • 학습자에 대한 Learning Coach • - 역량의 강/약점에 대한 피드백 • - 역량향상을 위한 가이드 • 실질적인 학습의 전이관리자

신입사원 입문교육 P/G <’06년 인력육성 P/G 체계> 구분 Leadership Value Biz-specific Talent 일반 구성원 Leader Pool T-DNA 확산 신입/승진자 Core Global 임원 CEO Academy 신임 임원 교육 P/G I D P B I F 임원 W/S T-DNA Camp 부장 팀장 W/S TLP LEP Leadership 향상 P/G 신임 팀장 교육 P/G AMP 직무 전문 (고급) 해외파견 인력 Global Biz 상비군 LIP 차장 주재원 P/G Global 리더십 P/G 지역 전문가 P/G Global Biz역량 P/G 어학교육 P/G 부장후보자과정 신임 차장 교육 P/G 직무 전문 (중급) 과장 LAP 신임 과장 교육 P/G 직 무 공 통 대리 JMF 직무 전문 (초급) 사원 신입사원 OJT 프로그램 기존 P/G 신규 P/G 프로그램 주관 SK Academy FMI 부 문

2006. 4. 미래경영연구원