IBM Managed File Transfer Solution WebSphere MQ FTE(File Transfer Edition) 소개

1. IBM Managed File Transfer SolutionWebSphere MQ FTE(File Transfer Edition) 소개 박대성 IBM 웹스피어 사업부 2009년 6월 5일

2. Produces files as output Processes files in batches Consumes files as input 대부분의 기업 정보가 파일 형태로 이동되고 있음을 아십니까? 대부분의 기업 정보는 파일 형태로 이동됨 • - Human-readable 또는 Program-readable 형태로 이동 - 기업 정보의 크기 및 양은 지속적으로 증가하고 있음 오늘날 비즈니스적으로 중요한 많은 업무들이 파일 기반으로 처리되고 있음

3. FTP 또는 home-grown S/W만을 사용하며, 기업 통합 환경이 비구성된 경우 100% 50% FTP 및 home-grownS/W를 이용하여 기업 통합 환경을 구성한 경우 FTP 및 home-grown S/W를 사용하지 않고 기업 통합 환경을 구성한 경우 0% Largest 500 Next 10,000 Next 250,000 출처: “Enterprise Integration Challenge”, Software Strategies, 2006 FTP에 의존적인 기업 환경 FTP = File Transfer Protocol “Our staggering and somewhat shocking research finding is thatcustom-built, in-house, hard-coded integration solutions(the majority using free FTP software)are much themost widely-used approach.” Software Strategies FTP 공짜라서 사랑해요 >_<

4. Integration S/W를 통해 IT 통합 비용 및 유지보수 비용을 2~4배 줄일 수 있습니다!! FTP 기반의 기술은 결코 저렴하지 않습니다! Handwritten Code Cost Handwritten extensions to FTP Building & Maintaining “ Custom-built, in-house, hard-coded integration solutions… …often take 2 to 4 times the time and effort to build …require a similar multiple of ongoing maintenance and support effort... … IBM application integration costs 2-4 times less Software Strategies “Custom-built, in-house, hard-coded integration solutions… …often take 2 to 4 times the time and effort to build …require a similar multiple of ongoing maintenance and support effort... … IBM application integration costs 2-4 times less” Software Strategies All Custom Development Basic/Free FTP Technology + Custom Development “Value Added FTP” Solutions + Custom Development Integration Software Enterprise Application Middleware ” Size of Project Number of Applications Integrated www.ibm.com/webspheremq에서 조사 결과를 직접 보실 수 있습니다. 출처: “Enterprise Integration Challenge”, Software Strategies, 2007

5. FTP 기반 파일 전송의 단점 제한적 보안성 취약한 신뢰성 • ID/Password가 plain text 형태로 전송됨 • 인증 기능 결여 • 암호화 기능 결여 • 취약한 전송 보장 기능 • 파일 전송 (배치) 작업들이 예외 상황으로 인해 취소됐음을 모를 수 있음 • 파일 전송 후 파일이 깨질 수 있음(ASCII/Binary 전송) 추적 기능 결여 취약한 모니터링 기능 부족한 유연성 • 파일 전송 구조를 변경할 때 하드코딩된 부분을 수정해야 할 경우가 많아 변경이 어려움 • 모든 자원이 유효해야만 전송 가능 • 다중 파일 전송이 지원되지 않는 경우도 있음 • 우선순위 설정, 압축 기능 등이 지원되지 않음 • 원격에서 모니터링할 수 없음 • 원격에서 제어할 수 없음 • 로깅 기능이 없거나, 한곳에서 관리되지 않음 • 파일이 여러 시스템을 거쳐 이동될 때, 이동 루트를 추적하기 어려움

6. 귀사의 고민을 듣고 싶습니다 • 파일 전송을 원격에서 중앙통제식으로 감시/관리하고 싶으십니까? • 전송 중인 데이터가 소실되거나 깨져버릴까 봐 걱정하십니까? • 네트워크나 시스템에 문제가 발생하더라도, 문제가 해결되었을 때 사람의 개입 없이 안전하게 파일을 전송하고 싶으십니까? • 중요한 데이터가 외부로 유출될까 두려우십니까? • 감사 목적을 위해 파일 전송 결과에 대한 로그를 남기고 싶으십니까? • 분산 환경뿐 아니라 메인프레임과의 파일 전송 방법을 고민하십니까? • 특정한 시간대나 특정한 상황에만 파일을 전송하고 싶으십니까? • 파일 전송할 때는 A제품, 메시징 관련해선 B제품, 메인 프레임 환경에서는 또 다른 C제품… 모두 하나로 관리할 수 있을지 고민하십니까? • 익혀야 할 제품은 많은데 너무 어렵다고요? 제품이 좀 쉬웠으면 합니까? • 파일 전송 인프라가 SOA 환경에도 포함되면 좋겠다고요?

7. Auditable Ease-of-Use Simplicity WebSphere MQ File Transfer Edition Security Breadth Automated Transfer WebSphere MQ FTE가 해결해 드리겠습니다

8. WebSphere MQ FTE 특장점 Auditable • 송/수신 시스템에 대한 파일 전송 상태 및 결과를 확인할 수 있는 감사(Audit) 로그 제공 • 전송의 진행 또는 시간의 경과에 따른 상태 정보 및 감사 로그 발생 (MQ 큐나 relational database에 자동 저장) Ease-of-Use • GUI 환경의 MQ Explorer를 통해 파일 전송을 간편히관리. • 원격지에서 파일 전송 및 취소, 스케줄링, 상태 확인 등을 손쉽게 할 수 있음 • 파일 전송을 시작하기 위한 로컬/리모트 콘솔 제공, 자동화된 작동, 배치 프로세스를 위한 스크립트 기능 제공 • 스케줄 기반의 파일 전송 기능, 재전송 정책 설정, 전송 상태 표시 및 저장 기능 Simplicity • 인스톨이 간편하며, 제품이 가벼움 • 간편한 구성: 파일 전송을 위한 코드 작성이나 API 학습 불필요: GUI와 명령줄, 또는 스크립트를 통해 전송 관리 • WebSphere MQ만 사용할 수 있으면 손쉽게 사용 가능함 Security • SSL을 통한 링크 레벨 보안 지원 • 파일 접근 방지 : 시스템 보안 설정에 따르는 개별 파일 접근 Breadth • WebSphere MQ V6 및 V7 지원 • 주요 플랫폼 지원 (Windows, z/OS, Linux (32 Bit), Solaris, AIX, HP) • 다양한 파일 타입 지원 (ASCII/EBCDIC, CR/LF, Flat files, z/OS QSAM, BPAM, VSAM) Automated Transfers • 다양한 스케줄링 기능 지원 : 파일 전송이 스케줄 기반으로 수행되거나 일정 주기를 간격으로 반복되도록 구성 • 폭넓은 트리거링 기능 지원 : 파일 시스템 내의 이벤트에 의해 파일 전송을 시동할 수 있는 트리거 기능 제공

9. Managed File Transfer • MTF(Managed File Transfer)란? • 기업 환경에 맞게 고급 파일 전송 기능을 제공하는 파일 전송 솔루션 • 일반적으로 FTP 기반 기술에 Value Added된 형태로 제공됨 • 대표적 기능 • 보안 기능, 중앙집중식 제어 기능, 전송 보장 기능, 통합 모니터링 기능 • 감사 기능, 자동화 기능, 대용량 파일 전송 기능 • 기존 MTF 제품들의 한계 • 전통적인 MTF 솔루션들은 대부분 FTP를 기반으로 함 • 파일 정합성과 관련된 기술적인 문제들을 극복하기 위해 기본 FTP 프로토콜을 확장해야 하는 부담이 존재 • 기존 엔터프라이즈 내 애플리케이션이나 데이터베이스와의 통합 방안 역시 비표준적이고 자의적인 경우가 많음 • IT 인프라에 대한 전략적 비전 결여 • SOA 지원 방안 결여 • 메시징과 파일 전송의 통합 방안 결여 • 산업 표준 지원에 한계 -> 향후 시스템 통합에 걸림돌

10. 파일 전송의 백본 • 시간에 구애 받지 않는 전송 • 믿을 수 있는 파일 전송 • 이벤트 지향의 파일 전송 • 중앙 통제 방식의 구성 • 원격 상태 보고 • 스케줄링 기능 • 자동화 기능 • 스크립팅 • 감사 로그 제공 • 코딩 필요 없음 • 사용자 Exit 개발 및 적용 • ESB 연결성 제공 WebSphere MQ File Transfer Edition ! WebSphere MQ에 파일 전송 기능이 추가된 제품 Managed File Transfer 기능 제공 ! configure track audit WebSphere MQ File Transfer Edition a b c x y z

11. 아키텍처 • Eclipse 기반의 GUI 도구를 통해 원격에서 구성 및 관리가 가능 • Agent들은 감사 로그를Coordination Queue Manager에게 전송함 • Agent들은 파일 디렉토리를 모니터링하여 특정 시점에 특정 조건을 만족하는 파일을 전송할 수 있으며, 사전 작업 및 사후 작업도 가능함 • Coordination Queue Manager는 감사 로그 및 파일 전송 상황을 해당 정보를 원하는 곳으로 전송해줌 • Coordination Queue Manager는 MQ V7.0 이상에 설치되어야 함 Coordination Queue Manager Servers Graphical Tooling (MQ Explorer) Agent A Agent D Agent C Agent B MQ V7 MQ V6 MQ V6 MQ V7 Command Line Clients Agent G Agent H Agent E Agent F MQ FTE Agent (binding mode) MQ FTE Agent (Client mode)

12. AGENT AGENT 주요 컴포넌트 SYSTEM A MQ 기반통신 SYSTEM B • Agents: • MQ 애플리케이션 • 파일 전송을 위한 end-points • MQ를 이용한 파일 전송 • 다수의 파일을 동시에 송수신 가능 AGENT AGENT • Monitoring / Logging • 파일 전송 관련 데이터 수집 WebSphere MQ Network AUDITLOG OPERATIONS • Commands: • 수행할 명령을 메시지 형태로 전송 AUTOMATION MONITORING

13. 메시징 파일 전송 통합된 IT 인프라 제공 “Simple… 은 절약을 의미합니다” 양분된 IT 인프라 구조는 구축을 위한 고비용, 유지보수를 위한 고비용을 의미합니다 통합된 IT 인프라를 통해 많은 것을 절약하세요 = + WebSphere MQ File Transfer Edition • 이미 소유한 IT 자원을 재활용하세요 • IT 자원 좀 더 쉽게 관리하세요– 하나의 툴로 여러 일을 하세요 • 유지보수를 위한 지식을 간소화 시키세요

14. End-to-End 파일 전송 경로 감시 “A에 존재하는 내 파일이 Z까지 잘 전송됐나?” FTP IBM Managed File Transfer WebSphere MQ File Transfer Edition ftp ftp ftp Z C A B A Z ftp another.pdf sys ftp myfile.mft c ftp –i myfile.mft b ftp that.jpg here ftp –I myfile.mft b ftp go.where server ftp stuff somewhere ftp another.pdf sys ftp this.doc there ftp –i myfile.mft b ftp that.jpg here ftp –I myfile.mft b ftp f2.pdf z ftp it now please ftp another.pdf sys ftp this.doc there ftp –i myfile.mft b ftp that.jpg here ftp –I myfile.mft b ftp go.where server ftp here to there • 각 시스템에 유지되는 FTP 전송 레코드를 일일이 찾아가면서 확인해야 함 - 만약 접근 권한이 없다면 이마저도 확인할 수 없음 • 접근 권한이 있다고 해도 파일 전송이 완료되었음을 어떻게 확신할 수 있나요? • 단일 검사 로그를 통해 파일이 A에서 Z까지 전송 완료되었음을 확인할 수 있음 • 파일의 Integrity를 보장함 • End-to-end 파일 전송 상태를 보여줌

15. 간편한 파일 전송 루트 수정 “파일 전송 루트 쉽게 바꿀 수 있나요?” FTP IBM Managed File Transfer WebSphere MQ File Transfer Edition ftp ftp A B C A C ftp –i myfile.mft b ftp myfile.mft c get f1.txt c f2.pdf • 명령 한 번 또는 클릭 몇 번으로 모든 수정 완료 • GUI, Command Line 또는 XML Scripting으로 수정 가능 • Centralized – 파일이 지나갈 시스템에 접근할 필요 없음 • 플랫폼 종속적인 기술 필요 없음 • 시스템이 어디에 어떻게 구성되어 있는지 몰라도 됨 • 시스템에 로그인한 필요가 없음 • 각 시스템에 FTP script들을 찾아서 수정해야함 • 각 script들을 수정해야함 • 대부분 플랫폼 종속적인 기술을 요함 • 종종 시스템 접근 권한이 없을 수 있음

16. Time-Independent 파일 전송 ! 파일 전송이 시스템 및 네트워크의 상태에 독립적으로 진행 …Even when this might be happening! Seems like this… • 송신 측은 수신 측이 바쁘더라도 영향을 받지 않음 • 수신 측은 송신 측 상황에 영향을 받지 않음 • 파인 전송 중에도 다른 일을 수행할 수 있음 • 파일 백본이 모든 예외상황을 관리해줌 파일 전송 애플리케이션들은 파일 전송에 연루된 모든 자원이 항상 정상적인 것처럼 동작함 1 2 3 4 A A A A A unavailable unavailable WebSphere MQ File Transfer Edition Z Z Z Z Z unavailable unavailable busy

17. 전송 보장 • FTP프로토콜은 데이터 전달 보증 기능이 미약함 • 수신 측에서 파일 integrity 확인 기능이 없음 • 수신 측에서 파일 전송이 완료됐음을 확인하기 어려움 WebSphere MQ FTE는 검증된 WebSphere MQ 기반의 Solution • Reliability – 시장에서 입증된 높은 메시징 프로토콜을 바탕으로 함 • Trusted – 10,000개가 넘는 고객 사례에서 일일 수조 달러 단위의 비즈니스 데이터가 유통되고 있음 • Proven – 15년 간 MOM 시장에서 리더의 위치 고수해 왔음 • Integrated – IBM의 SOA 근간인 EAI, ESB, BPM 솔루션과의 손쉬운 연계의 토대가 됨 ! Reliable Backbone Provides general purpose transport for transfer reliability Specialized for Files Managing, auditing and monitoring file transfers WebSphere MQ File Transfer Edition

18. M B SOA ESSAGING ACKBONE 중앙통제식 관리 모든 파일 전송을 원격에서 중앙 통제식으로 구성, 관리, 감시할 수 있음 ! • 한눈에 볼 수 있는 GUI 환경 • 이클립스 기반 환경 • 분산 환경 및 메인 프레임 환경 모두 포함 Create Delete Display Modify Deploy Test • Linux x86 및 Windows부터의 원격 접속 가능 • 확장 가능하며, 커스터마이징 기능 제공

19. 다양한 구성/제어 환경 제공 “취향에 따라 요구 사항에 따라 원하시는 방법으로 사용하세요” Graphical Eclipse-based MQ Explorer Command Line Interface Job Control Language (JCL) XML Scripts using Apache Ant

20. Eclipse GUI integrated into WMQ Explorer Eclipse 기반의 WebSphere MQ FTE GUI 도구

21. 파일 전송 설정 전송할 수 있는 Agent의 리스트 및 전송할 파일 지정 고급 옵션 Binary/Textmode 선택 그룹 지정(다수의 파일 지정 가능) 우선순위 설정

22. 스케줄링 및 트리거링 전송할 시간을 설정 고급 옵션 반복 횟수 지정 트리거링 조건 지정

23. 로깅및 모니터링

24. FTE Command Line Interface • 지원되는 모든 플랫폼에 대해 동일한 Command Line Interface지원 • Shell을 통해 FTE 명령 실행 가능 • FTE 명령어를 통해 원격에 있는 파일 관리 가능 • 즉, 윈도우에서 수행한 FTE 명령을 통해 z/OS에 있는 파일을 Unix 시스템으로 전송할 수 있음 • User 애플리케이션은 XML 형태로 파일 전송 요청을 할 수 있음 • Command 예: • fteCreateTransfer: Starts a new file transfer from the command line • fteStartAgent: Starts a File Transfer agent from the command line • fteShowAgentDetails: Displays the details of a particular File Transfer agent • fteStopAgent: Stops a File Transfer agent in a controlled way

25. Job Control Language (JCL)

26. XML Scripting using Apache Ant Step 1 Invoke a File Transfer 1 Step 2 If Step 1 completes Ok then invoke program to process file Step 3 If Step 1 fails then send an email to the Administrator 2 3

27. 승인계 업무계 안심클릭 Queue manager FTE Agent Queue manager FTE Agent Queue manager FTE Agent queue queue queue 복지카드 카드 콜센터 사고방지 Queue manager FTE Agent Queue manager FTE Agent Queue manager FTE Agent queue queue queue WMQ FTE 구현 사례 – 금융 사례 • 고객 요건 • 기존 FTP의 개발 및 유지보수에 대한 비효율성 개선 • 기존 FTP 프로토콜의 한계성으로 인한 파일 전송의 불안정성 및 데이터 유실 개선 • 운영 개발 편의성 • 적용 범위 • H사 카드 승인계-업무계 구간만 제외한 10여 개 시스템들에 적용하여 사용 • 개선 사항 • 기존 FTP 대비 개발 복잡성 및 소요시간 단축 • 운영 및 유지보수에 대한 효율성 증대 및 복잡성 개선 • 파일 전송 시 장애에 따른 데이터 유실 방지 및 안정성 극대화 • Control-M Package에 파일 전송 Sync 처리결과를 Announce하기 위하여 사용

28. 데모 시연 Look & Feel !!

29. M1 데모 환경 Look & Feel !! M4 M5 M6 ! NO MQ Server

30. 데모 시나리오 Look & Feel !! 그래픽 도구를 통한 전송 상태 및 진행률 표시 디렉토리 하위 파일 일괄 전송 예약 및 트리거링을 통한 파일 전송 자동화 플랫폼 별 Character Set 자동 변환 우선 순위 기반의 파일 전송 효과가 입증된 WMQ 기반의 안정적인 파일 전송

31. MQ FTE Command Line Interface가 있잖아요! YES YES ANT를 통해 가능합니다! cURL을 통해 가능합니다! Message Broker와의 환상의 궁합을 자랑합니다 MQ Attach 기술로 E-Mail 문제를 풀어드리겠습니다 영원한 숙제 Integration! Beyond MQ FTE !! 배치 스케줄러가 MQ FTE를 쉽게 사용할 수 있나요? 타사 파일 전송 제품과 연계는 가능한가요? 지원되지 않는 플랫폼과의 연동은 어떻게 하죠? MQ FTE가 깔리지 않은 시스템과는 파일을 주고 받을 수 없겠죠? SOA 환경과의 통합은 구체적으로 어떻게 이루어진다는 거죠? MQ FTE의 이점을 Desktop User도 누릴 수는 없나요? ? ? ? ? ? ?

32. ANT와 cURL를 이용한 Integration Beyond MQ FTE !! • ANT란? • 막강한 기능을 지닌 자바&XML 기반의 오픈 소스 스크립트/빌드 도구. • 지원 기능: copy, zip, exec, sql, delete, mkdir, ftp, telnet, smtp, sql … • cURL이란? • URL 기반의 파일 전송 커맨드 라인 도구. 오픈 소스/무료 소프트웨어. • 지원 프로토콜: FTP, FTPS, SFTP, TFTP, HTTP, HTTPS, SCP, TELNET, DICT

33. WebSphere Message Broker와의 연계(1/2) Beyond MQ FTE !! 유형1: File Mediation WebSphere Message Broker MQ FTE Transfer FileInput Mediation FileOutput MQ FTE Transfer WMB_IN Folder WMB_OUT Folder FILE_OUT Folder FILE_IN Folder 유형2: File to Message WebSphere Message Broker MQ FTE Transfer FileInput MQOutput FILE_IN Folder WMB_IN Folder BROKER.OUT Queue

34. WebSphere Message Broker와의 연계(2/2) Beyond MQ FTE !! 유형3: Message to File WebSphere Message Broker MQ FTE Transfer MQInput FileOutput WMB_OUT Folder FILE_IN Folder BROKER.IN Queue WMB Coming Soon! Need More?

35. MQ Attach – Coming Soon! MQ Attach 아키텍쳐 • MQ Attach란? • 샘플 Windows .NET GUI 솔루션 • MQ Queue를 Desktop User들의 메일 박스로 사용하여 SMTP기반의 메일 시스템 문제점 해결 시도

36. M B SOA ESSAGING ACKBONE Skills End-Points Qualities-of-Service Delivery Styles Client-Server Transactional Vendor Platforms Languages JEE, .NET, etc Backbone COBOL, C/C++, RPC Java, JEE, JMS .NET, C#, VB, WCF AJAX, Perl, Python… Guaranteed Operating Systems Point-to-Point Persistent Exploitation & Support Peer-to-Peer At-Most-Once Applications Orientations Publish/Subscribe Replay Service Batch Files Message Resource… SAP, Siebel, etc… Grid At-least-once Devices Bus Mobile, Wireless, PoS, Sensor, Actuator, RFID… Best-Effort Multicast Fire-and-Forget Web services Mindsets Unicast Request-Reply SOAP, WSDL, WS-RM, WS-N… WSDL, XML, WS-* REST, MEST, KISS Web 2.0 Fastest speed HTTP, AJAX, REST,… Lowest Latency Appliances IBM’s Vision – SOA Messaging Backbone • 모든 Transport 요건에 대한 범용의 Messaging Backbone을 제공

37. Innovation?