Transferencia de archivos digitales con soluciones Aspera

1. Transferencia de archivos digitales con soluciones Aspera Resolviendo los desafíos de casos típicos de ingesta, distribución, y automatización en la transferencia de archivos digitales Dr. Ing. Diego Dugatkin VP Product Management, Aspera Inc.

2. Quién es Aspera? • Empresa líder en el movimiento de grandes archivos y datos a través de redes WAN • Con sede central en Emeryville, California (área de San Francisco, costa oeste de EE.UU.) • Oficinas europeas en Francia, y personal local en el Reino Unido, en Asia, y en Centro y Este de EE.UU. • Partners y distribuidores en Latinoamérica, en Argentina, Chile y Brasil. • Rentable desde su creación en 2004, sigue siendo de propiedad privada y liderada por sus fundadores. • Creadores del protocolo fasp para transporte de grandes volúmenes de datos en alta velocidad • Desarrollado desde un principio, con tecnología propia patentada, para transporte de datos en masa o “a granel”. • Solución únicamente de software, que reemplaza a FTP, HTTP, SCP, RSYNC, CIFS, NFS. • Supera a todas las soluciones de hardware y software de ‘aceleración WAN’. • Primer lugar en el ránking de referencia del rendimiento de transferencia de datos sobre WAN. • Permite trabajar con enormes volúmenes de datos, de todo tipo. • Ampliamente adoptado en todo el mundo en numerosas industrias. • Más de 10,000 licencias instaladas en servers y endpoints. • 1200 clientes en todo el mundo. • Terabytes transferidos a diario!

3. El “Big Data Movement Challenge” El movimiento rápido y eficiente, y el almacenamiento de archivos de gran tamaño a través de redes WAN, se han convertido en un requisito escencial. Otras tecnologías actuales no proporcionan el nivel de rendimiento necesario.

4. Media & Entertainment Big-Data: Big & Getting Bigger Una sóla producción de cine digital puede ocupar entre 800K–1M 2K/4K frames

5. Qué pasó con mi ancho de banda? 100 Mbps 200ms RTT 0.01% de pérdida de paquetes Capacidad nominal de la WAN es 100 Mbps Mayor tasa efectiva promedio de TCP ~ 7 Mbps Donde están mis otros 93 Mbps? WAN París Buenos Aires A razón de 7 Mbps: 10GB tradarían 3 hs 200GB tradarían 2.5 días

6. Mismo escenario WAN, con transporte Aspera fasp Capacidad nominal de la WAN es 100 Mbps • Mayor tasa efectiva promedio de TCP ~ 7 Mbps • Ancho de banda deseado: ~99 Mbps (mejoría x14 veces!) • ROI: costo de no utilizar los 93 Mbps perdidos… A 99 Mbps • 10GB tardarían ~3 hs • 10GB tardarían ~14 min • 200 GB tardarían 2.5 días • 200 GB tardarían 4.5 hs 100 Mbps 200ms RTT 0.01% de pérdida de paquetes WAN París Buenos Aires

7. FTP vs fasp™ comparación de tiempos de transferencia Los tiempos de transferencia de TCP están limitados por el porcentaje de perdida de paquetes y por la latencia o “delay” (la distancia de red), pero no por el ancho de banda! Los tiempos de transferencia con Aspera se acortan linealmente a medida que sube el ancho de banda, independientemente de la pérdida de paquetes o latencia de la red. Costa-a-costa en USA: sumar 1 a 5% -- Intercontinental: sumar 1 a 10% -- Satélite;sumar 1 a 10%

8. Customer Performance Results * The target rate is the transfer rate given to an Aspera client. fasp attempts to maintain this rate in both fixed and adaptive rate modes and will not exceed this cap. In some tests the target rate was set to less than the actual link capacity. ** FTP measurement not taken or unavailable. FTP throughput estimated using the standard TCP Rate Equation, assuming a typical average round‐trip delay and packet loss rate. Actual FTP throughput varies with network load, which increases loss and round‐trip time.

9. Problema central – TCP no fué diseñado para mover datos de forma masiva en redes WAN TCP tiene cuellos de botella conocidos • La latencia y pérdida de paquetes limitan el ancho de banda neto disponible • Estas limtaciones fundamentales son parte de TCP y están incorporadas originariamente en su diseño • Establece una ‘ventana de congestión’, para limitar la cantidad de datos en tránsito. • Utiliza un mecanismo llamado ‘incremento aditivo / decremento multiplicativo’ (additive increase/ multiplicative decrease) • Linealmente incrementa la ventana (“transfer rate”) hasta que que ocurre un timeout, que interpreta como signo de congestión o pérdida. • Atención con los efectos catastróficos de la pérdida de paquetes • Internet, transmisiones inalámbricas vía satelite, por via celular o WiFi tienen distintos niveles de pérdida y de variación del rendimiento. • No hay un “Internet SLA” (Service Level Agreement), es decir: la congestión on-line cambia en tiempo real (según el horario, etc) TCP es un protocolo de transporte de datos, bidireccional y confiable • Es la base de muchos protocolos de aplicación: FTP, HTTP, NFS, CIFS, SCP, RSYNC • Todo debe ser enviado secuencialmente (innecesario cuando se copian archivos grandes)

10. Problema central – TCP es inadecuado para transportar datos de gran tamaño sobre redes WAN • TCP tiene bajo rendimiento en transferencias sobre WAN (Wide Area Networks) • TCP tiene bajo rendimiento en redes con pérdida de paquetes • Internet • Vía Satélite • TCP es el transporte de base de FTP, HTTP y otras aplicaciones comunes de transferencia de archivos Máximo ancho de banda posible con TCP

11. Solución– Aspera fasp resuelve el transporte masivo de datos Solución para la transferencia rápida de archivos • Efectivo en redes complejas, con ‘delay’ & ‘loss’ • Muy bajo “overhead”: < 0.1%, bajo 30% de packet loss! Optima eficiencia en el uso del ancho de banda • Uso total de ancho de banda “commodity” disponible en Internet • Altamente eficiente, con control realtime del ancho de banda, evita la congestión (WAN, LAN, Disk) • Logra eficiencias extraordinarias tanto con grandes archivos como con grupos de archivos pequeños El resultado: Aspera fasp permite • Transferencias hasta miles de veces mas rápidas que FTP • Tiempos precisos y predecibles en la transferencia de archivos • Reglas de control “end-to-end” sobre las prioridades de transferencia y la velocidad • Completo monitoreo, notificación y reporte Máximo ancho de banda posible con TCP Ancho de banda con Aspera fasp

12. fasp – la solución ideal para el transporte digital de datos • Solución de transferencia de archivos basado puramente en Software • Máxima velocidad de transferencia – utilización total de ancho de banda designado • Excepcional control del ancho de banda y escalabilidad de administración • Seguridad y confiabilidad total • Arquitectura flexible, simple, liviana y abierta • Completo soporte de todas las plataformas y sistemas operativos convencionales

13. Línea de Productos de Software Funcionalidad y escenarios de implementación

14. Entorno de software Aspera fasp

15. Entorno de software Aspera fasp

16. Entorno de software Aspera fasp

17. Entorno de software Aspera fasp

18. Entorno de software Aspera fasp

19. Entorno de software Aspera fasp

20. Big-Data – Accesible universalmente, provista globalmente por Aspera Soporte Universal de Sistemas Operativos Soporte Universal de Navegadores / Browsers Soporte Universal de Sistemas Móviles

21. Caso 1: Ingesta o subida de archivosFile Ingest

22. Desafíos generales para la Ingesta o Subida de Archivos • Velocidad • Transferencias Digitales actuales pueden resultar lentas a pesar de tener conexiones razonables • El envío de tapes o discos es lento y caro. En ciertos casos, los tapes son difíciles de conseguir. • Eficiencia • El software típico común de transferencia no utiliza toda la capacidad del ancho d banda disponible. • Confiabilidad • Si una transferencia falla, típicamente tiene que ser recomenzada, desde el principio!... • Seguridad • Muchos mecanismos de transferencia no ofrecen seguridad y encriptado nativo, diseñado dentro de la solución. • Automatización • Las soluciones comunes no ofrecen automatización.

23. Solución para la Ingesta de Archivos: Aspera Connect Server • Server universal para transferencia de archivos, con interface web • Subida y bajada de datos usando el Aspera Connect web browser plug-in, que es gratuito y viene con instalación automática • Fácil (y mejor) reemplazo de servidores FTP • Capacidad de upload y download, para archivos o directorios de cualquier tipo y tamaño • Permite hacer pausa y volver a comenzar, retomando transferencias desde la pausa o el punto de falla en casos de problemas de red • Opciones de integración • Interface Web modificable, cambiando la imágen o marca • Puede integrarse a portales web existentes • Licencias, uso y despliegue • Licencias por niveles, basadas en la capacidad o ancho de banda • Soporte completo en Unix, Linux, Windows, Mac, Solaris, Isilon OneFS • Configuraciones también en High-Availability (redundancia/seguridad)

24. Aspera Connect Server • Fácil reemplazo de servidores FTP • Utiliza el protocolo fasp, logrando transferencias rápidas y seguras, en ambas direcciones, desde y hacia el servidor • Acceso ilimitado a clientes web, a través del web-browser plug-in gratuito de Aspera • Fácil de integrar a portales-web existentes, y de incorporar con marca propia (usando la tecnología de Aspera dentro de su sistema)

25. Caso 2: Distribución de archivos de persona a persona(s)Person-to-Person File Delivery

26. Desafíos en la distribución de archivos de persona a persona(s) • Métodos típicos para la distribución de archivos: • Correo o courier privado • Demasiado lento para transferencias de larga distancia • Excesivamente costoso • FTP or HTTP • Inseguros • No tienen la capacidad de hacer pausa y reanudar la transferencia • Bajo rendimiento en redes WAN, debido a TCP • Servicios de distribución online, vía Internet • Típicamente limitan el tamaño de los archivos • Bajo rendimiento en redes WAN, debido a TCP

27. Distribución de archivos persona-a-persona : Aspera faspex™ • Solución para la distribución global de archivos • Intercambio de archivos de persona-a-persona coordinado por projectos • Distribución de paquetes para colaboración frecuente o envíos ocasionales • Permite enviar archivos a destinatarios ad-hoc, fuera de la organización • Easy-to-use web-based interface • Notificación vía email integrada para los destinatarios • Ejemplos de uso y aplicación • Workflows de producción, revisión y aprobación de video • Intercambio colaborativo de materiales de producción y de marketing, especialmente para equipos distribuidos • Intercambio global de archivos de persona-a-persona dentro de la empresa • Licencias, uso y despliegue • Licencias por niveles, basadas en la capacidad o ancho de banda y el número de usuarios activos simultáneos • Soporte completo en Linux y Windows (Server), y también: • Linux, Mac y Windows (Aspera Connect browser plug-in) • Mac y Windows (Aspera Cargo Downloader desktop widget) • Disponible en configuración de High-availability (active/passive)

28. Servidor Aspera faspex • Metodología de transferencia “persona-a-persona” • Colaboración periódica o para entregas ocasionales de paquetes de archivos • Instalación automática del cliente (utiliza el Aspera Conect “plug-in” para cualquier navegador) • Notificaciones por correo electrónico a los remitentes y destinatarios del paquete

29. Caso 3: Envío automatizado de archivosFile Delivery with Automation

30. Automatización del envío de archivos con Aspera: Muchas opciones! • Aspera Enterprise Server, Point-to-Point and Aspera Client • Automatización con HotFolders • Aspera Cargo • Bajada automática de paquetes Faspex • Aspera Management Console • Transferencias pre-programadas, de Servidor a Servidor, según un “schedule” • Utilizando Aspera vía línea de comando y usando “scripts” que invocan el “Command Line” • Haciendo un “schedule” de transferencias automáticas directamente desde la línea de comando en Unix o en Windows • Incorporando las capacidades de transferencia de Aspera en “scripts” de secuencias de comandos (Shell scripts etc.)

31. Otros usos y productos de Aspera

32. Otras capacidades y productos de Aspera • Management / Gestión • Monitoring, notification, reporting and configuration • Integration • SDK, multi-platform support • Aspera Mobile • Aspera software libraries in SDK form, for integration with 3rd party mobile applications. iPhone and Android uploader apps. • Aspera Multicast • Transferencias punto-a-multipunto sobre IP-multicast • Aspera Orchestrator • Workflow automation • Cloud • Aspera On Demand para Amazon Web Services

33. Muchas Gracias! Para más información y para comenzar con su pruebas piloto con Aspera, por favor contáctese con nuestros representatntes: En Argentina: (+54-11) 5218-8000 Contacto: Ventas info@svc.com.ar Aspera, sede central: +1 510-849-2386 ext. 232 Contacto: Ms. Joelle Cilley joelle@asperasoft.com

34. Aspera Sync - Overview Scalable, multidirectional asynchronous file replication

35. Introducing Aspera Sync • Overview • Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs • Scales performance over any WAN, up to 1000x faster than rsync • Scales performance on WAN over any distance • Increase bandwidth to increase performance • Scale performance for large and diverse data sets • Initial sync: 10-1000X speed of rsync to synchronize files first time • Continuous: 10X speed of rsync to synchronize new files over WANs • Smart directory actions • Honors moves, renames, deletes • Storage agnostic • Runs on industry-standard OS (Linux today) • Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2) • Secure by Federal Standards • Matches security standards set by government—addressed in all Aspera products • Certifications

36. Synchronizing Big Data over the Longhaul Aspera Sync – 201 Level Multidirectional Synchronization

37. Trends • Big Data Explosion • 90% of data today file-based or unstructured • Mix of file sizes—but larger and larger files the norm • Diversity of IP Networks—Media, Bandwidth Rates, and Conditions • Variable bandwidth rates (slow to super-fast) • Bandwidth rates increasing—costs decreasing • Network media remains diverse (terrestrial, satellite, wireless) • Conditions vary—all networks prone to degradation over distance. • Data Freighting Challenges—moving Big Data over WANs • Over distance, conditions degrade • Contemporary TCP acceleration solutions not designed for big data replication.

38. Sync Challenges • Replicating over Distance (Wide Area Networks) • Traditional replication (using TCP) fails or slows over distance • Poor network performance often the bottleneck to replication • Traditional replication approaches like rsync fail • Unreliable • Don’t scale • Don’t perform • Larger data sets comprised of bulk files, “big data” • In the terabytes, not gigabytes • Files are unstructured • Diversity of file sizes • Large files • Mix of large and small files • File System Integration (Lack of Efficiency) • Avoiding file system scans • Replicating files through change notification

39. Conventional Replication - Costly Workarounds • TCP Acceleration Appliances • Solves a different problem • Good for some applications (mainly structured data such as databases) • Not designed for moving big data across the network (files, in bulk) • Storage Compression • Resource intensive—and don’t save much • Native in file system (e.g., NetApp SnapMirror) • File-based compression and deduplication • Caching (e.g., CDNs) • Move data closer to users • Costly, hard to manage • By nature more “out of sync” • Replicate less data • Reduces traffic—and productivity • Don’t replicate • Jeopardizes productivity and the business.

40. Scalable file synchronization for Big Data Aspera Sync

41. Introducing Aspera Sync • Overview • Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs • Scales performance over any WAN, up to 1000x faster than rsync • Scales performance on WAN over any distance • Increase bandwidth to increase performance • Supports large and diverse data sets • 10-1000X speed of rsync to synchronize files first time • 10X speed of rsync to synchronize new files over WANs • Avoid unnecessary replication • Honors moves, renames, deletes • Storage agnostic • Runs on industry-standard OS (Linux today) • Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2) • Secure by Federal Standards • Matches security standards set by government—addressed in all Aspera products • Certifications (addressed later in the presentation)

42. Aspera Sync Other Capabilities • High speed, multi-directional synchronization of remote files and directories • solving the fundamental problems of rsync for large data • Full-mesh synchronization • One-to-one, one-to-many, and full-mesh synchronization • Multi-mode • One-time sync • Continuous sync • Designed for today’s extremely large data • Millions of files, multi-terabyte data sets • Management console for configuration, management and reporting • Licensing and deployment • Command line binary and admin tool for Linux • Additional platforms to become available in 2011 • Add-on license option to Aspera servers and Aspera Point-to-point

43. Use cases for Aspera Sync

44. Scenario 1: One-way Sync (Unidirectional) • Use Case1: Disaster Protection • Storage agnostic • Variables depending on data set size • Recovery points • Recovery times • Use Case 2: Offsite Archiving • Multi-vendor storage • Alternative to tape Primary Site Remote Site Data Movement

45. Scenario 2: Two-way Sync (Bidirectional) • Use Case1: Distributed Workflow • Concurrent writers • Both sites create and replicate • Fully transparent • Move, rename, delete • Use Case 2: Disaster Readiness • Non-disruptive to users • Alternative to offsite backup • Workflow / scenario agnostic Site 2 Site 1 Data Movement

46. Scenario 3: Multidirectional (N-way) Replication Topologies: • Hub and Spoke • Replicate from single source to multiple endpoints • Branching Tree • Replicate from parent to child nodes • Source (origin) replicates to downstream targets Use Cases: • Content Distribution Network (CDN) • Distribute files to downstream caching points • Remote Office File Replication • Replicate from central to remote offices

47. Scenario 4: Collaborative Workflows • Use case 1: Distributed Workflow • Multiple users or workgroups have read-only access to common source • Use case 2: Collaborative Workflow • Multiple users or workgroups have read-write access to a common source pool

48. Scenario 5: Cloud Ingest and Distribution • Use case 1: Ingest (Upload/Download) • User Aspera clients to upload into AWS • Uses Aspera On-Demand offering • Use Case 2: Direct Distribution inside AWS • Distribute data directly to S3 • Parallel http IO for faster throughput • Parallel http IO for increased IO

49. Performance Results Aspera Sync vs Rsync

50. Aspera Sync vs. rsync • Fastest possible resolution of file system changes • Compares changes to local state (file snapshot), saving costly WAN chattiness of rsync • File system notification where available • Quick to detect changes in scan-mode • Quick restart after system down • Move, rename detection locally • Huge savings not retransferring after “move” • fasp transport for maximum speed • overcoming TCP bottlenecks • Multi-directional (not unidirectional)