1 / 44

Arquitecturas Avanzadas Curso 10/11

Arquitecturas Avanzadas Curso 10/11. Horas 5 6 7 2 3. INTRODUCCIÓN CONECTIVIDAD MÁQUINAS MIMD MÁQUINAS SIMD AUMENTO DE PRESTACIONES. arqAva Clasificación de Flynn Ampliada Introducción- 2. Procesadores Vectoriales. Array de Procesadores. Multi-procesadores. Multi-computadores.

erling
Download Presentation

Arquitecturas Avanzadas Curso 10/11

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Arquitecturas Avanzadas Curso 10/11 Horas 5 6 7 2 3 • INTRODUCCIÓN • CONECTIVIDAD • MÁQUINAS MIMD • MÁQUINAS SIMD • AUMENTO DE PRESTACIONES

  2. arqAva Clasificación de Flynn Ampliada Introducción-2 Procesadores Vectoriales Array de Procesadores Multi-procesadores Multi-computadores Sistólicos Symetric Multi Processor UMA COMA NUMA MPP COW Distintas formas de organizar la memoria común Beowulf Distributed Shared Memory Arquitecturas Paralelas SISD SIMD MISD MIMD Von Neumann ??

  3. arqAva Temario SIMD-3 • MÁQUINAS SIMD • Procesamiento Sistólico • Introducción • Metodología • Ejemplos • Procesamiento Vectorial • Definiciones y tipos de instrucciones • Memorias entrelazadas • Funciones vectoriales compuestas • Encadenamiento Hardware • Bibliografía: • “VLSI Array Processors” S.Y. Kung-1988 [119..149] • “Advanded Computer Architecture...” Kai Hwang-1993 [Capítulo 8]

  4. arqAva Sistólicos (Introducción) SIMD-4 INTRODUCCIÓN • Límites de MIMD para grano fino • El modelo sistólico • Ejemplo Vector x Matriz • Algunos inconvenientes • Ejemplos de máquinas

  5. arqAva Introducción (Límites de MIMD para grano fino) SIMD-5 Algunas aplicaciones Problema: Multiplicar una secuencia muy grande de vectores por una matriz • Filtrado de imagen • Generación de efectos de vídeo • Conversión, cod/decod de vídeo • Manipulación de imagen en 3D • Procesado de imágenes médicas • Reconocimiento de objetos • detectando bordes • Filtros FIR para sistemas de • comunicaciones

  6. arqAva Introducción (Límites de MIMD para grano fino) SIMD-6 a11 a12 a13 a14 a21 a22 a23 a24 a31 a32 a33 a34 a41 a42 a43 a44 (x1,x2,x3,x4)i * = (y1,y2,y3,y4)i x1a11+x2a21+x3a31+x4a41 x1a14+x2a24+x3a34+x4a44 T(Yi4) = 16*2+12*1+20*1+4*1 = 68 (*) (+) (r) (w) Problema: Multiplicar una secuencia muy grande de vectores por una matriz ..... Xi4, ..... X24, X14 * A4x4 ==> ..... Yi4, ..... Y24, Y14 ¿Tiempo  de cálculo de Yi4 en monoprocesador? T(*) => 2 T(+) => 1 T(Mem <==> Reg) => 1

  7. arqAva Introducción (Límites de MIMD para grano fino) SIMD-7  . . X2 X1 1 0 P11 . . P14 . P22 . . . . . . P41 . . P44 1 x 3 5 -1 4 2 7 3 -2 4 0 1 5 8 6 9 -3 3 5 -1 4 6 21 9 -6 8 0 2 10 -8 -6 -9 3 2 1 3 2 -1 x1 x2 x3 x4 P11 P12 P13 P14 2 0 => Cargar coeficientes Y1 Y2 . . . . . . y 9 20 1 11 1 => 16 Pijmultiplican y1 y2 y3 y4 2 => 4 P1i suman Paralelización de X4*A4x4 con multiprocesadores ¿Cada cuánto tiempo obtengo Yi?

  8. arqAva Introducción (Límites de MIMD para grano fino) SIMD-8 11 ¡ Sincronizar ! -- Código de P1i repeat -- Multiplicar -- Sumar ¿Conflictos de accesos paralelos a datos comunes? Bajar(SNuevoX); Hagamos los cálculos: repeat [i,j] := X[i] * A[i,j] -- Los 16 Pij T1 Y[i] := [1,i]+[2,i]+[3,i]+[4,i] -- Los 4 P1i T2 forever T1 = 1(r) + 2(*) + 1(w) = 4 ¿SEGURO? T2 = 3(r) + 3(+) + 1(w) = 7 • El tiempo puede dispararse 20 .... • Barreras de sincronización Hw. B(SP1i); B(SP1i); B(SP1i); Subir (SNuevoY); • ¿Mejorable con multicomputadores?

  9. arqAva Introducción (Límites de MIMD para grano fino) SIMD-9 x1 x2 x3 x4 x 1 3 2 -1 12.. 1 1 1 3 5 -1 4 5 -1 4 3 3 3 2 7 3 -2 8 3 5 -1 4 2 7 3 -2 4 0 1 5 8 6 9 -3 26 2 2 4 0 1 5 26 -1 ? ? * + ! ! y 8 6 9 -3 9 20 1 11 1 9 2 y1 y2 y3 y4 Paralelización de X4*A4x4 con multicomputadores ¿Flujo E/S? Xi / Yi D=I 1 Coste 3 3 S=I*A21+N 9 2 17 -1 9 • ¿Será alcanzable  4? Sistólicos

  10. arqAva Introducción (El modelo sistólico) SIMD-10 Datos a11 a12 a13 a14 a21 a22 a23 a24 a31 a32 a33 a34 a41 a42 a43 a44 8 (E/S) vs 28 (*/+) Flujo ....X43,X42,X41* = .... Y43, Y42, Y41 1978 (H.T. Kung y C.E. Leiserson) Mucho interés en los 80 Yale, Carnegie Mellon, MIT Objetivo: Aprovechar el alto grado de paralelismo espacial y temporal de algunos algoritmos muy demandados y limitados por cómputo Aplicaciones: Computación científica, procesado de señal e imagen, análisis de datos biológicos, criptografía, etc.

  11. arqAva Introducción (El modelo sistólico) SIMD-11 Trabajos ARQUITECTURA SISTÓLICA HOST Resultados • Sistólicos: Máquinas paralelas de propósito específico: • Paralelismo masivo y descentralizado (Pipeline) • Peso del cómputo mucho mayor que el de E/S • Comunicaciones locales • Arquitectura regular y modular organizada como una red de un gran número de unidades de proceso idénticas (celdas), conectadas localmente. • Sólo las celdas de los bordes pueden comunicarse con el exterior. • Modo de operación síncrono • Factores de posibilidad (VLSI, CAD) y muy escalables

  12. arqAva Introducción (El modelo sistólico) SIMD-12 Ejemplos de redes sistólicas

  13. arqAva Introducción (El modelo sistólico) SIMD-13 3 i t0 t1 t2 t3 t4 ........... Paralelo • Recibe datos de sus vecinos • Realiza unos cálculos sencillos • Transmite resultados a sus vecinos i+1 i+2 • En cada ciclo (), dos fases: • Intercambio de datos 2 Cálculo Modo de operación síncrono • Cada celda siempre hace lo mismo: • Recibe datos de sus vecinos • Realiza unos cálculos sencillos • Transmite resultados a sus vecinos

  14. arqAva Introducción (Ejemplo Vector * Matriz) SIMD-14 N 1?I, ?N, !S, !D 2 S = (I*aij)+N, D = I Propagación de las Xi aij I D S  0 0 0 0 x11 x12 x11 a11 a11 a12 a12 t0 t1 x11a11 a21 a21 a22 a22 x21 ¿Cómo utilizar esta arquitectura para multiplicar Vectores2 * Matriz2x2? Recordar el intento de paralelización con multicomputadores Situación justo al inicio del ciclo

  15. arqAva Introducción (Ejemplo Vector * Matriz) SIMD-15 t3 t2 t4 x12 x11 x14 x13 x15 x13 x12 x14 x11a11 x12a11 x14a11 x13a11 x11a12 x12a12 x13a12 x21 x23 x22 x21 x23 x22 x24 y11 y13 y12 y22 y21 ti x1i+1 x1i x1ia11 x1i-1a12 t1 x2i x2i-1 Y1i-1 Y2i-2

  16. arqAva Introducción (Ejemplo Vector * Matriz) SIMD-16 t0 ti x15 x24 x33 x42 x14 x23 x32 x41 x13 x22 x31 x12 x21 x11 x1i+1 x2i x3i-1 x4i-2 t4 y11 y12 y21 y13 y22 y31 y14 y23 y32 y41 y15 y24 y33 y42 ¿Tiempos creíbles? ¿Tiempo de cálculo de Yi4 con este método? • Obtenemos un resultado cada ciclo () • Transferir datos => 1 • Multiplicar => 2 • Sumar => 1 • Total => 4

  17. arqAva Introducción (Ejemplo Vector * Matriz) SIMD-17  Ck Ck Ck * + Ck aij Posible aspecto de una celda:

  18. arqAva Introducción (Algunos inconvenientes) SIMD-18 • Sincronismo de reloj (Sesgo de reloj | Clock Skew) Ck Distribución regular de Ck • Frente de Ola | Wave Front • Asíncronos • Flujo de Datos vs Flujo de Control Ck • Dificultad algorítmica (Veremos una sistematización) ¿Soluciones?

  19. arqAva Introducción (Ejemplos de máquinas) SIMD-19 iPSC www-2.cs.cmu.edu/~iwarp • iWarp (1988-1992) • Carnegie Mellon Univ. + Intel Supercomputing System Div. • Todavía la mejor en 1995 para algunas aplicaciones • µP RISC de 32 bits de 96bit LIW a 20MHz • Desde 4 a 1024 celdas. Típico un toro de 8x8 => 64µP “iWarp: Anatomy of a Parallel Computing System” 1998

  20. arqAva Introducción (Ejemplos de máquinas) SIMD-20 • SAMBA (1993-1995) www.irisa.fr/SAMBA • Systolic Accelerator for Molecular Biological Applications • Laboratorio IRISA de Rennes • 1994 => Chips con 4µP de 100MIPS (12bits) (Total 128µP) • 1998 => “Speeding up genome computations with a systolic accelerator” • Estudio genético => 41’ en SAMBA y 127,5h en una WorkStation • 1998 => Chips con 16..20µP más MIPS => Todo en una tarjeta PCI

  21. arqAva Introducción (Ejemplos de máquinas) SIMD-21 • … GeneMatcher2 … 2004] • www.paracel.com • Sistema de análisis de similitud de secuencias genéticas. • Acelerador => 3.072..221.184 P • GeneMatcher2: • 192 P SIMD • Empresa comprada en junio 2000 • por Celera Genomics Group. • www.celera.com

  22. arqAva Introducción (Ejemplos de máquinas) SIMD-22 • Procesador CSX700 [Hoy] • www.clearspeed.com • “Convierta su PC en un supercomputador” #9 Top500 11/06 TSUBAME Grid Cluster #29 Top500 11/08 #56 Top500 11/09 + GPU’s 96 96 96 GFlops y < 9 W

  23. arqAva Introducción (Ejemplos de máquinas) SIMD-23 4 128 Xeon • DeCypher Engine G4 => SeqCruncher [Hoy] • www.timelogic.com

  24. arqAva Introducción (Ejemplos de máquinas) SIMD-24 • Cell [Hoy] www.blachford.info/computer/Cell/Cell0_v2.html QS21

  25. arqAva Introducción (Ejemplos de máquinas) SIMD-25 • GPU’s[Hoy] www.nVidia.com *4 Tesla C1060 Tesla S1070 *170 240 TSUBAME

  26. arqAva Vectoriales (Definiciones) SIMD-26 Procesador vectorial: Conjunto de elementos hardware diseñado para procesar vectores • Un resultado por ciclo • Menor overhead control bucle por software • Menos conflictosde accesos a memoria Vectorización Conversión de código escalar a vectorial Proporción de vectorización Grado de vectorización alcanzado Compilador vectorial Traductor diseñado para vectorizar código DEFINICIONES Vector: Conjunto ordenado de unidades de datos escalares de un mismo tipo

  27. arqAva Vectoriales (Definiciones) SIMD-27 short V1[5]; long V2[5]; tPersona V3[5]; ¿Vector V4? $1000 $1000 $1000 V1[0] V2[0] V4[0] $1002 V1[1] $1004 V1[2] $1004 V2[1] $1004 V4[1] $1006 V1[3] $1008 V1[4] $1008 V2[2] $1008 V4[2] $100C V2[3] $100C V4[3] Stride 2 $1010 V2[4] $1010 V4[4] Stride 4 Stride 4 Vector: Conjunto ordenado de unidades de datos escalares de un mismo tipo Stride  tsize(tipo) ¿Utilidad?

  28. arqAva Tipo / Fuentes (Control, Datos, Flujo) Introducción-28 + 3 5 2 5 4 1 + + 6 9 3 2 + 1 1 4 4 0 + + 7 5 2 8 1 7 + 1 9 + 8 A Suma de Vectores, etc. B C • PARALELISMO DE DATOS (Espacial) • Operaciones sobre datos regulares (vectores) aplicando la misma operación sobre cada elemento • ¡LIMITACIONES! • Más datos que U.P. • Operaciones escalares En los procesadores vectoriales hay poca replicación hardware (pocas unidades de proceso que sumen). En su lugar, se apoyan en una especialización mediante pipeline.

  29. arqAva Vectoriales (Definiciones) SIMD-29 A 4+0 5+2 7+1 8+1 8+1 7+1 8+1 8+1 5+2 8+1 8+1 7+1 8+1 8+1 1+1 3+6 4+0 1+1 4+0 5+2 5+2 7+1 5 2 3 5 4 1 6 3 9 1 2 1 4 4 0 5 2 7 1 7 8 9 1 8 7 8 9 B C Un resultado por ciclo Unidad Funcional Aritmética Segmentada Registros Vectoriales 4 Etapas: Sumar Exponentes Multiplicar Mantisas Normalizar Redondear

  30. arqAva Vectoriales (Tipos de instrucciones) SIMD-30 Vector-Vector Vj Vi Vj Vj x Vk Vi Vi Vk Escalar-Vector S Vi S x Vk Vi Vk Memoria-Vector, Vector-Memoria Memoria V M  V V  M • TIPOS DE INSTRUCCIONES VECTORIALES Unidad funcional segmentada

  31. arqAva Vectoriales (Tipos de instrucciones) SIMD-31 Vector reducción Vj S Vi S , Vj x Vk S Vk Compresión (gather  recoger) memoria M Vj x Vk VL Vj Vk etc. 4 6 20 56 200 3 410 49 201 200 4 130 769 202 A0 0 56 410 203 etc. etc. 130 204 46 205 20 206 etc. ¿Utilidad?

  32. arqAva Vectoriales (Tipos de instrucciones) SIMD-32 Expansión (scatter  esparcir) memoria Vj x Vk M Vj Vk VL etc. 4 5 20 xx 200 1 410 410 201 200 4 130 56 202 A0 2 56 xx 203 etc. etc. 130 204 20 205 xx 206 • MPI_Scatter • MPI_Gather • MPI_Reduce MPI etc.

  33. arqAva Vectoriales (Tipos de instrucciones) SIMD-33 Máscara (masking) Vkx Vm Vi Vk Vi VL 7 66 0 200 0 2 201 230 3 202 1011001...... 91 6 203 VM 0 xx 204 0 xx 205 56 xx 206 etc. etc. ¿Utilidad? ¿Utilidad VM?

  34. arqAva Vectoriales (Memorias entrelazadas) SIMD-34 • Acceso a bloques: • Instrucciones • Arrays • Líneas de caché Vectorial ¿Un único pipe? Vectorial M0 M1 M7 M.P. V[0] V[1] V[7] V[8] V[9]   Entrelazado orden inferior n 3 Patrón de acceso a MP palabra módulo ¿Memoria multipuerto? ¿Cuántos bancos? ¿ Acceso paralelo al vector V[16] ? ¡ Demasiado secuencial !

  35. arqAva Vectoriales (Memorias entrelazadas) SIMD-35 Entrelazado de orden inferior: Acceso Concurrente Memoria de 2a+b palabras, # de módulos: m=2a, Palabras por módulo: w=2b M0 M1 Mm-1 decodificador 0 1 m-1 m m+1 2m-1 a Dirección de memoria 2m 2m+1 3m-1 palabra módulo b m(w-1) m(w-1)+1 wm-1 RIM RIM RIM RDM Para acceder a un vector en memoria (longElemento = palabra): DirInicio, NumElementos, Stride (Separación entre elementos)

  36. arqAva Vectoriales (Memorias entrelazadas) SIMD-36 Pérdida de eficiencia t de acceso () t total de un vector grande (m) t de transmisión () Sin pérdida de eficiencia Stride=1 ¿Stride=2? Módulos M7 M6 M5 M4 M3 M2 M1 M0 Tiempo ¡ Ojo al ubicar matrices en memoria ! ¿Stride = 3?

  37. arqAva Vectoriales (Memorias entrelazadas) SIMD-37 Entrelazado de orden inferior: Acceso Simultáneo Memoria de 2a+b palabras, # de módulos: m=2a, Palabras por módulo: w=2b M0 M1 Mm-1 0 1 m-1 m m+1 2m-1 b Ciclo de búsqueda Dirección de memoria 2m 2m+1 3m-1 palabra módulo a m(w-1) m(w-1)+1 wm-1 RIM RIM RIM Ciclo de acceso Multiplexador

  38. arqAva Vectoriales (Memorias entrelazadas) SIMD-38 Módulos Ciclo de búsqueda M7 M6 Ciclo de acceso M5 M4 M3 M2 M1 Tiempo M0 ‘m’ palabras (8) Pérdida de eficiencia para Stride  1

  39. arqAva Vectoriales (Funciones vectoriales compuestas) SIMD-39 Vectorización Almacenamiento de Vector Carga de Vector Carga de Vector Y(I) = S * X(I) + Y(I) Escalar x Vector Suma vectorial FUNCIONES VECTORIALES COMPUESTAS BUCLE I=1 HASTA 100 CARGA R1,X(I) CARGA R2,Y(I) MULTIPLICA R1,S SUMA R2,R1 ALMACENA Y(I), R2 FIN BUCLE IV1: CARGA VECTOR IV2: CARGA VECTOR IV3: MULTIPLICA VECTOR x ESCALAR IV4: SUMA VECTOR, VECTOR IV5: ALMACENA VECTOR Si disponemos de 2 U.F. (*,+) ¿Ociosa siempre una?

  40. arqAva Vectoriales (Encadenamiento hardware) SIMD-40 6 5 4 3 2 1 4 2 1 2 3 4 5 6 Y(I) = S * X(I) + Y(I) Conflicto en los 3 accesos a memoria Cuantos más pipelines de acceso a memoria tengamos, mejor podremos encadenar los procesamientos vectoriales 1 1 2 1 3 2 5 2 3 4 4 1 3 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 6 ENCADENAMIENTO HARDWARE Una vez extraídos X e Y, hay que realizar 2 operaciones vectoriales S * X(I) + Y(I) Vx Vector intermedio Vector intermedio 2 S Multiplicador Sumador Vy Etapa de procesamiento

  41. arqAva Vectoriales (Encadenamiento hardware) SIMD-41 Carga de Y Etapa 1 memoria Vy Carga de memoria Etapa 2 Carga de X memoria Carga de memoria V3 Vx S V4 Multiplicador Etapa de procesamiento Sumador Vy Almacenamiento de Y Etapa 3 V4 memoria Almacenamiento en memoria Y(I) = S * X(I) + Y(I) Conflicto en los 3 accesos a memoria Disponiendo de un solo pipeline para acceso a memoria (Cray I):

  42. arqAva Vectoriales (Encadenamiento hardware) SIMD-42 Carga de Y memoria Carga de memoria Carga de X memoria Carga de memoria V3 Vx S Multiplicador Etapa de procesamiento Sumador Vy Almacenamiento de Y memoria V4 Almacenamiento en memoria Y(I) = S * X(I) + Y(I) Conflicto en los 3 accesos a memoria Disponiendo de tres pipelines para acceso a memoria (Cray X-MP): Encadenamiento completo

  43. arqAva Vectoriales (Encadenamiento hardware) SIMD-43 Eficiencia sin utilizar encadenamiento: Eficiencia utilizando encadenamiento con un solo pipe de acceso a memoria: Eficiencia utilizando encadenamiento con 3 pipes de acceso a memoria: Carga X Carga Y S * X V + Y Almacena Y t Carga Y Carga X S * X V + Y Almacena Y t Carga X • Limitaciones: • # Unidades Funcionales • # Registros Vectoriales Carga Y S * X V + Y Almacena Y t

  44. arqAva Vectoriales (Encadenamiento hardware) SIMD-44 Cray Y-MP 1988 Fujitsu VP200 1988 Earth Simulator 2001 8 registros de 64 elementos • Fichero registros 64K: • 8 x 1024 • 16 x 512 • 32 x 256 • 64 x 128 • 128 x 64 • 256 x 32 72 registros de 256 elementos + 17 registros máscara FIN 64 bits 128 bits

More Related