1 / 21

Búsquedas optimizadas en la página de la ESPOL utilizando Hadoop

Búsquedas optimizadas en la página de la ESPOL utilizando Hadoop. Integrantes: Jorge Herrera M. Carlos Rodríguez R. . Índice:. Resumen Objetivos Descripción del Problema Fundamentos Teóricos Diseño e implementación Conclusiones y Recomendaciones. Resumen.

vian
Download Presentation

Búsquedas optimizadas en la página de la ESPOL utilizando Hadoop

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Búsquedas optimizadas en la página de la ESPOL utilizando Hadoop Integrantes: Jorge Herrera M. Carlos Rodríguez R.

  2. Índice: • Resumen • Objetivos • Descripción del Problema • Fundamentos Teóricos • Diseño e implementación • Conclusiones y Recomendaciones

  3. Resumen • Actualmente el sitio web de la universidad no cuenta con un proceso de búsqueda propio que permita obtener resultados de contenidos referentes del sitio de la ESPOL, para lo cual se ha desarrollado un módulo que permita realizar búsquedas en los diferentes contenidos que están publicados en el sitio web de la universidad.

  4. Objetivos • Implementar una opción de búsqueda de calidad con los contenidos de la página de la ESPOL usando Hadoop como plataforma de procesamiento masivo y escalable de datos. • Optimizar el tiempo de búsqueda utilizando los nodos del cluster de hadoop.

  5. Objetivos • Comparar los tiempos de respuesta de las búsquedas realizadas con Hadoop y el buscador actual que contiene el sitio de ESPOL. • Realizar recomendaciones y sugerencias en la opción de búsqueda a futuro dentro del sitio de ESPOL.

  6. Descripción del Problema • La opción de búsqueda de la página de la ESPOL a pesar de que realiza su función gracias al API de Google, no optimiza sus resultados en las preferencias ni la presenta organizada por algún parámetro implícito como fecha u orden alfabético de las páginas coincidentes con la búsqueda.

  7. FUNDAMENTOS TEÓRICOS • Qué es Hadoop? • HDFS (HadoopDistributed File System) • Map/Reduce

  8. Hadoop • Plataforma que permite desarrollar y ejecutar aplicaciones que procesan grandes cantidades de datos. • Modelo distribuido. • Alta disponibilidad. • Hardware de bajo costo. • Alto rendimiento.

  9. Esquema Hadoop • Modelo distribuido

  10. Hadoop Commons • Conjunto de librerías y utilidades .jar y scripts. • Interactúa con el sistema de archivos distribuidos. • Gestiona el control de acceso a los nodos del FS.

  11. HDFS • Sistema de archivos distribuido, escalable y tolerante a fallos. • Escrito en Java. • Reduce el impacto de un corte de energía. • Nodo primario o "NameNode" que  controla los "DataNodes", donde finalmente se almacenan los datos.

  12. HDFS Namenode Metadata(Name, replicas..) (/home/foo/data,6. .. Metadata ops Client Block ops Read Datanodes Datanodes B replication Blocks Rack2 Rack1 Write Client

  13. MapReduce • framework que nos permite desarrollar las aplicaciones que son capaces de procesar en paralelo los datos. • Separan los datos de entrada • Los datos de entrada son Tareas MAP • Los datos de salida del map son enviados como entradas de Tareas REDUCE.

  14. Map/Reduce

  15. Diseño e Implementación • Herramientas: • Entorno de desarrollo:NetBeans IDE 6.9.1 • Lenguaje: Java • Lenguajes de Páginas Web: JSP • Lenguaje de Scripts:JavaScript

  16. Arquitectura

  17. Diseño e Implementación

  18. Resultados

  19. Conclusiones • Hadoop es un frameworkmuy potente y realmente sencillo de utilizar, sin embargo, debemos tener muy claro que se quiere resolver y no intentar resolver todos nuestros problemas con él. • Se requiere mayor cantidad de nodos y datos para que hadoop pueda ser utilizado de manera eficiente.

  20. Recomendaciones • Se recomienda que para futuras pruebas, se debe extraer la información completa de cada uno de los sitios web de ESPOL y realizar búsquedas más exhaustivas. • También se debe realizar una actualización de las versiones de hadoop para ver las mejoras en el análisis escalable de datos en los diferentes nodos del cluster. • Se recomienda incorporar la opción de búsqueda personalizada de hadoop dentro del sitio web de ESPOL para que los usuarios puedan ver los resultados de su búsqueda más detallada y precisa. Y posiblemente la creación de sesiones para personalizar aun más las búsquedas.

  21. Gracias

More Related