170 likes | 267 Views
A Jövő Internet alkalmazásai. Sidló Csaba, Benczúr András {sidlo, benczur}@ilab.sztaki.hu MTA SZTAKI Informatika Kutató Laboratórium Adatbányászat és Webes Keresés Csoport. Jövő Internet NTP 2011. November 15. Adatbányászat és Webes Keresés Csoport. Benczúr András
E N D
A Jövő Internet alkalmazásai Sidló Csaba, Benczúr András {sidlo, benczur}@ilab.sztaki.hu MTA SZTAKI Informatika Kutató Laboratórium Adatbányászat és Webes Keresés Csoport Jövő Internet NTP 2011. November 15.
Adatbányászat és Webes Keresés Csoport Benczúr András Informatika Labor vezető Fekete Zsolt elosztott adatbányászat, mesterséges intelligencia 3 posztdoktor 8 doktorandusz 7 fejlesztő sok végzett diákunk: Google, Yahoo, Morgan Stenley, … Sidló Csaba elosztott adattárházak, üzleti intelligencia
Adatbányászat és Webes Keresés Csoport egyeditechnológiákextrémadatméretekre: • (web)keresés, szövegfeldolgozás • Európai Internet Archívum Web Spam szűrés • viselkedésmodellezés, eseményfelderítés • gráf-alapú biztosítási csalás felderítő eszköz • együttműködés az EU terrorelhárítás adatbányászati támogatás előkészítésére • nagyméretű naplóállományok elemzése, riasztás • lemorzsolódás, árrugalmasságvizsgálatok • hazai biztosítók, telefontársaságok • azonosságfeloldás (entityresolution) • ügyfél-adatok, háztartások • ajánlórendszerek • KDD Cup első helyezés
Tartalom • EU FIRE kezdeményezés: Future Internet Research and Experimentation • célok • projektek, csatlakozási lehetőségek • alkalmazások • jövő média • szenzorok, intelligens környezet • nagy adatok • felhő (cloud) infrastruktúra
Jelen és közelmúlt projektjei, testbed-ek FIRE célok: • hálózatok (alap infrastruktúrák, protokollok, vezetéknélküli) • felhő (infrastruktúra, szolgáltatások, nagyléptékű elosztott adatfeldolgozás) • tartalom, felhasználók (IMS: IP MultimediaSubsystem, UDI: UserDrivenInnovation, Web TV) • szenzorok, Internet of Things, intelligens környezet forrás: http://www.ict-fire.eu/fileadmin/images/fire.jpg
Csatlakozási lehetőség futó projektekhez • cél a FIRE testbed-ek használata • open call: minden integrált projekt (IP) kötelező része http://www.ict-fire.eu/home/fire-calls/open-calls.html • relatív egyszerűbb, de erősen túljelentkezett • jövő évi kiírások nyár végén várhatók példák: • Smartsantander: intelligens város http://www.smartsantander.eu/index.php/open-calls • CREW: rádiófrekvenciák használata http://www.crew-project.eu/sites/default/files/CREW_Announcement_Open_Call1_v2_4_final.pdf • OpenLab: hibrid hálózat middleware még nyitott, november 30.http://www.ict-openlab.eu/open-calls.html
FIRE Alkalmazások Intelligens város, környezet, energiahatékonyság Multimédia Web adat példák részben innen: http://www.smartsantander.eu/images/IoT_Comic_Book.pdf
Szenzorok városokban … • fenntartható közlekedés – meteorológia, szennyezettség • parkolás, útdíj optimalizálás használat mérésével • személyre szabott, mobil információ • példa: SmartSantander szenzorhálózat
GPS trajektóriák: magyar alkalmazás példa (kitérő) forrás: http://matra115.huhttp://woophoo.comhttp://monotic.com
… szenzorok épületekben … • WISEBED • 9 helyszín • 100-200 szenzor/helyszín • alkalmazás szoftver testbed
… és a mezőgazdaságban Pl. SmartAgriFood ma 12:10-12:30
Multimédia • közösségi, P2P, személyre szabott • platform konvergencia • saját hálózati igény • heterogén • elosztott • QoS igény • példa: VITAL++ tesztbed • BitTorrent kliensek • Azureus (Vuze) • Zene • Kazaa • Video • *-Tube
Web adatok • fő hajtóerő: marketing optimalizálás • időbeliség, trendek, vélemény-változások • példa: E-health • járványok követése és előrejelzése • védőoltás-ellenes aktivitás monitorozása • információgyűjtés és együttműködés • spam, spam, spam … • példa: LAWA projectVirtuális Web Obszervatórium forrás: VAST Challenge 2011
Nagy adathalmazok minden FIRE projekt jellemzője nagy adatok elérhető közelségben hardver és egyéb feldolgozási korlátok
Extrém méretű adatok, „big data” • Web (100G oldal, 1-10 KB, Internet Achívum 200TB/2hó) • Web Retrieval, Spam & QualityChallenges • 1-25 Tbytes, ált. adathordozó áron • LAWA FP7: Web adatok felhő tesztbeden • emberigének(3 milliárdbázispár) • ZINC kereskedelembenelérhető 2M potenciálisgyógyszermolekula, ligand.info >1M térszerkezet • közlekedés, parkolás • SmartSantander: 12,000 actuators, sensors and tags • szenzorok: energia-gazdálkodás, üzemek, mezőgazdaság • IT-architektúrák: naplók
Extrém adatméretek: korlátok • hardware képessége 18 havonta duplázódik • adatmennyiség még gyorsabban növekszik • külső tár elérési sebessége sokkal lassabban nő • elosztott környezet architekturálisan még nehéz maradt
Köszönöm a figyelmet! Sidló Csaba Benczúr András http://datamining.sztaki.hu {sidlo,benczur}@ilab.sztaki.hu