Download
1 / 24
240 likes | 433 Views
TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG KHOA CN ĐIỆN TỬ & TRUYỀN THÔNG . Semina ĐỀ TÀI : SUPER COMPUTER Người thực hiện : Đô ̃ Thi ̣ Loan Đơn vị công tác : Bô ̣ môn CN KTMT– Khoa CN ĐT&TT. NỘI DUNG. GIỚI THIỆU VỀ SUPER COMPUTER WAREHOUSE-SCALE COMPUTER
E N D
TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNGKHOA CN ĐIỆN TỬ & TRUYỀN THÔNG Semina ĐỀ TÀI: SUPER COMPUTER Ngườithựchiện: Đỗ Thị Loan Đơn vị côngtác: Bộ môn CN KTMT–Khoa CN ĐT&TT
NỘI DUNG GIỚI THIỆU VỀ SUPER COMPUTER WAREHOUSE-SCALE COMPUTER HỆ THỐNG GOOGLE WSC
I. GIỚI THIỆU VỀ SUPER COMPUTER Supercomputer (siêumáytính) làmộtmáytínhcótínhvượttrộitrongkhảnăngvàtốcđộxửlý. Siêumáytínhhiện nay cótốcđộxửlýhàngnghìn teraflop hay bằngtổnghiệusuấtcủa 6000 chiếcmáytínhhiệnđạinhấthiện nay gộplại. Hầu hết các siêu máy tính đều sử dụng các phương pháp xử lý song song: chúng chứa một giàn các vi xử lý cực nhanh. Có thể hiểusiêumáytính là cácmáytínhxử lý song song
Hình 1: Siêumáytính Cray XT5, 22/05/2009 chạynền Linux, bộnhớ 362.000 GB, gồm 184 tủmáy, mỗitủmáychứa 192 chip Opteron 4 lõicủa AMD
II. WAREHOUSE-SCALE - WSC GIỚI THIỆU WSC là mộtsiêumáytínhmới WSC là nềntảngcủacácdịch vụ Internet như: tìmkiếmdữliệu, mạngxãhội, bảnđồtrựctuyến, chia sẻ video, muabántrựctuyến, thưđiệntử, … Một WSC chứatừ 50.000 đến 100.000 máychủ WSC là hạ tầngcủacácdịch vụ Internet phục vụ chohàngnghìnngườidùngmộtlúc vì vậy WSC sử dụngphươngphápxử lý cácứngdụngtheolô.
Nhântố quantrọngđể thiếtkế WSC • Chi phí thực hiện • Hiệu suất năng lượng • Vào/ra mạng • Tương tác và các công việc xử lý theo lô • Độ tin cậy thông qua sự dư thừa • Quan tâm đến thuận lợi và khó khăn khi xây dựng một WSC do hệ thống có quy mô rất lớn • …
Hình 2: Thốngkêsự hỏnghóccủahệ thống WSC trongmộtnăm
2.1 Kiến trúc của WSC Hình 3: Kiếm trúc của WSC
2.2 Cácthànhphầntrongkiếntrúc WSC Thiết bị lưutrữ - Cácmáychủchứacác ổ cứngbêntronghoặcsửdụngcác ổ cứngmạng NAS (Network Attached Storage) thông qua cácđườngtruyềntốcđộrấtcaonhưngthôngthườngcác WSC dựavào ở các ổ cứngđượctíchhợpsẵnbêntrong. - Các ổ cứngbêntrongmáychủluôntíchhợpcôngnghệ RAID đểbảođảm an toàndữliệuvàtốcđộtruyền.
Array Switch Hình 4: Cấu trúc phân cấp các Switch trong WSC
Phâncấpbộ nhớ trong WSCChiabộ nhớ của WSC thành 3 cấp: Local, Rack và Array Hình 5: Đánh giá độ trễ, băng thông và dung lượng của bộ nhớ phân cấp trong một WSC
Từ hình 5 ta có đồ thị so sánhcácgiá trị thànhphầntrongbộ nhớ phâncấp WSC. Hình 6: Đồ thị của độ trễ, băng thông và dung lượng của bộ nhớ phân cấp trong 1WSC
Môhìnhmạng 3 tầngđượcdùngđể nốicác array vớinhauvà nốitới Internet
2.3 Môhìnhlậptrìnhcho WSC MapReduce: • MapReducelàmộtmôhìnhvậnhànhđơnlệnhđadữliệu SIMD (Single Instruction Multi Data). Cácdữliệunàyđượcđặttạicácmáytínhphântán, hoạtđộng song songđộclậpvớinhau • Dữliệuđầuvàocóthểlàdữliệucócấutrúchoặcdữliệukhôngcấutrúc. • Cácmáytínhlưutrữcácdữliệuphântántrongquátrìnhthựcthiđượcgọilàcácnút (nodes) củahệthống. Cácmáynàyđượcgọi là Cluster – Nếusử dụngchung 1 phầncứng Grid – Nếuhoạtđộngriêng rẽ trêncácphần cứngkhácnhau.
NguyêntắchoạtđộngcủaMapReduce • MapReduce gồm 2 quá trình thực hiện là hàm "Map" và "Reduce". Ý tưởng chính của MapReduce chính là thực hiện việc “Chia để trị” - Chia vấn đề cần xử lý (dữ liệu) thành các phần nhỏ để xử lý - Xử lý các vấn đề nhỏ đó 1 cách song song trên các máy tính phân tán hoạt động độc lập. - Tổng hợp các kết quả thu được để đưa ra kết quả cuối cùng
NguyêntắchoạtđộngcủaMapReduce NhưvậytoànbộquátrìnhMapReducecóthểhiểunhưsau: • Đọcdữliệuđầuvào • Thựchiênxửlýcácphầndữliệuvào (xửlýtừngphầnmột) (thựchiệnhàm Map) • Trộnvàsắpxếpcáckếtquảthuđượctừcácmáytínhlàmsaođểđượckếtquảtiệnlợinhất so vớimụcđíchcủaquátrình. • Tổnghợpcáckếtquảtrunggianthuđượctừcácmáytínhphântán (Thựchiệnhàm Reduce) • Đưarakếtquảcuốicùng.
ƯuđiểmcủaMapReduce Rútngắnthờigianxử lý toànbộ dữ liệu Xửlýtốtbàitoánvềlượngdữliệulớncócáctácvụphântíchvàtínhtoánphứctạpkhônglườngtrướcđược. Cóthểtiếnhànhchạy song songtrêncácmáyphântán 1 cáchchínhxácvàhiệuquả. Khôngphảiquantâmđếnsựtraođổidữliệugiữacác clusters vớinhauvìchúnghoạtđộng 1 cáchđộclập, khôngphảitheodõixửlýcáctácvụ, xửlýlỗi. CóthểthựchiênmôhìnhMapreducetrênnhiềungônngữnhư : Java, C++, Python, Perl, Ruby, C vớicácthưviệntươngứng.
2.4 Cơsở vậtchấtcủa WSC Vị trí lắpđặt Do WSC nógầngiốngvớimạngtrụccủa Internet nênvịtrílắpđặtcủanóphảiđảmbảovềnguồnđiện, thuếsuất, cókhảnăngchịuđượcrủiro do bão, lụt, độngđất. Chi phí cho WSC - Chi phí đầutư (CAPEX) là chi phí choviệcxâydựngmột WSC - Chi phí hoạtđộng (OPEX) là chi phí để vậnhànhmột WSC
Phânphốiđiệnnăng • Các WSC tiêuthụđiệnnăngrấtlớn do vậyhạtầngphânphốiđiệnphảiđượcthiếtkếtheotừngcấptheohìnhbên. • CácWSCđượccungcấpđiệntừhệthốngđiệncaothếđãđượchạáp, đồngthờibêntrongtòanhàlắpđặt WSC cònđượcsửdụnghệthống UPS- hệthốngcấpđiệnkhôngbịngắtvàcácmáyphátđiệnriêng.
Hệ thốnglàmmát • Nhiệtđộ lýtưởngcủacáctòanhàtrongkhoảngtừ 64F đến 71F sẽđảmbảođượcđộbền, tínhổnđịnhcủacácthiếtbịbêntrong WSC. Hệthốnglàmmátcủa WSC sửdụngnhiềuphươngphápkhácnhaunhư: làmmátbằngkhôngkhí, làmmátbằngnước… Đượcmôtảhìnhbên.
III. HỆ THỐNG GOOGLE WSC * Google WSC có 45 container(12.2 x 2.4 x 2.9m). * Mỗi container chứa: 1160 máychủ * Google WSC=> 52.200 máychủ. * Mỗi container là độc lập và chỉ kết nối bên ngoài bởi hệ thống điện, mạng máy tính và nước làm mát.
Máychủ trong Google WSC • Nguồn điện bên trái, • 2 HDD phía trên, • 2 CPU 2.2GHz AMD Barcelona, • 8 Gb RAM, • 2 NIC 1Gbit
