1 / 9

Map-Reduce

Map-Reduce. Input : a collection of scientific articles on different topics, each marked with a field of science Mathematics, Computer Science, Biology, Chemistry, Geology, etc. Output : the field of science where the longest word occurs (in all the articles) ‏

deliz
Download Presentation

Map-Reduce

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Map-Reduce • Input: a collection of scientific articles on different topics, each marked with a field of science • Mathematics, Computer Science, Biology, Chemistry, Geology, etc. • Output: the field of science where the longest word occurs (in all the articles)‏ • Nicotinamideadeninedinucleotidephosphate

  2. Answer: • First round • map(field,paper)‏ • reduce(field, {longest words in each paper})‏ • Second round (distributed sort)‏ • map(field, longest word)‏ • reduce(word size, field)‏ • Do nothing

  3. מבוא • נתונים 4 תהליכים בלתי תלויים שרוצים להריץ על מחשב עם מעבד אחד (שיכול להריץ רק חוט אחד בו-זמנית). ביצוע סדרתי מריץ את התהליכים אחד אחרי השני. ביצוע "מקבילי" מריץ את כל התהליכים בו-זמנית. ה-speedup של הביצוע "המקבילי" ביחס לביצוע סדרתי בהכרח: • גדול או שווה ל-1 • קטן או שווה ל-1 • אין שינוי בזמן ריצה • לא ניתן לדעת

  4. Answer • לא ניתן לדעת • The reason is that the run can be faster ( because of better caching, for example)‏ • And can be slower ( because of context switches)‏ • And can be the same

  5. BSP • איזו מההנחות הבאות אינה הנחה של מודל BSP? • לכל המעבדים כמות זיכרון זהה • כל המעבדים בעלי יכולת חישוב (מהירות) זהה • רשת תקשורת שמאפשרת יחס h (h-relation) כלשהו • רשת תקשורת בעלת רוחב פס וזמן תגובה (latency) זהים בכל כיוון

  6. Answer • BSP doesn't assume anything about the memory • It does assume same CPU speed • It does assume that h-relation is possible • It does assume homogeneous communcations

  7. Race Detection • נתון הקוד הבא: • B1 = FALSE, B2 = FALSE • Thread 1 Thread 2 • X++ IF (B2 == TRUE)‏ • B1 = TRUE IF (B1 == TRUE)‏ • B2 = TRUE X-- • כמה Apparent data-races יש בקוד? 3 • כמה Feasible data-races יש בו? 1

  8. Answer • Feasible data races are also apparent, but not vice versa • So there is only one feasible (semantically possible) data race for B2 (written and read simultaneously by t1 and t2 • There are 3 apparent data races (B2, B1, X), since they are not protected by any lock

  9. Race Detection • באלגוריתם Djit שבודק תכנית בעלת n חוטים באורך r גישות לזיכרון (כל חוט) והניגשת ל-s משתנים (כל חוט) ב-t מסגרות זמן (לכל החוטים אותו מספר t ), גודל היסטורית הגישות לכל משתנה הוא (גודל במילות מחשב)‏ • nrts • 2nrts • 2nrt • 2nr • 2n

More Related