Cache Memory

1. Cache Memory

2. Cache Memory • Cache memory adalah memori kecepatan tinggi, tetapi berukuran kecil, yang digunakan untuk menyimpan salinan data / instruksi yang sering diakses oleh CPU. • Cache memory berfungsi menjembatani perbedaan kecepatan antara CPU dan Memori Utama. • Dalam implementasinya jenis memori yang digunakan untuk cache adalah statik RAM (SRAM).

3. Cache Memory

4. Operasi Cache • CPU meminta isi suatu lokasi memori • Memeriksa apakah data terdapat di cache • Jika ada di cache, ambil data dari cache (cepat) • Jika tidak ada di cache, copy isi memori ke cache dan kirimkan data yang diminta ke CPU (lambat).

5. Locality of Reference • Pada saat eksekusi program, memori cenderung membaca suatu cluster di memori. • Contoh : Loop

6. Cache Design • Ukuran cache • Pemetaan (Mapping Function) • Algoritma Penggantian (Replacement Algorithm) • Write Policy • Ukuran Blok • Jumlah Cache

7. Ukuran Cache • Kecepatan • Semakin besar ukuran cache semakin cepat (sampai ukuran tertentu) • Apabila ukuran cache semakin besar, proses pengecekan cache lebih lama. • Harga • Semakin besar cache, semakin mahal

8. Pemetaan • Blok-blok memori utama akan dipetakan ke slot-slot cache. • Ukuran memori utama jauh lebih besar dari ukuran cache (C << M) sehingga tidak semua blok memori utama dapat ditempatkan pada cache. • Untuk itu diperlukan suatu cara untuk memetakan blok memori utama ke cache.

9. Pemetaan

10. Teknik Pemetaan • Direct mapping • Fully associative mapping • Set associative mapping

11. Teknik Pemetaan • Untuk menjelaskan teknik-teknik pemetaan ini digunakan data-data berikut : • Ukuran memori utama = 216 word • Ukuran cache = 211 word. • Ukuran blok memori = ukuran slot cache = 16 word = 24 word. • Jumlah blok memori = 216 / 24 = 4096 blok • Jumlah slot cache = 211 / 24 = 128 slot.

12. Direct mapping • Aturan pemetaannya: i = j modulus m di mana: • i = nomor slot cache • j = nomor blok memori utama • m = jumlah slot cache

13. Direct mapping

14. Direct mapping • Contoh: Tentukan pada slot mana blok 0, 1,128,140 akan dipetakan. Jawab: Blok 0 : i = j modulus m i = 0 modulus 128 i = 0 Jadi blok 0 akan dipetakan ke slot 0. Dengan cara yang sama : Blok 1 → Slot 1 Blok 128 → Slot 0 Blok 140 → Slot 12

15. Struktur Alamat • 7 bit pada field SLOT menentukan di slot mana word tersebut seharusnya disimpan. • 4 bit pada field WORD menentukan posisi word pada slot tersebut. • 5 bit pada field TAG menentukan blok memori yang mana yang saat itu tersimpan di cache.

16. Struktur Alamat • Contoh : • Saat ini salinan word-word dari blok 0 sedang ada di slot 0. Word-word dari blok 0 memiliki alamat 0000 0000 0000 0000 sampai 0000 0000 0000 1111. • 5 bit tertinggi dari word tersebut akan disimpan pada tag yang ada pada cache. Berarti pada saat word-word dari blok 0 ada di slot 0, maka pada tag slot 0 akan tersimpan bilangan 00000.

17. Struktur Alamat • Misalkan CPU akan mengambil sebuah word dengan alamat 0000 0000 0000 0000. • Maka yang pertama kali diproses adalah 7 bit pada field SLOT = 000 0000. • Ini berarti data tersebut seharusnya tersimpan pada slot 0. • Untuk memastikan apakah word tersebut ada pada pada slot 0, 5 bit tertinggi dari alamat tersebut (0000 0) dibandingkan dengan isi tag slot 0. Ternyata sama, kesimpulannya word tersebut ada di cache.

18. Struktur Alamat • Misalkan CPU akan mengambil sebuah word dengan alamat 1000 0000 0000 0000. • Maka yang pertama kali diproses adalah 7 bit pada field SLOT = 000 0000. • Ini berarti data tersebut seharusnya tersimpan pada slot 0. • Untuk memastikan apakah word tersebut ada pada pada slot 0, 5 bit tertinggi dari alamat tersebut (1000 0) dibandingkan dengan isi tag slot 0 (0000 0). Ternyata tidak sama, kesimpulannya word tersebut tidak ada di cache.

19. Keuntungan & Kelemahan Direct Mapping • Keuntungan teknik direct mapping adalah pada kesederhanaan proses pemetaannya. Selain itu pada saat proses pengecekan ada tidaknya word di cache hanya satu tag yang perlu dicek isinya. • Kelemahan teknik direct mapping adalah kurang fleksibel, sebuah blok harus dipetakan ke slot yang tetap, sehingga tidak bisa memanfaatkan slot yang kosong.

20. Fully associative mapping • Teknik ini digunakan untuk mengatasi ketidakfleksibelan teknik direct mapping. • Pada teknik ini setiap blok boleh dipetakan ke blok mana saja. Dengan cara ini pemetaan lebih fleksibel dan dapat memanfaatkan slot-slot yang kosong.

21. Fully associative mapping

22. Struktur Alamat • 4 bit pada field WORD menentukan posisi word pada slot tersebut. • 12 bit pada field TAG menentukan blok memori yang mana yang saat itu tersimpan di cache (pada slot tersebut).

23. Struktur Alamat • Contoh: • Misalkan CPU akan mengambil sebuah word dengan alamat 0000 0000 0000 0000. • Pada teknik direct mapping, yang pertama kali diproses adalah 7 bit pada field SLOT untuk menentukan isi TAG slot mana yang akan dibandingkan dengan 5 bit teratas dari alamat word tersebut. • Sedangkan pada teknik fully associative mapping, karena tiap blok bisa menempati slot mana saja, maka harus dilakukan pengecekan pada isi tiap TAG untuk menentukan apakah sebuah word ada di cache atau tidak.

24. Kelemahan utama teknik ini adalah lambatnya proses pengecekan karena harus dilakukan proses pengecekan pada tiap TAG.

25. Set Associative Mapping • Teknik ini merupakan kombinasi kedua teknik sebelumnya. • Pada teknik ini beberapa slot dikelompokkan menjadi sebuah set. Ukuran tiap set dapat diatur. • Tiap blok harus dipetakan pada set tertentu, tetapi bebas dipetakan pada slot mana saja, yang merupakan anggota dari set tersebut.

26. Set Associative Mapping • Aturan pemetaan : i = j modulus s di mana: • i = nomor set cache • j = nomor blok memori utama • s = jumlah set

27. Set Associative Mapping

28. Struktur Alamat • 6 bit pada field SET menentukan di SET mana word tersebut mungkin disimpan. • 6 bit pada field TAG menentukan blok memori yang mana yang saat itu tersimpan di cache (pada slot tersebut). • 4 bit pada field WORD menentukan posisi word pada slot tersebut.

29. Struktur Alamat • Misalkan CPU akan mengambil sebuah word dengan alamat 1111 0000 0000 0000. • Maka yang pertama kali diproses adalah 6 bit pada field SET = 00 0000. • Ini berarti data tersebut mungkin tersimpan pada SET 0. • Selanjutnya untuk mengetahui apakah word tersebut memang ada pada pada SET 0 atau tidak, 6 bit tertinggi dari alamat tersebut (1111 00) dibandingkan dengan isi tiap TAG yang ada pada SET 0. • Jika ada yang sama, berarti word tersebut ada pada SET 0 pada slot yang isi TAG-nya sama dengan keenam bit tersebut. Jika tidak ada yang sama, berarti word tersebut tidak ada di cache dan harus diambil dari memori utama.

30. Keuntungan • Keuntungan teknik ini adalah lebih fleksibel dibanding dengan teknik direct mapping, tetapi juga proses pembandingan isi tagnya relatif lebih cepat dibanding teknik fully associative karena jumlah tag yang dibandingkan lebih sedikit.

31. Algoritma pergantian • Pada teknik direct mapping, jika sebuah blok akan disalinkan ke sebuah slot dan slot tersebut sedang terisi, maka blok yang baru tersebut langsung akan menggantikan blok yang lama. • Pada teknik fully associative dan set associative mapping, jika sebuah blok akan disalinkan ke slot cache dan semua slot saat itu penuh, maka harus ditentukan isi slot mana yang harus diganti. Untuk itu diperlukan suatu algoritma penggantian.

32. Algoritma pergantian • Algorima penggantian yang bisa digunakan adalah : • First In First Out (FIFO) : mengganti blok yang paling lama menempati cache. • Least Recently Used (LRU) : mengganti blok yang paling lama tidak digunakan. • Least Frequently Used (LFU) : mengganti blok yang paling jarang digunakan. • Random : mengganti secara acak.

33. Write Policy • Sebelum sebuah blok yang berada di dalam cache dapat diganti, harus diketahui apakah blok tersebut sudah diubah selama di cache atau tidak. • Bila belum diubah, blok lama dapat langsung ditindih. • Bila sudah diubah, maka isi memori utama harus diperbaharui.

34. Write Policy • Ada 2 write policy yang biasa digunakan, yaitu: • Write Through • Write Back

35. Write Through • Penulisan dilakukan pada cache dan juga memori utama • Akan menyebabkan banyak trafik • Memperlambat proses penulisan

36. Write Back • Pada awalnya, perubahan hanya dilakukan di cache. • Sebuah bit akan diset apabila update terjadi. • Pada saat blok akan diganti, penulisan pada memori hanya dilakukan apabila bit tersebut dalam keadaan diset. • Setiap I/O harus mengakses langsung ke cache karena isi memori utama tidak valid. • Rangkaian menjadi rumit.

37. Ukuran kinerja cache • Ukuran kinerja cache, dilihat berdasarkan miss ratio : • Hit ratio (HR) = Jumlah referensi yang mengacu pada cache / total jumlah referensi • Miss ratio (MR) = 1 - HR

38. Intel Processor’s Cache • 80386 – no on chip cache • 80486 – 8k using 16 byte lines and four way set associative organization • Pentium (all versions) – two on chip L1 caches • Data & instructions • Pentium 4 – L1 caches • 8k bytes • 64 byte lines • four way set associative • L2 cache • Feeding both L1 caches • 256k • 128 byte lines • 8 way set associative

39. Pentium 4 Diagram (Simplified)

40. Pentium 4 Core Processor • Fetch/Decode Unit • Fetches instructions from L2 cache • Decode into micro-ops • Store micro-ops in L1 cache • Out of order execution logic • Schedules micro-ops • Based on data dependence and resources • May speculatively execute • Execution units • Execute micro-ops • Data from L1 cache • Results in registers • Memory subsystem • L2 cache and systems bus

41. Pentium 4 Design Reasoning • Decodes instructions into RISC like micro-ops before L1 cache • Micro-ops fixed length • Superscalar pipelining and scheduling • Pentium instructions long & complex • Performance improved by separating decoding from scheduling & pipelining • (More later – ch14) • Data cache is write back • Can be configured to write through • L1 cache controlled by 2 bits in register • CD = cache disable • NW = not write through • 2 instructions to invalidate (flush) cache and write back then invalidate