Chương 17 Hệ Thống Tập Tin Phân Tán

1. Chương 17 Hệ Thống Tập Tin Phân Tán Sinh viên thực hiện: • Lê Văn Tỉnh • Trịnh Xuân Tiến

2. Chương 17: Hệ Thống Tập Tin Phân Tán Nền tảng Đặt tên và minh bạch Truy cập tập tin từ xa Stateful so Stateless phục vụ Mô hình tập tin Ví dụ: AFS

3. Mục tiêu • Để giải thích sự đặt tên cơ chế cung cấp các vị trí minh bạch và độc lập • Mô tả các phương pháp khác nhau để truy cập tập tin phân tán • Để phản stateful và stateless phân phối tập tin máy chủ • Làm thế nào để hiển thị rộng các tập tin trên máy khác nhau trong một hệ thống tập tin phân tán là một sự thừa hữu ích cho các cải thiện có sẵn • Giới thiệu ANDREW: Một ví dụ về hệ thống tập tin phân tán

4. Nền • Hệ thống tập tin phân tán (DFS) - một việc triển khai thực hiện phân phối của các cổ điển thời gian-chia sẻ mô hình của một hệ thống tập tin, nơi có nhiều người dùng chia sẻ các tệp tin và lưu trữ nguồn tài nguyên • Một DFS quản lý các thiết bị lưu trữ phân tán • Tổng thể không gian lưu trữ được quản lý bởi một DFS là các khác nhau, nằm xa, nhỏ hơn không gian lưu trữ • Có mối quan hệ giữa không gian lưu trữ và tập các file

5. Cấu trúc DFS • Dịch vụ (Service) – Các phần mềm chạy trên một hoặc nhiều máy và cung cấp một loại chức năng cho các máy khách chưa biết a priori • Máy chủ (Server) - dịch vụ phần mềm chạy trên một máy • Máy khách (Client)- quá trình mà có thể gọi một dịch vụ bằng cách sử dụng một bộ các hình thức hoạt động mà khách hàng giao diện của nó • Giao diện máy khách cho một tập tin dịch vụ được hình thành bởi một bộ các toán tử tập tin cơ bản (tạo, xóa, đọc, viết) • Giao diện máy khách của một DFS nên được che giấu, tức là, không phân biệt giữa các tập tin cục bộ và các tập tin từ xa

6. Đặt tên và minh bạch • Đặt tên – Ánh xạ giữa địa chỉ logic và đối tượng vật lý • Ánh xạ đa cấp – Một sự trừu tượng hóa các tập tin để ẩn đi các chi tiết của cách thức và nơi mà tập tin thực sự lưu trữ trên đĩa • Một thể hiện DFS ẩn các vị trí nơi trên mạng lưới các tập tin được lưu trữ • Đối với một tập tin đang được replicated trong một số trang web, các lập bản đồ sẽ đem lại một bộ các địa điểm của tập tin này của bản; cả sự tồn tại của nhiều bản sao và vị trí của họ đang ẩn

7. Đặt tên các cấu trúc • Vị trí minh bạch - tên tập tin, không cần chỉ rõ vị trí lưu trữ vật lý của tập tin • Vị trí độc lập - tên tập tin không cần phải được thay đổi khi các tập tin của thiết bị lưu trữ thay đổi

8. Cấu trúc tên - Ba phương pháp tiếp cận chính • Tên tập tin được tạo thành bằng cách kết hợp giữa tên của máy chủ và tên cục bộ; đảm bảo một tên duy nhất trên cả hệ thống • Đính kèm thư mục xa để thư mục địa phương, việc xuất hiện của một cây thư mục coherent; chỉ gắn kết trước đó xa thư mục có thể được truy cập minh bạch • Tổng hợp của thành phần hệ thống tập tin Một tên duy toàn cầu cơ cấu rộng tất cả các tệp tin trong hệ thống Nếu một máy chủ không có sẵn, một số arbitrary bộ thư mục khác nhau trên máy cũng trở nên không có sẵn

9. Truy cập tập tin từ xa • Cơ chế phục vụ từ xa là một trong những phương pháp chuyển giao • Làm giảm lưu lượng truy cập mạng bằng cách lưu lại những dữ liệu vừa được xử lý ở trong cache, vậy nên việc truy nhập lại các thông tin này được nhanh chóng hơn -Nếu dữ liệu cần chưa được lưu trữ, một bản sao của dữ liệu được đưa từ các máy phục vụ đến người sử dụng -Truy cập được thực hiện trên các bản sao lưu trữ

10. Truy cập tập tin từ xa -Các tập tin định danh với một bản sao gốc tại máy chủ, nhưng các bản sao của các tập tin nằm rải rác ở các cache khác nhau -Cache-Vấn đề khó khăn - giữ các bản sao lưu trữ, phù hợp với những tập tin gốc +Có thể gọi là bộ nhớ ảo mạng

11. Cache cục bộ-Đĩa-Bộ nhớ chính • Ưu điểm của bộ nhớ cache: Chi tiết đáng tin cậy Lưu trữ dữ liệu lưu giữ trên đĩa của bạn vẫn có phục hồi trong thời gian và không cần phải tải xuống một lần nữa • Ưu điểm của bộ nhớ chính - caches: Cho phép các máy trạm không cần có đĩa Dữ liệu có thể được truy cập nhanh hơn

12. Cache cục bộ-Đĩa-Bộ nhớ chính • Ưu điểm của bộ nhớ chính - caches: Speedup hiệu suất lớn hơn trong ký ức Server caches (được sử dụng để tăng tốc độ đĩa I / O) đang có trong bộ nhớ chính bất kể nơi mà người dùng đang nằm caches; bằng cách sử dụng chính-bộ nhớ caches trên máy cho phép người sử dụng một bộ nhớ đệm, cơ chế cho máy chủ và người dùng

13. Cachefs and its Use of Caching

14. Các cách cập nhật cache • Viết đè - viết dữ liệu vào đĩa ngay sau khi chúng được đặt trên bất kỳ bộ nhớ cache Đáng tin cậy, nhưng hoạt động kém hiệu quả • Viết định kỳ- để sửa đổi, bổ sung bằng văn bản của bộ nhớ cache và sau đó bằng văn bản để thông qua các máy chủ sau Độ tin cậy thấp; dữ liệu chưa được lưu sẽ bị mất khi máy của người sử dụng bị treo Viết truy cập nhanh chóng hoàn thành, một số có thể được ghi đè dữ liệu trước khi ghi lại, và như vậy không bao giờ cần phải được viết ở tất cả các

15. Các cách cập nhật cache • Biến thể - viết-on-gần, ghi dữ liệu trở lại máy chủ khi các tập tin chỉ, đóng cửa • Dao động - quét bộ nhớ cache theo chu kỳ bình thường và tuôn ra khối đã được sửa đổi kể từ cuối cùng quét • Tốt nhất cho các tập tin được mở cho dài thời gian và thường xuyên sửa đổi

16. Consistency • Khởi xướng cách tiếp cận máy khách • Là địa phương lưu trữ bản sao của dữ liệu, phù hợp với những bậc thầy bản sao? • Khôûi ñaàu khách hàng là một kiểm tra hiệu lực • Phục vụ hồ sơ, cho mỗi khách hàng, các (phần của) file nó caches • Khi phát hiện một vụ tiềm năng inconsistency, nó phải phản ứng • Server-khởi xướng cách tiếp cận • Server kiểm tra xem dữ liệu của người dân địa phương đang có, phù hợp với những bậc thầy sao chép

17. So sánh cache và truy nhập từ xa • Máy chủ đang có số chỉ thỉnh thoảng trong bộ nhớ đệm (hơn là cho mỗi truy cập) • Bộ nhớ đệm trong, nhiều truy cập từ xa bằng cách xử lý hiệu quả bộ nhớ cache của địa phương; truy cập từ xa nhất sẽ được phục vụ như nhanh như những địa phương • Tăng cường tiềm năng cho các quy mô • Giảm tải máy chủ và mạng lưới giao thông • Xa phục vụ phương pháp xử lý mọi truy cập từ xa trên toàn mạng; bị phạt trong lưu lượng truy cập mạng, máy chủ tải, và hiệu suất • Tổng số chi phí trong mạng lưới truyền chunks lớn của dữ liệu (trong bộ nhớ đệm) là thấp hơn một loạt các câu trả lời cho các yêu cầu cụ thể (xa-dịch vụ)

18. Caching and Remote Service (Cont.) • Bộ nhớ đệm là các truy cập trong các mẫu với Infrequent viết • Được hưởng lợi từ bộ nhớ đệm khi thực hiện thực hiện trên máy với đĩa hoặc địa phương hay chính lớn kỷ niệm • Với thường xuyên viết, số lượng đáng kể chi phí phát sinh để khắc phục vấn đề bộ nhớ cache-quán • Xa truy cập vào đĩa, bộ nhớ nhỏ--công suất máy móc nên được thực hiện thông qua các phương pháp xa-dịch vụ • Trong bộ nhớ đệm, càng thấp intermachine giao diện là hình thức khác nhau trên giao diện người sử dụng • Trong xa-dịch vụ, các giao diện intermachine đối xứng với địa phương, người sử dụng hệ thống tập tin giao diện

19. Stateful File Service • Cơ chế Máy khách sẽ mở ra một tập tin • Server thu thập thông tin về tập tin từ các đĩa, các cửa hàng của nó trong bộ nhớ, và cung cấp cho khách hàng kết nối một định danh duy nhất cho các khách hàng và mở tập tin • Định danh được sử dụng cho các truy cập cho đến khi kết thúc phiên • Tăng hiệu suất • Server phải khai hoang chính-bộ nhớ không gian được sử dụng bởi các khách hàng đang có những người không còn hoạt động • Stateful máy chủ biết, nếu một tập tin đã được mở ra cho sequential truy cập và như vậy có thể đọc trước kế tiếp khối • Ít hơn đĩa truy cập

20. Stateless File Server • Tất cả các yêu cầu xác định các tập tin và vị trí trong tập tin • Tránh tình trạng thông tin bằng cách làm cho mỗi yêu cầu tự-chứa • Không cần phải chấm dứt và thiết lập một kết nối bằng cách mở và đóng hoạt động

21. Sự khác biệt giữa Stateful & Stateless Service • Phục hồi thất bại • Bại stateful A tất cả các máy chủ của nó bay hơi của tiểu bang trong một vụ đụng xe • Khôi phục nhà nước do phục hồi giao thức dựa trên một hộp thoại với khách hàng, hủy bỏ hoặc hoạt động đã được tiến hành khi xảy ra vụ đụng xe • Để phục vụ nhu cầu của khách hàng được nhận thức thất bại trong không gian để khai hoang giao cho các hồ sơ nhà nước của khách hàng quá trình hỏng (orphan phát hiện và loại bỏ) • Stateless với máy chủ, các tác động của máy chủ thất bại cát phục hồi được hầu hết các unnoticeable • Một reincarnated máy chủ mới có thể đáp ứng một tự-chứa yêu cầu mà không có bất kỳ khó khăn

22. Distinctions (Cont.) • Hình phạt bằng cách sử dụng cho các dịch vụ stateless mạnh mẽ:còn tin nhắn yêu cầubổ sung áp khó khăn về thiết kế Cửa hàng miễn thuế DFS • Một số môi trường stateful yêu cầu dịch vụchậm xử lý yêu cầu • UNIX sử dụng các tập tin và descriptors offsets chính là inherently stateful; máy chủ phải duy trì bảng để đồ tập tin descriptors để inodes, và lưu trữ hiện nay bù đắp trong vòng một tập tin • Một máy chủ bắt đầu sử dụng máy chủ-cache xác nhận không thể cung cấp dịch vụ stateless, vì nó duy trì một bản ghi trong đó có các tập tin được lưu trữ do đó các khách hàng

23. File Replication • Cải thiện tính khả dụng và dịch vụ có thể rút ngắn thời gian • Bản của cùng một tập tin nằm trên thất bại-độc lập, máy móc • Tồn tại của bản nên được cấp độ cao hơn để vô • Bản phải được phân biệt một từ khác do khác nhau ở cấp thấp hơn tên • Tin cập nhật - bản của một tập tin biểu trong cùng một tổ chức hợp lý, và như vậy, một cập nhật cho bất kỳ replica phải được phản ánh trên tất cả các bản • Đặt tên một chương trình có bản đồ replicated tên tập tin cho một replica • Nhu cầu rộng - đọc một nonlocal replica gây ra nó sẽ được lưu trữ địa phương, do đó tạo ra một nonprimary replica mới.

24. Ví dụ: AFS • Một môi trường tính toán phân tán (Andrew), phát triển từ năm 1983 tại Đại học Carnegie-Mellon, mua do IBM và phát hành như Transarc DFS, bây giờ mở sourced như OpenAFS • AFS cố gắng để giải quyết các vấn đề phức tạp như mặc đồng phục không gian tên, địa điểm-độc lập chia sẻ tập tin, khách hàng, bên trong bộ nhớ đệm (cache với sự), xác thực an toàn (qua Kerberos) Cũng bao gồm máy chủ-bên trong bộ nhớ đệm (thông qua bản), cao sẵn có phòng Có thể chiều dài 5.000 công đoạn

25. ANDREW (tiếp) • Máy khách được trình bày với một không gian partitioned của tên tập tin: không gian tên cục bộ và không gian tên chia sẻ • Tận tâm phục vụ, gọi là Vice, hiện nay các chia sẻ không gian tên cho các khách hàng như là một đồng, giống hệt nhau, minh bạch và vị trí tập tin Hierarchy • Tên của người dân địa phương không gian là hệ thống tập tin gốc của một công đoạn, mà từ đó các chia sẻ không gian tên descends • Công đoạn chạy các chất đạo đức giao thức để liên lạc với Vice và được yêu cầu phải có đĩa cục bộ, nơi chúng lưu trữ không gian tên cục bộ • Máy chủ gọi chung là chịu trách nhiệm về quản lý lưu trữ và chia sẻ của các không gian tên

26. ANDREW (tiếp) • Máy khách và máy chủ được tổ chức trong nhóm liên kết bởi một hệ thống mạng LAN • Một nhóm bao gồm một tập hợp các công đoạn và một nhóm máy chủ và được kết nối với hệ thống bởi một router • Một chìa khóa cơ chế lựa chọn cho các hoạt động tập tin từ xa là toàn bộ tập tin trong bộ nhớ đệm Mở ra một tập tin gây ra nó sẽ được lưu trữ, trong toàn bộ của nó, trên đĩa cục bộ

27. ANDREW: chia sẻ không gian tên • Andrew's là khối tin, các đơn vị thành phần nhỏ được liên kết với các tập tin của một khách hàng • Một fid xác định một Phó tệp tin hoặc thư mục - Một fid là 96 bit dài và có ba thành phần bằng-chiều dài: • Số lượngvnode số - chỉ mục vào một mảng có chứa các inodes của tác phẩm trong một khối lượng • Fids đang có vị trí minh bạch, do vậy, phong trào tập tin từ server để phục vụ không vô hiệu lưu trữ thư mục nội dung • Vị trí thông tin được lưu giữ trên một khối lượng cơ sở, và các thông tin này được replicated trên mỗi máy chủuniquifier - cho phép tái sử dụng của vnode số điện thoại, do đó vẫn giữ một số cấu trúc dữ liệu, gọn

28. ANDREW: Các thao tác tập tin • Andrew caches toàn bộ file mẫu máy chủ Một khách hàng với các công đoạn tương Phó máy chủ chỉ trong thời gian mở và đóng của các tập tin • Venus - caches file Phó từ khi chúng được mở ra, và các cửa hàng sửa đổi bản sao của tác phẩm trở lại khi họ đang đóng cửa • Venus caches nội dung của thư mục, và Biểu tượng liên kết, cho tên đường dẫn-dịch thuật • Đọc và viết một byte của tập tin được thực hiện bởi các hạt nhân mà không có Venus can thiệp vào lưu trữ bản sao • Trường hợp ngoại lệ cho các chính sách trong bộ nhớ đệm được sửa đổi, bổ sung cho các thư mục được thực hiện trực tiếp trên máy chủ chịu trách nhiệm cho rằng thư mục

29. ANDREW :Thực thi • Quá trình xử lí của máy khách được gửi đến một máy chủ UNIX bằng một tập các lời gọi hệ thống • Venus thực hiện đường dẫn-Tên dịch thành phần bằng cách thành phần • Các tập tin hệ thống UNIX được sử dụng như một hệ thống lưu trữ cấp thấp cho cả máy khách và máy chủ Các khách hàng địa phương, bộ nhớ cache là một thư mục trên đĩa của máy trạm • Cả Venus và máy chủ UNIX quá trình truy cập file trực tiếp do các inodes để tránh những tốn kém tên đường dẫn-to-inode dịch thường lệ

30. ANDREW: Thực thi (tiếp) • Venus quản lý hai caches riêng:Một cho tình trạngMột cho dữ liệu • Thuật toán LRU được sử dụng để giữ cho mỗi người trong số họ bounded trong kích thước • Trạng thái bộ nhớ cache được lưu giữ trong bộ nhớ ảo cho phép nhanh chóng phục vụ của stat (tập tin trạng thái trả lại) lời gọi hệ thống • Dữ liệu cache được lưu trên đĩa cục bộ, nhưng cơ chế vùng đệm xuất/nhập của UNIX có lưu các block đĩa trong bộ nhớ để chuyển đến Venus

31. Kết Thúc Chương 17