1 / 25

С.А. Крашаков , Л.Н. Щур Институт теоретической физики им. Л.Д. Ландау sakr@chg.ru

Кеширование информационных потоков и стратегия оптимизации маршрутов в распределенных системах кеш-серверов. С.А. Крашаков , Л.Н. Щур Институт теоретической физики им. Л.Д. Ландау sakr@chg.ru. Cache-mesh. Протоколы, используемые кеш-серверами. Взаимодействие между кеш-серверами

lobo
Download Presentation

С.А. Крашаков , Л.Н. Щур Институт теоретической физики им. Л.Д. Ландау sakr@chg.ru

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Кеширование информационных потоков и стратегия оптимизации маршрутов в распределенных системах кеш-серверов С.А. Крашаков, Л.Н. Щур Институт теоретической физики им. Л.Д. Ландау sakr@chg.ru

  2. Cache-mesh

  3. Протоколы, используемые кеш-серверами Взаимодействие между кеш-серверами Internet Cache Protocol (ICP) (RFC 2186, 2187) Hyper Text Caching Protocol (HTCP) (RFC 2756) Cache Digest - squid only Cache Array Routing Protocol (CARP) Взаимодействие между элементом сети (маршрутизатор, L4-коммутатор) и кеш-сервером Web Cache Control (Coordination) Protocol (WCCP) Network Element Control Protocol (NECP) - proposed draft

  4. Кеширующие прокси-серверы, подерживающие ICP Harvest (1994) – первый сервер с поддержкой ICP. Прекратил развитие в конце 1995. Потомки – Netcache и Squid. Cached-2(3) (Netcache) – коммерческий потомок Harvest cached, выпускавшийся в 1996-1997 гг. В настоящее время полностью интегрирован в продукты Netcache фирмы Network Appliance. Squid (http://www.squid-cache.org/) (1996) Oops (http://zipper.paco.net/~igor/oops) Wcol: WWW Collector – Prefetching proxy-server for WWW (1994) (http://infonet.aist-nara.ac.jp/products/wcol/) KOTETU (http://infonet.aist-nara.ac.jp/products/kotetu/) – prefetching прокси-сервер, потомок Wcol Microsoft Proxy-server (http://www.microsoft.com) Microsoft Internet Security and Acceleration Server (http://www.microsoft.com/ISAServer/)

  5. Постановка задачи Имеется прокси-сервер в Черноголовке и возможные parents - FREEnet, RSSI, OSI, NLANR. Требуется минимизировать время ожидания пользователей. Можно посылать запросы напрямую или одному из parent. - Домены не являются компактными, поэтому поддерживать access list по множеству доменов - практически нереально. - Использование маршрутизации по AS - сложнее в реализации и также сложно в поддержке. - Маршрутизация изменяется динамически - Загрузка каналов неодинакова во времени

  6. Фрагмент netprobe database 193.233.46.0 681/ 682 1.0 1.0 www.chg.ru www-cache.chg.ru www.gnu.org.ru ikia.ru.ircache.net 545.4 6.0 sd.cache.nlanr.net 589.3 12.0 pb.cache.nlanr.net 594.0 9.0193.233.32.0 106/ 106 1.0 2.0 fortran.org.ru itp.ac.ru www.itp.ac.ru ikia.ru.ircache.net 343.7 5.9 sd.cache.nlanr.net 1054.7 12.0193.233.36.0 192/ 192 5.1 4.0 www.issp.ac.ru alpclub.ru ikia.ru.ircache.net 235.7 5.8193.232.212.0 383/ 385 62.5 6.0 www.rssi.ru www.rka.ru ikia.ru.ircache.net ikia.ru.ircache.net 3.8 1.0 pb.cache.nlanr.net 212.1 12.0 sd.cache.nlanr.net 293.1 21.0158.250.9.0 4/ 4 101.5 8.0 www.npi.msu.su optics.npi.msu.su www.grammy.ru ikia.ru.ircache.net 23.1 5.0 sd.cache.nlanr.net 213.0 20.0 bo.cache.nlanr.net 297.0 19.0140.221.9.0 12/ 12 200.2 9.0 www.globus.org www.mcs.anl.gov ftp.mcs.anl.gov uc.cache.nlanr.net 8.0 6.0 pb.cache.nlanr.net 12.2 6.0 bo.cache.nlanr.net 27.3 8.0 sd.cache.nlanr.net 67.0 9.0 ikia.ru.ircache.net 258.2 16.0194.94.42.0 46/ 123 230.1 15.0 www.springer.de science.springer.de link.springer.de uc.cache.nlanr.net 131.5 16.0 sd.cache.nlanr.net 193.6 22.0 ikia.ru.ircache.net 210.2 16.0 pb.cache.nlanr.net 1656.6 13.0198.9.9.0 2/ 2 254.5 10.0 www.nas.nasa.gov sv.cache.nlanr.net 1.2 4.0 uc.cache.nlanr.net 48.0 8.0 pb.cache.nlanr.net 55.5 8.0 sd.cache.nlanr.net 108.0 10.0 ikia.ru.ircache.net 262.5 13.5

  7. Поддержка измерений ICMP RTT, netprobe database и ICP v2 (с поддержкой ICP_FLAG_HIT_OBJ) появилась в Squid-1.1.19 (1997) • Использование данного алгоритма позволяет: • автоматически выбирать кратчайший (в смысле RTT) маршрут до источника информации • обеспечить балансировку загрузки между несколькими каналами связи На сегодня нам неизвестны работы, в которых бы проводилось сравнение эффективности указанных алгоритмов

  8. Предлагаемая модификация Squid Стандартный Squid Модификация tpd <> tod top + tpd <> tod

  9. Допустим, имеется 2 различных стратегии выбора маршрута кеш-сервером 1. Как их можно сравнивать и определить условия, при которых та или иная стратегия будет предпочтительней? 2. Будет ли измерения воспроизводимыми или нет ? 3. Если да, то какова их точность? 4. Или, иными словами, как долго должны проводиться измерения, чтобы получить требуемую точность (например, 5%) • Основные трудности: • естественная периодичность активности пользователей • все элементы сети постоянно меняются, модернизируются, и т.п. • эволюция коннективности как таковой • по каким критериям делать сравнение: TLD? AS? URL?

  10. Эксперимент №1 (январь-февраль 2000)

  11. Отношение средней скорости получения информации с использованием и без использования parent кеш-серверов для различных доменов

  12. Cache triangle

  13. Число запросов к различным доменам за 3 недели (симметричный треугольник, декабрь 2000) N = TLD-2.34(5)

  14. Асимметрия в числе запросов для симметричного треугольника

  15. N = TLD-2.25(16) cz ca fi pt nl Распределение трафика, обслуженного “левым” () и “правым” () серверами, по доменам (в двойном логарифмическом масштабе)

  16. Средний размер документов в измерении на “симметричном треугольнике”

  17. Средняя скорость получения документов (кбит/сек) для “симметричного треугольника”

  18. Средний размер документов в эксперименте с “асимметричным треугольником”

  19. Средняя скорость получения документов (кбит/сек) для “асимметричного треугольника”

  20. Средняя скорость получения документов (кбит/сек) для “асимметричного треугольника” (после подстройки конфигурации)

  21. Отношение средней скорости получения информации с использованием и без использования parent кеш-серверов (после подстройки конфигурации “асимметричного треугольника”)

  22. Заключение 1. Предложен модифицированный алгоритм выбора маршрута получения информации в распределенной системе кеш-серверов, который: - позволяет в среднем повысить скорость получения информации - не требует априори информации о коннективности - гибко подстраивается при нарушениях в маршрутизации - позволяет выравнивать загрузку между разлтчными каналами связи 2. Предложены экспериментальные подходы для сравнительного изучения различных стратегий кеширования и кеш-маршрутизации. Представлены предварительные результаты измерений 3. Показано, что сравнительные измерения весьма полезны для обнаружения неточностей в конфигурации распределенной сети кеш-серверов, выявления узких мест и оптимизации работы сети.

  23. Работа выполнена частично при поддержке РФФИ (гранты 96-07-89226, 98-07-90293, 99-07-90084 и 01-07-90119) и МНТ РФ (проект 5.1.1 НСКТ-НВШ)http://www.cache.net.ru

More Related