Как работает НГС. Проблемы с которыми мы сталкиваемся.

1. Как работает НГС. Проблемы с которыми мы сталкиваемся. • НГС.Сегодня и «вчера» • НГС.Цифры • НГС.Схема НГС • Проблемы • Проблемы взаимодействия • Технические проблемы • Системные • БД • Кэш • PHP Дмитрий Молчанов. Ведущий системный администратор НГС mdv@office.ngs.ru Денис Шашков, Системный администратор НГС

2. HTTP 500-1100 req/s – динамика ~800-2500 req/s – всего PHP-кэш ~20k всего ~17k php5 ~3k php4 Сеть 2-25k Active Connections 20-200 Mbit/s Трафик Аудитория ~190000 человек ~5M хитов/сутки Сервера 3 x http 3 x php 4 x db 8 вспомогательных CPU Cores Web: 36 DB: 28 Всего: 64 RAM: Web: 72Gb DB: 116Gb Всего: 188Gb НГС.Цифры

3. НГС.Схема webcluster dbcluster php4/5 php4/5 static(nginx)‏ db-master static(nginx)‏ db-slave1 static(nginx)‏ db-slaveN memcache memcache

4. НГС.Проблемы • Проблемы взаимодействия • Технические проблемы • Системные • БД • Кэш • PHP

5. Организационные • Отрицание, «Не моя проблема», индивидуализм. • Отсутствие подхода друг к другу у админов и программистов. • Типичный подход администратора • Типичный подход разаботчика

6. Системные • Использование ip-адресов в настройках • Периодические задачи • «Наступание себе на хвост» • Отслеживание времени выполнения

7. БД • Innodb – Длина строки ~8k символов • Индексы – мало плохо, много – плохо • Запросы и select * • Репликация и «тяжелые апдейты»

8. Кэш. Добро и зло. • Конкурентное обновление ключа в кэше и метаблокировки. • Не стоит кэшировать всё подряд

9. PHP • Обработка ошибок • url_fopen, ожидание «вечности» и польза таймаутов.

10. Разное • Сеть • Борьба с Пиринговыми войнами – Свой пиринг, с блэкджеком и…  • Mysql failover • Master • Slave – mysql-proxy • DoS • Чаще всего «по неосторожности» • Limit_req

11. ЦУП

12. Ваши вопросы ??? Дмитрий Молчанов. Ведущий системный администратор НГС mdv@office.ngs.ru Денис Шашков, Системный администратор НГС