1
Недавно у Яндекса случился некислый факап, который мог положить сервера точного времени по всему миру.
В чём смысл: сервера точного времени NTP входят в общемировой пул, где распределяются по странам. Это важные сервисы для многих вещей в интернете - начиная от синхронизации времени на ваших компьютерах, планшетах, мобильниках и заканчивая проверкой валидации TLS-сертификатов и GPS-запросов. Иметь точное время в современном мире необходимо практически везде.
Эти сервисы обычно не слишком затратные для хостинговых компаний, а запросы к ним не превышают пару килобайт в день. Также, их не очень много, потому что синхронизировать время надо не чаще, чем раз в сутки. Поэтому у многих компаний есть свои NTP-пулы (например, у Microsoft и Ubuntu), которые стоят на весьма слабеньких машинах (на роутерах, "малинках" или на виртуальных серверах).
В октябре, NTP-сервера в России стали выпадать из общемирового пула из-за высокой нагрузки. За полмесяца из 140 серверов осталось всего 4 штуки.
На Хабре подняли панику по этому поводу, призывая всех разобраться, что же такое происходит и выяснилось, что в ситуации был виноват Яндекс.
Из-за ошибки в прошивке голосовых колонок с Алисой, вышло так, что колонки стали опрашивать сервера из пула раз в 5 секунд, генерируя гигантское количество трафика и множество запросов. Это привело к перегрузке серверов (которые и так были слабенькие) и они стали выпадать из пула.
К чести Яндекса, они довольно оперативно отреагировали на ситуацию, выпустили обновленные прошивки для устройств и отписались в свой блог на хабре, почему это вообще произошло и что они сделали для того, чтобы ситуация не повторилась.
Источник:
https://t.me/zavtracast/27896