Dmitry Menshikov "Release after the year of development"

Highload fwdays’20 conference will be held on October 03, 2020 in Kyiv, Ukraine 🇺🇦 Register here: https://fwdays.com/event/highload-fwdays-2020 ⬇️⬇️⬇️ Useful links ⬇️⬇️⬇️ Highload fwdays'19 conference took place on October 5 in Kyiv: https://fwdays.com/event/highload-fwdays-2019 Presentation: http://bit.ly/35MpkAN Description: Более трёх лет назад мне довелось взять на себя ответственность по проектированию и построениею системы в доменной зоне в которой ни у меня, ни у команды не было экспертизы. Домен еще и сложен сам по себе в виду работы с real time video streaming и его доставкой для B2B клиентов, а там worldwide, low latency, масштабируемость и все такое. Дедлайн был до конца 2017 года, эту дату прежде всего я и команда зафиксировали сами и подписалась под ним. Потому мы решили зарелизиться в последние недели декабря. Спустя несколько дней после релиза стало понятно что у Хьюстона проблемы: сервис транскодирования видео начал чаще чем прежде сигнализировать об обрывах потоков. Мы занимались поиском причины на протяжении нескольких дней перед Новым Годом, ведь оставлять систему в таком состоянии на праздники было недопустимо. И вот, бьют куранты, шампанское льется в бокалы, а я и дежурный админ пытаемся рездебажить и понять причину происходящего. Дебаг продолжился и в праздники, и еще недели после него. Что только не делали: статический анализ, анализ трафика, strace, смена ядер, замена сетевых карт, анализ кода ядра Linux и кода драйверов сетевых карт. Facebook: https://www.facebook.com/fwdays Twitter: https://twitter.com/fwdays Telegram: https://t.me/highload_fwdays