Всем привет! Эту неделю с вами буду я (@smira), Go, проектирование, Cassandra, микросервисы, нагрузка, удаленная работа, … спрашивайте!

Очень неплохой disk queue для Go (по сути channel с буфером на диске): github.com/nsqio/nsq/blob…

Только его надо “выпилить”

Кто-нибудь использует txZMQ? Есть pull request, по поводу которого я не знаю, как поступить: github.com/smira/txZMQ/pu…

Кто как больше всего данных потерял безвозвратно в production? …

… Моя история: удалил всю музыку на букву M (MP3-сайт) случайно нажав не ту клавишу в Midnight Commander (давно это было!)

@backendsecret затирал систему сборки основного продукта кривым бэкапом 4месячной давности из-за 5 строчек кривого кода в ней.

… еще вспомнил: снес EC2-инстанс вместе с volume, автоматизация cработала на отлично :(

Не использовал отладчик уже больше 10 лет. Отладчик почти бесполезен для backendов. Только printf :)

. @krasavtsev я сейчас работаю в Virtustream (что тоже часть EMC), у нас порядка 200 человек работают удаленно

. @krasavtsev до EMC я работал в mc2soft, делал курсы и мастер-классы, Qik и цепочка слияний Skype, Microsoft, и еще много чего древнего

@backendsecret было когда девы соседнего проекта сделали drop table. Хорошо что я бекапил и их базу тоже :)

Что бы вы выбрали при прочих равных: удаленную работу или работу в офисе? удаленка - retweet, в офисе - like

Почему надо уметь не только код писать, но и уметь общаться в команде, в том числе излагать свои мысли понятно: hintjens.com/blog:120

@backendsecret о да! коммуникациии это очень важно!

Поговорим про Cassandra? Cassandra очень сырая, куча багов. Но ни разу не потеряли данные. Скорость работы + масштабирование - это круто!

Если твиттер про secretы разработки backend, надо раскрывать секреты?

Секрет №1: разработка невозможна без тестов. Я делаю функциональные тесты на (почти) весь код, который я пишу. Unit-тесты для алгоритмов

@backendsecret Похоже, мы понимаем друг-друга в отношении тестов.

Секрет №2: мониторинг и агрегированные логи. Сервис без мониторинга/логов - это как искать черную кошку в темной комнате.

. @iam_yev если не жена дома, я бы выбрал сервис по доставке ингредиентов для еды с рецептами или заказывал бы обед домой или шел в ресторан

. @iam_yev я бы попробовал что-то типа chefmarket.ru

Секрет №3: простота кода. Если код получился сложным, попробуйте его переписать или изменить архитектуру. Чаще всего удается упростить.

Простота и тесты экономят время… я уверен! twitter.com/dcromster/stat…

. @krasavtsev в какой компании нет ни одной вакансии? ;)

. @krasavtsev дома работаю в гостиной, иногда туда кто-то заходит… наушники и концентрация помогает. в офисе больше отвлекают имхо

Секрет №4: автоматизация. Если у вас рутинная задача, вы что-то забыли автоматизировать.

. @YuriKushch время работы не трекается, Slack, GitHub, Skype, Google Hangouts, телефон, …

Если у вас нет платформы для разворачивания сервисов, не пытайтесь делать микросервисы. Поговорим про платформу?

. @ruxeg service discovery, автоматический перезапуск при сбоях, легкость запуска еще одного сервиса, управление ресурсами… хм… ansible?

Ansible, Chef, Puppet, SaltStack - это не платформа, это потенциальный инструмент для её построения

. @ruxeg supervisord не решает проблемы отказа сервера целиком

. @ruxeg я расскажу чуть-чуть о нашей платформе, мы используем Consul для service discovery

. @strizhechenko @ruxeg supervisord может перезапустить сервис, но не может откатить на прежнюю версию, например (в случае выкладывания)

. @Fardokbk в ansible можно попробовать что-то встроить, но без состояния всего кластера тяжело принимать решения, все-таки не для ansible

. @ztaaz функции платформы: запуск и отказоустойчивость сервисов (в рамках кластера), service discovery, health check, …

…. @ztaaz хранение текущей конфигурации, управление пулом IP адресов, безопасность, …

. @ztaaz сломался сервер… как сервис сам себя починит? или сгорела сетевая карта?

. @freiksenet_ru @ztaaz виртуала может “сломаться” точно также

Наша платформа: Mesos + Marathon + Consul + Calico (все немного допиленное), плюс другие Mesos framework’и. И куча автоматизации вокруг…

Для сервисов без персистентности (backendы) - Marathon, для БД и подобного - нужен соответствующий Mesos framework

. @Fardokbk я не про экземпляры сервиса, а про разные сервисы вообще, конечно, может быть и больше

@dvbobrov Ничего страшного нет в поломке, есль есть redundancy. Единственное важное это как быстро можно поднять новое.@ztaaz @backendsecret

. @x_cray Calico + Consul DNS + health check упрощает все до безобразия. my-app.service.consul резолвится в round-robin IP живых instance

. @kryakryak @x_cray c IPV6 вообще все плохо всегда и везде…

. @sfilatov платформа разворачивается через saltstack orchestration, что само по себе очень круто )

Я довольно долго был PHP-разработчиком. Не использовал уже PHP лет 7 или 8, как там дела в PHP мире?

. @Fardokbk @x_cray у нас в Consul пишет fork от mesos-dns

. @Fardokbk @sfilatov контейнерная платформа (Mesos + Marathon) не поддерживает персистентные данные. Для Kafka/Cassandra нужен framework

. @Fardokbk @sfilatov конфигурация в Consul KV, сам контейнер в registry, зачем файлы??? :)

. @nordicdyno_ru посмотреть наш фреймворк пока негде, к сожалению, но все компоненты открытые

@backendsecret Два лагеря — Plain Old PHP и натягивание дизайна на CMS; второй — строгая типизация, AOP, тесты, инспекции, CI, DevOps...

@pkorobeinikov @backendsecret всё равно, ООП в php - джёпа, впрочем, как и в js. Как очень несмешная комедия.

. @nordicdyno_ru Mesos frameworkов куча разного качества, этот должен быть хороший - github.com/mesos/kafka

. @notxcain @nordicdyno_ru мы пока не развернули Cassandra на Mesos, так что не буду советовать, что еще не проверили

Секрет №5: fail fast and hard. Не надо маскировать ошибки. 500-я, stacktrace, Sentry/Airbrake/…

Секрет №5 (продолжение). Только видимые ошибки будут исправлены. Невидимые приведут к краху всей системы позже.

. @krasavtsev английский всегда был языком общения с 2008 года, по крайней мере вторым языком. Так что только опыт

. @strobegen @Fardokbk @sfilatov persistent volumes не включает master-slave переключение, кворум и подобную сложную логику

. @strobegen @x_cray Calico - это IP для каждого container. Это устраняет возню с прокси и отображением портов. Плюс firewall для профилей

Любая отказоустойчивая система полностью падает когда-нибудь. Отказоустойчивую систему быстрее восстановить. (Проверено сегодня)

Расскажите, что новенького в области мониторинга? Крутой alerting? Динамические метрики? Push или pull?

. @Fardokbk @strobegen @x_cray нужно что-то, что может иметь IP-адрес

. @Fardokbk @strobegen @x_cray github.com/projectcalico/…

. @Fardokbk @strobegen @x_cray попробуйте запустить два сервиса на одном порту на одной машине…

. @Fardokbk @strobegen @x_cray ну попробуйте потом к этому сервису обращаться и поддерживать это отображение… дело в простоте использования

. @Fardokbk @strobegen @x_cray можно reverse-proxy, если трафик маленький. когда гигабиты в секунду, уже не получится

. @Fardokbk @strobegen @x_cray как я уже сказал, дело в простоте.. можно плодить прокси отказоустойчивые, но им тоже нужен IP и порт, …

. @x_cray @Fardokbk @strobegen все равно либо proxy, либо application-level round-robin, первое ограничено, второе крайне неудобно

. @Fardokbk @x_cray @strobegen не пробовал 500 docker контейнеров на одной машине… пока не вижу зачем…

@backendsecret только вот на каждый запрос по прежнему весь рантайм перезагружается...

@backendsecret пейсать на пыхе говнокод - сплошное удовольствие, берешь и пишешь

. @POS_troi @Bashnya_est иногда хочется говнокод написать на любом языке. в 50% случае это превращается в рабочую систему :)

@backendsecret и главное что работает десятилетиями :) @Bashnya_est

@backendsecret мне сейчас досталась сетка на 15 городов, у них юзается програмулина на MUMPS, 30 лет назад разрабатывалась. Оно работает:)

@_this_is_ak_ @mktoid @backendsecret @dypa язык определяет сознание :)

. @strobegen формально один кусок RAM выделить нельзя, но по сути можно хакнуть… я бы не стал

@raxpost @olegzeee @mktoid @backendsecret @dypa практики и подходы, которые появляются не из мозгов лучше не применять 😂

. @strobegen я бы так не сказал… экономия есть все-таки, если сервис наестся памяти, OOM его прибьет, а Marathon перезапустит )

Пятница! О чем поговорим?

. @raxpost @_this_is_ak_ @olegzeee @mktoid @dypa языки как и хорошие проекты появляются естественно для решения реальных проблем

Секрет №6. Надо уметь объяснять, как работает код. Диаграммы, презентации, документация, доклады, … Нужно распределять знание!

@backendsecret проверенный и удобный формат — скринкасты для служебного пользования.

. @xnopso Consul для внутренного DNS, не наружу обычно, для service discovery внутри кластера (user.service.consul)

Есть ли Continuous Integration в вашем проекте? (Jenkins, Hudson, Travis CI, TeamCity и т.п.) (от @postrgesmen)

. @xnopso для этого интегрируется health check (Consul тоже умеет), тогда будет убирать из DNS “мертвые” IP

@backendsecret CI-секрет №5: Воспроизводимые окружения: версии пакетов на продакшине и у разработчиков должны совпадать до миллибитов.

@backendsecret CI-секрет №1: Быстрая обратная связь: вы должны узнать о сломавшейся сборке немедленно через почту, IDE, джаббер, или #slack.

@backendsecret CI-секрет №4: Сборка должна ломаться не только от тестов. Изменение трендов метрик в худшую сторону ломают сборку.

. @Engigeer я скорее про анализ данных и появление alertов в неочевидных ситуациях

Всем огромное спасибо, это была очень интересная неделя! Ну и до новых встреч!