Доброе утро! На этой неделе с вами из <s>солнечного</s>заснеженного Сочи Дмитрий Бобров (@dvbobrov).

Я работаю в компании Machine Learning Works, где занимаюсь чем попало, от собственно разработки до CI и системного администрирования.

Мы поговорим о Java, Spring Boot, AWS, Docker и полезных инструментах для разработки.

Итак, мы те сумасшедшие, кто в 2016 занимается веб-поиском в составе приложения для подростков под девизом "Hack math and chill".

У нас есть пара десятков (микро)сервисов – часть на Java, часть на Python.

Изменений очень много, и чтобы быстро и единообразно всю эту радость обновлять, мы выбрали Docker.

У него есть несколько сущностей: ECS Cluster – набор машин, которые запустили агента и могут запускать таски.

Task Definition – набор контейнеров с требуемыми ресурсами. Service – правила запуска: на каком кластере и сколько tasks поддерживать.

В репозитории лежат task definitions в виде yaml. Нехитрый bash-скрипт через AWS CLI выкатывает новую версию в одно из окружений

После этого переключает Service на новую версию, и ECS постепенно заменяет старые таски новыми

Отлично, кучу контейнеров запустили, теперь нужно, чтобы они нашли друг друга. Для этого используем Consul consul.io

Три штуки запущены в режиме сервера, на каждом хосте еще по агенту, с которыми и общаются сервисы

Тут важно не забыть открыть порты не только на серверах, но и между всеми остальными хостами.

Иначе начинают отваливаться health checks, и с точки зрения Consul доступность серверов будет "мигать"

Немного о проблемах. ECS не позволяет запустить один и тот же контейнер на всех хостах, а нужен был registrator github.com/gliderlabs/reg…

Пришлось собрать свой AMI, в котором нужные контейнеры запускаются сервисом systemd.

В какой-то момент диски начали забиваться из-за того, что ECS-агент не подчищает старые образы. Добавили еще один скрипт, следящий за этим

Вообще, стараемся не использовать облачных решений, от которых тяжело будет избавиться, если придется переносить что-то из AWS.

Ладно, пора бы что-нибудь полезное и по работе сделать, вернусь через пару часов. Вот вам пока пальмы со снегом :) pic.twitter.com/zni1nbL8DG

Как у вас организован код в репозиториях? Почему?

@backendsecret да, это ок, у нас везде разные репы и билдить под разные релизы - супер боль

Cнова доброе утро! Еще немного про AWS. Правильный способ отдавать контент наружу – Elastic Load Balancer (не полагаться на статические IP)

Ну мы радостно настроили ELB на HTTPS и заметили, что отдача ответов по частям (SSE) не работает.

Оказывается, он не умеет в отключение буферизации ответов. Зато умеет работать в режиме TCP с PROXY-протоколом, который поддерживает nginx.

В режиме TCP, конечно, никакой буферизации нет, и SSE прекрасно работает.

Если наружу торчит 1-2 хоста, то все это не нужно, конечно – AWS дает несколько статических IP, которые можно привязать к инстансу.

Выполнять одни и те же действия даже с одной машиной по SSH быстро надоедает. Для автоматизации пользуемся Ansible

Есть прекрасный inventory, позволяющий выполнять действия с протегированными EC2-хостами github.com/ansible/ansibl…

Плейбуки для него писать поприятнее, чем шаблоны CloudFormation

Визуализацией данных из Redshift занимается Redash redash.io

Полезная штука для тестирования кода, работающего с Cassandra из Java: github.com/jsevellec/cass…

Запускается, правда, довольно долго, нужно угадать с таймаутами, чтобы тесты не начали мигать

Давайте переключимся на Java. Мы используем Spring Boot во всех Java-приложениях.

Тут можно посмеяться, что в Spring Framework всё настолько переусложнили, что нужен отдельный фреймворк для его конфигурации.

Но в Spring Boot есть свои полезные фичи. Например, Actuator – набор инструментов для мониторинга и диагностики github.com/spring-project…

С автоконфигурациями удобно начинать, но потом можно выстрелить себе в ногу, подключив библиотеку и обнаружив пару (десятков) лишних бинов

@raxpost @backendsecret хм, а на чём ещё аналитику делать? стандартный же dwh инструмент. Ну ещё greenplum может

@borovikov @raxpost @backendsecret ныне в моде clickhouse.yandex

Кстати об аналитике. Разбирались с коллегой, почему числа в разных сервисах мобильной аналитике отличаются.

Выяснили, что AWS хранит их в UTC, а другой — в своей таймзоне (хорошо хоть в одной и той же)

В связи с этим у меня давно есть пунктик, что дату-время всегда нужно сохранять как unix timestamp в миллисекундах по UTC

(У вас может быть по-другому, главное, чтобы везде одинаково)

Вот хорошее видео про ад с таймзонами youtu.be/-5wpm-gesOY

@backendsecret Я честно говоря не знаю, кто придумал хранить в локальной таймзоне и без самой таймзоны?!? Такие грабли знакомы...

Например этот Actuator создаёт очень неудобные метрики для #prometheus, на которые я сразу плюнул twitter.com/backendsecret/…

Продолжим про Spring. Много полезных вещей есть в проекте Spring Cloud, оформленном как набор starters для Spring Boot.

Пароли не очень правильно хранить в репозитории, лучше их доставать откуда-то при запуске приложения. Для этого есть Spring Cloud Config

Идея в том, чтобы завести Bootstrap Application Context, в котором с HTTP-сервера докачать конфиг и запустить основной ApplicationContext

Туда же можно засунуть настройки, отличающиеся для разных окружений

Конечно, есть обертки для Service Discovery, с которыми из коробки работают другие компоненты вроде RestTemplate.

В профайле для разработки Consul выключен, чтобы не заставлять всех запускать еще и его. Чем меньше нужно для запуска приложения, тем лучше

Как я уже говорил, выстрелить себе в ногу с автоконфигурацией – раз плюнуть. Подключаете Consul и получаете заблокированный scheduler thread

По умолчанию он один, и @scheduleD начнет вести себя совсем не так, как вы ожидали github.com/spring-cloud/s…

"Чем меньше нужно для запуска, тем лучше" – касается и production. Грустно, когда из-за недоступности чего-то приложение уходит в crash loop

Также не стоит сразу отдавать пользователю ошибку, если при создании ответа один из нескольких сервисов оказался недоступен.

Если можно собрать без отсутствующего ответа что-нибудь адекватное, покажите то, что есть

Разобраться, что в такой системе происходит, очень тяжело, если нет способа сгруппировать логи в разных сервисах по запросам пользователей

Для этого каждому пользовательскому запросу на входе присваивается случайный ID, кроме того, каждый запрос между сервисами имеет еще один ID

Такая схема реализована в Spring Cloud Sleuth, он же позволяет отправлять данные в Zipkin (zipkin.io)

Подробнее о таких вещах можно посмотреть в докладе @m0nstermind. Полезно даже если ваша система гораздо меньше ОК youtube.com/watch?v=TXqbAL…

Чтобы понимать, что что-то пошло не так, нужен мониторинг. Чтобы понимать, что пора вмешаться, нужны еще и алерты. Кто чем пользуется?

Причем правильно сделать алерты – штука непростая. Если алерты приходят там, где действовать не нужно, на них перестанут реагировать

Одиночный crash, например, стоит залогировать, перезапустить приложение, и никого не трогать. А вот если их много, то пора послать SMS

Мы кучу различных метрик пишем в Riemann. Простая, но гибкая штука благодаря конфигу на Clojure.

Некритичные события оттуда просто попадают в отдельный канал Slack, критичные – еще и в SMS нескольким людям

Что мониторим: на каждом хосте CPU, память, диски. Какие контейнеры запущены. Каждое приложение шлет внутренние метрики.

Для Java это потребление heap/non-heap памяти, количество тредов, также шлем время ответов на запросы и некоторые возникающие exceptions.

У Riemann есть очень простой dashboard, который придется еще долго допиливать до состояния, когда им можно пользоваться как основным

Тем не менее, быстро посмотреть, какие эвенты сейчас приходят, можно github.com/riemann/rieman…

Riemann хранит эвенты только короткое время в памяти, для длительного хранения они отправляются в InfluxDB, графики рисуются Grafana.

Два забавных факта: 1) jar – это тот же zip, в его начало можно дописать что угодно 2) в bash-скрипт после exit можно дописать что угодно.

Если совместить эти два факта, можно сделать jar, который запускается как любой другой бинарник, без java -jar.

У плагина Spring Boot для Gradle есть такая опция: springBoot { executable = true }

@backendsecret @JUGru о, недавно дочитал и, пожалуй, в этом году это самая интересная книга. Могу сказать спасибо @m0nstermind за наводку

В скрипте делается что-то вроде java -jar "$0", по желанию можно навешивать флаги JVM, аргументы командной строки, env variables и т. п.

Расскажу еще историю из серии "хотели как лучше, а получилось как всегда". Заводите вы маленький инстанс в AWS, t2.micro с 64-битным Linux

Через некоторое время обнаруживаете 100% загрузку CPU, причем отжирает их некий kswapd. Памяти свободной много.

Потом оказывается, что добрый амазон после запуска делает hotplug еще 128M памяти, которые попадают в зону Normal.

Но у нас был всего 1G, который помещается в DMA и DMA32, то есть в Normal ничего не было.

Приходит kswapd и видит, что в этой зоне мало свободных страниц, пытается что-то освободить, а освободить нечего. Так и крутится бесконечно.

@backendsecret вот та же проблема была с виртуалкой в параллелсе. Похоже знаю куда копать теперь

@Dronmdf @ruxeg @backendsecret это называется shar, раньше инсталлеры Java 4 Linux были такие.

@backendsecret Исходники для интересующихся: hg.netbeans.org/main/file/tip/…

Тихо и незаметно пришла пятница. Давайте о будущем. Java-разработчики, девятку уже пробуете? Планируете переход на Jigsaw?

Есть подозрение, что еще долго многие будут забивать на модули, насколько это возможно @ruxeg

@backendsecret ну да, это же не плохо) не то что выдуманная необходимость, просто фича не для всех

А еще, кроме размера рантайма, говорят, модули открывают возможности для некоторых оптимизаций в JIT @visualwatermark

Отвлечемся немного от Java. AWS тут недавно запустили FPGA-инстансы. aws.amazon.com/ru/blogs/aws/d…

То есть спрос на них есть и в ближайшие годы будет только расти. Пока, правда, применений не очень много

Возможно, какие-то специализированные числодробилки. Есть несколько публикаций про использование для нейросетей

@backendsecret жду не дождусь когда в паблик запустят

А что вы с ними делать будете? @ruxeg

Если просто потрогать хочется, можно и в developer preview записаться ;) @ruxeg

Замечаю, что подобном коде что в Java, что в Groovy вывод типов часто где-то не работает, пока их явно не укажешь issues.apache.org/jira/browse/GR…

Для Java я имею в виду цепочки вызовов со стримами, конечно. Кто-нибудь, кто понимает в компиляторах, может рассказать, почему так?

Groovy, кстати, стоит проникнуться хотя бы ради тестов на Spock spockframework.org

Я пока не проникся настолько, чтобы точно понять, на какой черной магии оно работает, но штука очень удобная

@backendsecret @BeiZero На прошлом проекте были 7 и 8, на следующем будет 6.

@backendsecret это конечно не особо честно, но все явщики пилящие под андроид до сих пор сидят на шесьмой яве и года 2-3 будут ещё сидеть

Интересно, что эти вещи не прибиты гвоздями в компиляторе, а по большей части сделаны как библиотека.

То есть async/await работает на CompletableFuture, но никто не мешает пойти и написать свою реализацию с ListenableFuture, например

Также в следующем году, видимо, стоит ждать, что окончательно допилят Gradle Script Kotlin, с которым мы получим отличную поддержку в IDE

В принципе, и с Groovy сейчас неплохо, только ради Gradle его и выучил. Но порог входа может уменьшиться.

Единственное, что расстраивает – _очень_ медленное обновление проекта в IDEA. Добавил либу в зависимости, и можно идти пить кофе.

Может быть, из-за того, что много проектов или мои билдскрипты что-то странное делают. Когда-нибудь у меня дойдут руки это раскопать.

Java-проекты мы собираем Gradle. Он делает всё, начиная от компиляции до заливки Docker-образа.

В идеале, билдскрипты должны быть такими, чтобы можно было скачать репозиторий, запустить одну команду, и проект можно было бы запустить.

С Gradle легко этого добиться, подключив несколько плагинов, а то, чего не хватает, дописать самому.

Да, в build.gradle легко сделать спагетти из тысяч строк, но потом несложно написать плагинов и получить понятный декларативный билдскрипт

Для сборки Docker есть такая штука github.com/bmuschko/gradl…
Его я обернул в свой плагин, который конфигурирует его таски так, как нужно нам.

Еще полезный плагин для работы с git: github.com/ajoberstar/grg… Позволяет вытащить инфу о бранче, тегах и т. п.

Используя его для формирования версии, мы всегда знаем, из какого бранча был собран образ, который сейчас задеплоен.

Есть готовые плагины для версионирования, использующие git. Может быть удобно использовать что-то такое github.com/nebula-plugins…

(ну а я со всеми проектами в одном репозитории опять пишу свой велосипед)

Gradle – это прекрасно, но у нас же еще и Python есть. В Python с системами сборки все гораздо хуже.

Тем не менее, нашли и научились готовить buildout. Немного плясок с бубном вокруг него и bash, и Python тоже собирается одной командой

Docker-образы для Python-проектов все равно собираю через Gradle, конечно

@backendsecret я тоже недавно к этому пришёл. У меня там "интеграция" с энсиблом для деплоя и некоторые тулы для проверки билда

Как-то, создавая новый сервис, я подумал, а какого черта я делаю для этого столько одинаковых действий. Пошел разбираться с lazybones

Сделал шаблоны для Java и Python, которые генерят кучу нужных вещей после пары вопросов. Спасибо @jbaruch за статью habrahabr.ru/post/218205/

Хотя нет, вру, иногда все-таки боремся. С помощью публичного багтрекера JetBrains :)

@backendsecret AST transformations. Я про это доклад делал несколько лет назад, можно нагуглить видосиков, если интересно.

@backendsecret Spock + geb = лучший фреймворк для автотестинга.

Пришло время заканчивать, спасибо, что читали меня. Всем успехов в наступающем Новом году! На этой и прошлой неделе с вами был @dvbobrov.

@backendsecret ну понятно, что кого-то придется, но вот прям так чтобы бежать с энтузиазмом и попробовать — увольте.

Моя неделя подходит к концу, покидаю пока интересных ссылок. Буду рад ответить на любые вопросы в ближайшие несколько часов.

Кроме митапов и конференций, на сайте jug.ru теперь пишут новости про Java

Блог @aatarasoff, в котором особенно хочется отметить последние посты про заблуждения о DevOps developerblog.info/#open

Wiki, в которой на русском хорошо пишут про алгоритмы и структуры данных, с псевдокодом и доказательствами neerc.ifmo.ru/wiki/index.php…

Рядом еще один хороший раздел с вычислительной геометрией neerc.ifmo.ru/wiki/index.php…

Фреймворк для тестирования распределенных систем от aphyr, разрабатывающего еще и Riemann github.com/jepsen-io/jeps…

Он же этот инструмент натравливает на разные базы данных и пишет об этом в блог aphyr.com/tags/Jepsen

Вышедшая в этом году книга от SRE команды Google. Сборник лучших практик про деплой, incident management и т. п. shop.oreilly.com/product/063692…

What Every Programmer Should Know About Memory – статья, подробно описывающая, как работает память github.com/tpn/pdfs/blob/…

И вдогонку немного хардкора про floating point arithmetics docs.oracle.com/cd/E19957-01/8…

Еще на этой неделе вышел Python 3.6. Добавили string interpolation, новые type annotations, работают над async/await docs.python.org/3.6/whatsnew/3…