Всем привет! На этой неделе с вами я, @_beargummy.

Расскажу вам про жизнь в кровавом аутсорсе и как можно и нужно проталкивать технологии в не менее кровавый энтерпрайз.

Работаю я, как уже сказал, в кровавом, но тем не менее уютном аутсорсе @GridDynamics.

Наша основная специализация - помогать Американским e-commerce научиться жить в мире облачных вычислений и современных технологий.

..ну и как вишенка на торте - мы умеем готовить продуктовый поиск на @ApacheSolr чтобы он был действительно релевантным.

Долго думал чем поделиться, и решил рассказать немного про жизнь в аутсорсе.

В целом - главный недостаток, то что ты - всегда виноват и тебе не дают выбирать технологии даже когда ты можешь доказать их необходимость.

Однако, “если смелый, ловкий, умелый”, тебе дадут власть. И мы сумели продать все современные технологии. Главное - правильный соус.

С другой стороны, если с проектом повезло, и такое часто случается, то ты в шоколаде. И тогда ты сможешь протащить реально сложный проект.

Например недавно мы запилили ETL на @ApacheSpark, DAG которого ни один браузер даже отрисовать не мог. И это было нереально круто.

Пока делали этот ETL, я узнал про Spark больше чем хотел знать. И естественно, кучу багов в нем.

Ящитаю, отличный эвфемизм - "узнал про Х больше, чем хотел знать". twitter.com/backendsecret/…

На текущем проекте мы активно используем @java 8, @springcloud и @NetflixOSS stack. И пока что только позитивные ощещения и отзывы.

Давайте поговорим про деплоймент. Что вы используете для управления и кластеризации?

Мы на своём проекте долго выбирали, и остановились на Docker Swarm.

Kubernetes тоже был в фаворитах, но на момент старта он поддерживал только старую версию Docker.

В итоге, Docker Swarm оказался не так плох, но мы очень быстро уткнулись в скорость сетки.

Хочется поднять тему про языки программирования и сахар в них. Точнее о том, насколько вредны калории, а особенно их избыток.

Вот к примеру, удобно сравнивать Go и Scala. Из-за очень богатого сахара скалы, сложно заставить команду писать всегда в едином стиле.

GoLang с другой стороны благодаря своему gofmt не оставляет в этом никаких шансов - диктатура на уровне языка и его тулов.

Даже когда пишешь на Java - всегда можно вкрутить Lombok и спорить var/val vs explicit type. Или Google code style vs Sun.

И такие проблемы кроме как диктатурой обычно никак не решаются. Поэтому мне кажется все современные языки должны иметь свой аналог gofmt.

Хотя с другой стороны, в pet projects, когда ты один, приятно разбавить свой код сахарком, ибо и быстрее пишется и самому читать проще.

А в энтерпрайзе, да особенно в распределённой и большой команде, лишние возможности языка обычно только мешают.

Особенно показательно как мне кажется - взлёт open source на GoLang. Реально проще входить в проект со стороны когда все пишут одинаково.

@backendsecret Именно поэтому в команде должен быть человек с правами обрывать любую дискуссию обязательным к испол… twitter.com/i/web/status/8…

Продолжая тему языков программирования, хотелось бы коснуться вопроса развития языков и трендами в этом направлении.

Последнее время появляется всё больше языков с достаточно богатым синтаксисом, которые потом компилируются в более низкоуровневые языки.

Примеров таких языков уйма - Nim, Elm, Chapel, Crystal, та же Scala или TypeScript тоже подходят. Как впрочем и уйма языков под JVM.

Как вам кажется, с чем это связано? Ведь это приводит к почти неизбежно более сложному дебагу и без обмазывания тестами тут вообще никуда.

Мне кажется дело в том, что это помогает перенести многие задачи на уровень компиляции - очень актуально для параллельных вычислений.

Опять же, проблемы многопоточности зачастую решаются компилятором гораздо проще. Не говоря уж об оптимизации кода.

Кстати в плане параллелизации очень интересен Chapel, который вдохновлялся королём числодробилок Fortran’ом (этот кстати всё ещё жив).

По поводу параллельных вычислений - тут тренд на лицо. Начиная со Spark, Storm и прочих MapReduce, до IMDG как тот же Hazelcast и GridGain.

А с учётом роста собранных данных в энтерпрайзе и их осознанием возможности монетизировать это, тренд точно будет положительным ещё долго.

Кстати ещё один тренд в той же тематике - Machine Learning. В бизнес среде начали понимать всю его мощь, и количество вакансий дико растёт.

Это можете рассматривать как совет молодым специалистам - очень горячая область, скоро точно нагрянет большой хайп, а значит и деньги!

@backendsecret согласен про инертность. Но посмотрите на StrataConfs последних трёх лет. Machine Learning там везде… twitter.com/i/web/status/8…

@visualwatermark @backendsecret к тому же - молодым соискателем совет учить это сейчас, чтобы потом не кусать локти.

Допивая первую пятничную пинту пива, внезапно вспомнил о здоровье. А как вы держите себя в форме при нашей сидячей работе?

Я вот лично проникся стоячими рабочими столами и уже заказал себе такой на работу.

Первую неделю было очень непривычно и даже побаливала спина, но потом я понял что это просто мышцы. А вот позвоночник сказал мне спасибо.

Я вижу большое преимущество таких людей по своему опыту. Особенно в современном мире #DevOps.

Плюс всегда полезно когда разработчик сам умеет все разлепдоить, и понять и решить проблему не только в своём коде, но и в энве.

@backendsecret Говорить - это тоже важный скилл. Мало кто умеет делать это грамотно и вовремя.

@backendsecret Зацените чо я нашёл!
Идеальное чтиво для вечера субботы:
fsharpforfunandprofit.com/posts/13-ways-…

Кстати по поводу чтива. Как вы предпочитаете изучать новые технологии?

Мой путь - сначала PoC пользуясь оф докой, потом если есть книга из серии “In Action” @ManningBooks, потом Guide от @OReillyMedia и бложики.

И мне кажется на это повлиял инженерный подход к обучению в @spbspu, где как раз принято учить даже науку через практику.

@backendsecret Конечно, положительно. И сам всегда хочешь уметь все настроить, а то как лох. И некоторое вещи велосипедить не приходится.

Только на практике

Прочитал Go programming language и так и не стал native speaker, каждый раз когда пишу на нем -… twitter.com/i/web/status/8…

Продолжая тему технологий и наболевшего. Сейчас развелось очень много технологий, SaaS, и прочего. И во всём разбираться - жизни не хватит.

Но когда люди уже используют какую-то технологию, и не желают в ней разбираться - вот это реально бесит.

И очень часто используют инструмент ну совсем не по назначению, и потом удивляются - почему оно не работает?

А потом появляются разговоры а-ля “технология X мы не юзаем, потому что Вася с соседнего проекта 5 лет назад пробовал и ему не понравилось”.

И очень редко в ответ на это будет задан вопрос - “а что у него пошло не так?”. Какие были кейсы? Что у этого Васи вообще с квалификацией?

@strizhechenko @Bubyakin @backendsecret ну и да, мне кажется это очень наивно пологать что компиляция = скорость, оно по разному бывает

Напоследок хочу сказать всем спасибо, было интересно и необычно. Будьте открытыми к новому и все время учите что-нибудь интересное.

Ну и конечно, спасибо @dcromster за возможность. Респект и уважуха!