# Понедельник 135 твитов
Привет. Меня зовут Сева. Я platform engineer в @Grammarly и эту неделю вместе с вами буду обсуждать devops.
10:39О себе: системный администратор и горжусь этим, в последнее время занимаюсь платформой, время от времени пишу код
10:40Меня выпустили из заповедника доброты, учтивости и конструктива, постараюсь вести тви в этом направлении.
10:40В целом хочу поговорить о мониторинге, процессах, культуре, контейнерах, языках и т.д.
10:40@backendsecret да, увидел заставку)10:43
@backendsecret всегда немного смущало это
> пишу на golang, ruby системный администраторпо-моему это не системный администратор)
Можно писать код и быть админом. Это как быть гитаристом и вокалистом. twitter.com/strizhechenko/…
10:45Я думаю что девопс это в первую очередь культура, во вторую - процессы, в третью - всё остальное. А что значит девопс для вас?
10:48Культура, процессы, инструменты, всё остальное. twitter.com/backendsecret/…10:50
@backendsecret @strizhechenko сокрее смущает выбор языков, было б там perl/python... Пишете свой тулинг на Go?
руби - язык chef, puppet, vagrant - прошлой эпохи devops. Golang язык современной эпохи. Приходится вертеться. twitter.com/skl1f/status/6…
10:52@backendsecret Terraform10:53
руби - язык chef, puppet, vagrant - прошлой эпохи devops. Golang язык современной эпохи. Приходится вертеться. twitter.com/skl1f/status/6…
лично мне нравится haskell, но никто на нём не пишет. twitter.com/backendsecret/…
10:54Можно. Но практика показывает, что если код, написанный админами, перепишет разработчик, всем будет только лучше. twitter.com/backendsecret/…
поэтому админы и пишут скрипты twitter.com/market_ops_cre…
11:01@backendsecret и чем же заменен puppet в современную эпоху Го?11:01
@backendsecret и чем же заменен puppet в современную эпоху Го?
паппет незаменим, вообще почти любой инструмент незаменим. twitter.com/classx/status/…
11:01@backendsecret в контексте chef/puppet/vagrant - ruby является практически языком конфига. А какую роль играет Go, если не лезть в код тулз?
сложно сказать, изменилось время и теперь недостаточно просто писать конфиги twitter.com/strizhechenko/…
11:02@backendsecret @skl1f @strizhechenko а почему go язык современной эпохи?
почти весь тулсет написан на го, похоже это просто новый тренд с которым приходится иметь дело. twitter.com/rainrb/status/…
11:07@rainrb @backendsecret @strizhechenko потому, что слишком много devops tools написано на Go11:07
@skl1f @backendsecret @strizhechenko странный критерий оценки:)
мы когда начали писать github.com/grammarly/rock… думали на чем, оказалось что на go проще выйдет. twitter.com/rainrb/status/…
11:09Утащил с hangops_ru, бывает и так :) pic.twitter.com/Q277kqeGtU
На самом деле действительно многие воспринимают девопс как супер фулстек + хардкорный сис. прогер + админ + тестер. Ждут скрама и аджайла.
11:13Часто люди путают и называют девопсом не методологию, а специальность типа админ в бронешлеме. У вас в компании такое есть?
11:17@backendsecret Конечно нет. pic.twitter.com/yKromrToI411:21
@rainrb @backendsecret @strizhechenko это просто факт, весь туллинг пишут на go. Такая мода и все это production значит надолго к нам.11:21
@backendsecret ну в вакансиях не пишут программист, пишут Ruby программист, сразу понятно что от него хотят, а просто devops пишут
значит от devops просто хотят всего :) На самом деле я не приверженец такой классификации профессии. twitter.com/raxpost/status…
11:27@market_ops_crew @backendsecret для нас девопс - это sudo на проде.
и это всё что вам было нужно? А как же full CI? twitter.com/theigel/status…
11:28@skl1f @backendsecret @rainrb @strizhechenko выглядит хорошей альтернативой скриптовых языков. строгая типизация, скорость и простота.11:29
@backendsecret ну вот в том и дело что невозможно хорошо знать все, поэтому для меня это все странно
бытует мнение что хороший дев или опс хорошо знает всё. Такому деву не нужны опсы или такому опсу не нужны девы twitter.com/raxpost/status…
11:31@raxpost @backendsecret это плохие вкансии! pic.twitter.com/Sz2mA84HOw
На практике чем больше хотят тем меньший уровень знаний требуют. twitter.com/clojure_ru/sta…
11:32Статья от Dave Cheney "The Legacy of Go". #golang dave.cheney.net/2015/11/15/the… | 4gophers.com11:34
@ca5e_ @backendsecret @rainrb @strizhechenko тоже самое могу сказать про rust/nim, хотя мне вообще haskell по душе. Go мне не нравится :-)
Я тоже люблю haskell, но пробовали ли вы чтобы ребята из фронтенда помогали вам с haskell кодом? twitter.com/skl1f/status/6…
11:47@theigel @backendsecret любите ли вы общаться с аудиторами так, как это любим мы?
твит ответ на sudo на проде twitter.com/market_ops_cre…
11:48Вообще, конечно, всякие саксес стори по типу “Ruby, 21K, 36 часов => Go, 21K, 6 минут” очень впечатляют.11:49
Кстати, у go отличное русскоязычное камьюнити 4gophers.ru/slack Я часто бываю там в devops канале.
11:52Можно. Но практика показывает, что если код, написанный админами, перепишет разработчик, всем будет только лучше. twitter.com/backendsecret/…
Скрипты написанные программистами и написанные опсами. Dev: i.imgur.com/kuqJXRz.gif Ops: i.imgur.com/7eDCVhk.gif twitter.com/market_ops_cre…
12:03Как вы думаете, кипишь вокруг девопс помогает девам или мешает?
12:04@backendsecret опсы захватят мир - судя по гифке :)12:06
DevOps это самое лучшее, что случалось со мной последнее время. Больше нет этой сраной бюрократии и совка в деплое twitter.com/backendsecret/…12:12
@backendsecret Конечно полезно!) И да, мы говорили с тобой про это в последнем SDCast’е! sdcast.ksdaemon.ru/2015/11/sdcast… Может кому пригодится!)
Хотел немного позже подкаст скинуть) twitter.com/KSDaemon/statu…
12:36Девопс можно построить только коллективно, поэтому на первом месте культура. Слышал много где с ней проблемы.
12:38@backendsecret именно, без культуры обычно что-то вот такое получается pbs.twimg.com/media/CO8UC61W…12:43
Любой девопс отдел это смесь саппорта, платформы и куа, от компании к компании меняются только пропорции.
13:04@backendsecret а что понимать под культурой?
Действительно. Давайте больше мнений! twitter.com/clojure_ru/sta…
13:11@raxpost DevOps - это не профессия или специальность @backendsecret14:37
@backendsecret что такое platform engineer?
Инженер, который обслуживает платформу. А что такое платформа? twitter.com/inem/status/66…
14:37говорят теперь то Доккер к продакшену готов blog.docker.com/2015/11/docker…14:38
Культура это культура общения или что-то ещё?
14:39Основная цель платформы - дать бизнесу конкурентное преимущество. Так ли это?
14:44Если девопс нужен только опсам он не будет работать. Должны ли разработчики быть инициаторами девопса?
14:47часто вижу пост habrahabr.ru/company/dataar… Кто может назвать основные ошибки автора?
14:48@backendsecret инициатором должен быть бизнес. Ведь чем быстрее свежий код попадает в бой, тем он быстрее окупается.14:50
@backendsecret Нет тестов, тесты запускаются на не совпадающем с продакшеном env (наверно из-за того что его не повторить).14:50
@backendsecret Нет культуры infrastructure-as-code, от этого предыдущая проблема. Думаю code review тоже нет :)14:52
Девы, ходите ли вы на сервера? Зачем?
14:54Девы не ходят, только овны. twitter.com/backendsecret/…
А кто овнит? twitter.com/webholt/status…
14:55@freiksenet_ru @backendsecret а кто, в случае чего ищет разницу между env продакшна и девелоперской тачки в идеале, кстати?
Отличный вопрос. Очень сложно сделать энв такой же как прод, но не прод twitter.com/strizhechenko/…
14:56@backendsecret там, где сервера не провизятся ansible - там ходим, иначе никак14:57
@strizhechenko @backendsecret Твой билд сломался - ты его чинишь. Главное это чуство собственности продукта, тогда не надо думать о крайнем.14:57
@backendsecret выяснить причину возникающей баги, которая не возникает на других серверах обычно.14:57
@POS_troi @backendsecret @de_gis осталось добавить, что девопсы не люди а боги
В смысле что девопсов не существует? twitter.com/raxpost/status…
14:58@backendsecret поднастроить, логи почитать и тп14:58
@freiksenet_ru @backendsecret баги бывают в лоджик-еррорах, которые замечают клиенты у которых твой продукт крутится и замечают тож не сразу
Как этого можно избежать? twitter.com/strizhechenko/…
14:59@zhulikgleb @backendsecret приходится. Много неавтоматизированной работы - деплой, настройка, логи. Лучше так, чем ждать пол дня админа
не думали автоматизировать? twitter.com/ostelaymetaule…
15:08часто девопс не одобряют. pic.twitter.com/ZoHWCaDADv
@backendsecret Кстати самый радикальный ответ на девопс - не иметь опс. BaaS или хотя бы PaaS.
NoOps. Хорошая тема, кстати. Всякие SRE twitter.com/freiksenet_ru/…
15:12PaaS - выход? Может ли хероку заменить свои велосипеды?
15:25@backendsecret может, и очень хорошо. Но до определенной нагрузки.15:32
@backendsecret Да!15:32
@backendsecret будут велосипеды вокруг хероку.15:32
Если PaaS решает, то что вы скажете на BaaS? :)
15:35@backendsecret А BaaS делает что еще и бакендеров не надо :)15:37
@backendsecret Почему-то первое, что пришло в голову — Business as a Service, про слово backend вспомнил лишь потом15:38
Кстати, книга маст рид для всех кто всем сердцем хочет понять что такое девопс и прочувствовать его надобность. eksmo.ru/catalog/book/p…
15:43Я сам первым делом смотрю на PaaS, это простой способ не создавать велосипеды. Часто так выходит дешевле и удобнее.
15:45Аналогично с SaaS, например некоторые вещи лучше держать снаружи и делать самим слишком дорого. Типа pingdom или panopta
15:46@backendsecret Ты молодец! Я помню в одном стартапе ЦТО жадничал даже купить более большой гитхаб, что там PaaS :)
Бизнес часто не хочет тратить деньги, если не понимает какую выгоду ему эти траты принесут. twitter.com/freiksenet_ru/…
15:49Готовы ли девы делать админские задачи для себя, если NoOps? Нет - RT, да - Fav.
15:52@backendsecret Надо им показать месячную зп девопсера против месячной стоимость PaaS :)15:52
@backendsecret @freiksenet_ru я бы сказал бизнес вообще нихрена не понимает в технологиях. На то есть CTO, VP и так далее15:57
@backendsecret @freiksenet_ru когда "бизнес" принимает технические решения что ещё, как не это можно назвать микроменеджментом?15:57
сложно сказать что такое культура, у @hangops есть даже отдельный канал в слаке на эту тему. signup.hangops.com
16:04@backendsecret я работал когда были dev env, uat == prod env, так вот девов не пускали только на прод, по соображению безопасности17:24
@backendsecret sudo на проде – это и есть full CI. Не успел дописать код, а он уже в продакшне!
если это про erlang, то можно понять twitter.com/theigel/status…
17:25Ребята, у кого уже внедрён девопс, как долго внедряли? Какие трудности были?
17:36@backendsecret а в чем его преимущество то?
Действительно, почему все так и носятся с этим вашим девопсом? twitter.com/MaksimSavichev…
17:40@backendsecret а в чем его преимущество то?
Если правильно, то улучшение стабильности, скорости доставки фич и уменьшение лишней работы, меньше отказов twitter.com/MaksimSavichev…
17:41@backendsecret @MaksimSavichev тут по разному как по мне - порой работ по избавлению от лишних работ больше выходит :)
Надо что б меньше. twitter.com/strizhechenko/…
17:47про культуру интересно martinfowler.com/bliki/DevOpsCu…
17:53Часто необходимым является умение выслушать. Для успешного опсинга важно иметь в кабинете кушетку как у психотерапевта.
17:58Большинство наших менеджеров боятся увольнять, потому что думают, что это их бок и ошибка и так все узнают, что они профнепригодны.
ну своевременное увольнение лучше лаж в будущем. Узнал → проверил → если всё плохо - уволил. Всем так лучше. twitter.com/DaryaChu/statu…
17:59хожу по загашникам, достаю интересные посты о культуре devops. Присоеденяйтесь. blog.ingineering.it/post/120540969…
18:04Отвечать за свой проект это культура, кстати?
18:07У меня постоянные отписывания/подписывания с @backendsecret, пока трололо ведет отписываюсь, потом назад. Не один я такой, судя по стате.18:27
@backendsecret это называется профессиональная этика и да, она часть культуры в широком смысле.
зуб дашь за код?))) twitter.com/PixilatedFire/…
18:28@backendsecret инициатор CIO или CTO, которых на планёрках задолбали вусмерть прочие C*O
Логично. А кто должен рассказать сто почему девопс хорошо? twitter.com/de_gis/status/…
21:08@backendsecret DO ни хорошо, ни плохо - это обычный орг.инструмент для конкретной ситуации и не более.Не silverbullet
Очень взрослый подход, кстати. Надоели сопли что прийдет девопс и всех спасёт. twitter.com/de_gis/status/…
21:17@backendsecret у кого-то в его ситуации методика DO пойдёт,а кому-то создаст лишние проблемы.Аспирин не лечит все болячки,а язву обостряет21:25
@de_gis @backendsecret CTO наверно сам должен в этом разбиратся. Хотя бы в small to medium sized компании.
Вопрос всем: у вас сто шарит девопс? twitter.com/freiksenet_ru/…
21:26@backendsecret, конечно. База знаний и всё такое для новичков — wiki, видосы, Gitlab.
Это все что надо для того что бы скейлить девопс? twitter.com/gruz0/status/6…
21:27@backendsecret Я шарю :P21:33
@iamale_ru @backendsecret вообще-то это устоявшаяся аббревиатура BackupAsAService - например у Webzilla есть такой недорогой продукт21:33
@backendsecret Вы лучше расскажите, что за зверь этот ваш девопс? То, о чем пишут интернеты, никак не кладется в контекст упоминаний его.
Девопс это серебренная пуля современности. twitter.com/webholt/status…
21:38@backendsecret Не знаю. Термин внезапно стал популярен, но используется в таком контексте, словно это должность или инструмент (ПО).
Так и есть. Только девопс это и должность, и тип инструментов, и методология. Разруха-с :( twitter.com/webholt/status…
21:43На самом деле devops произошло от латинского devus - божественный и ops - могущество, власть.
21:45@backendsecret litres.ru/kim-dzhin/dzho… - книга-то продавалась в электронном виде21:45
@backendsecret И неужто всем вокруг очевидно, о чем идет речь? Таки это просто еще одна методология?
все как-то привыкли понимать по своему и спорить о том как кто понимает. А мы посерёдке крутимся. twitter.com/webholt/status…
21:46На самом деле devops произошло от латинского devus - божественный и ops - могущество, власть.
увы, нет, это от developers и operators, символизирует объединение оных в сладостном экстазе CI и взаимовыручки. twitter.com/backendsecret/…
21:50@MaksimSavichev себестоимость содержания оравы дармоедов из ИТ-департамента должна снизиться в некотором историч.пределе @backendsecret21:55
@MaksimSavichev но обычно растёт :) @backendsecret21:55
DevOps это методология. en.wikipedia.org/wiki/DevOps это все знают.
21:56Ещё девопсами называют админов которые умеют шеф, паппет, докер, графит и прочее. Это неправильно, но, увы, уже факт.
21:57Ещё бывают девопс консультанты\матсера - эдакие менеджеры-решатели-проблем. Пытаются впихнуть организацию в рамки методологий.
21:58а каждая компания понимает девопс как хочет. Точно так же как есть кодеры, программисты, инженеры и так далее.
22:01сейчас вообще почти всю движуху вокруг реформирования опсов нахывают девопсом и отлично друг друга понимают.
22:02@backendsecret, пиво и кикер – вот что нужно для скейлинга.
для скейлинг девопс нужны хорошие отношения и общие интересы, если другими словами twitter.com/gruz0/status/6…
22:04Мне кажется для девопса крайне важно чтобы умные и доброжелательные люди были готовы выслушать друг друга и попробовать понять.
22:09@webholt ни то, ни другое - de-gis.livejournal.com/152777.html @backendsecret
девопс даже фиолсофия. Полагаю, в своём роде это переосмысление инь и янь. twitter.com/de_gis/status/…
22:44– Чем вот ruby занимается 500ms?22:46
– Там гномики поют Drunken Sailor
так многие представляют внедрение девопс. pic.twitter.com/MAFrFTGsKr
а так на внедрение девопс смотрят бывалые pic.twitter.com/3PlczV4qIt
@backendsecret а получается :) pic.twitter.com/u8EXuZSYAF
чаще всего получается так twitter.com/POS_troi/statu… pic.twitter.com/MJo76jSesp
а иногда даже так. Таким компаниям хочу сказать: Фу, Рауди, фу! pic.twitter.com/zi6g2pP26p
кстати, советую добавить в слак\хипчат rss на devopsreactions.tumblr.com⁰Способствует хорошему настроению, а значит и внедрению devops.
23:05@backendsecret ну кепки-то правда часто сдувает
а ведь действительно сдувает. twitter.com/SiliconBangalo…
23:06но вот вам факт - если ты подсел, то с иглы девопс слезть невозможно. Это и больно, и приятно одновременно.
23:14@backendsecret Я правильно понимаю, что кроме смешных гифок про девопс ничего и не покажешь?
Разве остались ещё открытые темы в внедрении и культуре девопс? Предлагайте :) twitter.com/imflop/status/…
23:28Завтра, кстати, хочу поговорить о мониторинге, метриках, логах, тулсете и этом всём. Интересно? Я просто без ума от мониторинга.
23:29@backendsecret чем мониторим? А то я чот на заббиксе и нагиосе присел и не слажу :)
Имейте терпение. А то я сегодня спать не лягу, а завтра не о чем будет говорить. twitter.com/POS_troi/statu…
23:31Продолжим диалоги о культуре - у нас в @grammarlyeng культура общения была изначально и стоило её только поддерживать.
23:37Хорошо когда люди не хотят показаться умнее тебя (даже если они умнее), а готовы выслушать и постараться понять. Это помогает.
23:39Потому что время одиночек почти прошло. Проще работать командой, чем подстраивать команду под задаваку. От этого и популярность методологии.
23:40@backendsecret по-моему если человек умнее тебя - то "выслушивать" и "понимать" должен ты :)
Может и есть гении способные СТОшить и шарить все задачи на микроуровне, но чаще стоит выслушать каждого. twitter.com/fxposter/statu…
23:43У нас, например, работают умнейшие люди, но о некоторых вещах я просто думал дольше чем они. Потому что у меня больше времени на эту задачу.
23:45# Вторник 120 твитов
Кстати, извините что я не суров и не остёр, не разбрасываюсь гневными окликами и наставлениями. Просто мир слишком разнообразный.
0:03Если у вас есть devops тима, то у вас точно еще нет devops и совсем точно нет NoOps. Но ведь это может быть просто этапом?)
0:04@backendsecret ты крут! всегда и веди этот твитор!
неловко ретвитить :) twitter.com/Koljazzzik/sta…
0:08По Киеву уже почти 12, до завтра, котаны :) Всем культуры.
0:51Доброго утра.
9:05Что вы любите больше: рано вставать или поздно ложиться спать? (подсказка, вопрос связан с сегодняшней темой)
9:07Я люблю поздно ложиться, а потом рано вставать. Итак, сегодняшняя тема - мониторинг.
9:11@backendsecret сна?)
хаха, нет. Мониторинг приложений и инфраструктуры. twitter.com/ewnd9/status/6…
9:15«Мониторинг это получать сообщение когда ничего не работает», так ли это? Что я «забыл» сказать?
9:18@backendsecret мониторинг это знать, что происходит/происходило в конкретный момент времени. Алерты не самое важное :)
Правильно. А ещё? twitter.com/skl1f/status/6…
9:30@backendsecret мониторинг — это когда во время работы системы можно выявить замедляющие её моменты
Отлично. А ещё? twitter.com/fat0troll/stat…
9:36Ладно. Давайте попробуем пойти другим путём. Какие роли должен исполнять мониторинг? Роль бенчмарка и присылалки сообщений?
9:57@backendsecret Даже не столько бенчмарка, сколько того где можно увидеть что "что-то" понемялось.
То есть поиск изменений состояния? Вообще да. twitter.com/freiksenet_ru/…
10:01@backendsecret Ага. Краш - очень радикальный вариант изменения состояния.
вообще да. Смешно, но это тоже изменение состояния приложения. twitter.com/freiksenet_ru/…
10:08@backendsecret после деплоя - отражение жизнеспособности релиза, если есть спайк - выясняем причину или откатываемся10:22
@backendsecret Зависит от цели, тут бы определиться о каком мониторинге речь - статистическом или состояний :)10:22
Так что оба пункта верны
@backendsecret эта презентация отвечает на вопросы что/как/почему: usenix.org/sites/default/…
блин, я как раз её хотел скинуть, но позже :) twitter.com/yevvers/status…
10:25Ладно, получается мы хотим знать когда проблема, почему проблема, есть ли проблема где-то ещё и что проблема достаточно важная. Так?
10:33@backendsecret @freiksenet_ru ага мониторинг это основа для триггеров, чтобы автоматизировать инфраструктуру и исправлять known issues
ну это скорее вариант использования, но в принципе да, без мониторинга там нечего делать. twitter.com/skl1f/status/6…
10:34Одна из важнейших частей мониторинга - предсказательная. Надо знать какая метрика может пригодиться или на что надо смотреть.
10:56Часто хороший дашборд оказывается важнее алертов, которых может и не быть.
10:56Как устроено у нас: длинный вариант youtube.com/watch?v=zxcyN9… ,укороченный с рутконфа youtube.com/watch?v=2pKxiQ…⁰слайды: ⁰slideshare.net/VsevolodPolyak…
11:01Сейчас все носятся с метриками, которые суть структурированные, преобработанные и обрезанные логи.
11:03@backendsecret что есть проблема в вашем определеним
Я сознательно сформулировал, хорошо что обратили внимание :) Что есть проблема – самый важный вопрос. twitter.com/tru_pablo/stat…
11:04Например, если у вас выключили сервер это проблема?
11:05@backendsecret зависит от ситуации по которой его выключили.
Это точно важно? Когда это может быть не важным? twitter.com/strizhechenko/…
11:06@backendsecret ну например за него не заплатили, это уже не проблема это бок :)
ну то есть клиенты узнают что не заплатили и такие: а всё в порядке, расходимся, они просто не заплатили за сервер:) twitter.com/POS_troi/statu…
11:13@backendsecret если для вас выключенный сервер это проблема. значит у вас SPOF
именно. Неоднократно встречал ситуации, когда мониторинг отдувается за плохую архитектуру. twitter.com/Dgtl_philosoph…
11:14Я думаю многие задумались бы об архитектуре своих приложений, если бы им ночью приходили алерты :)
11:16@backendsecret а это уже от SLA зависит да и назначения.
К примеру если если это сервер мониторинга погоды в аэропорту то это залёт :)
Так ли это? А если резервных серверов 20? twitter.com/POS_troi/statu…
11:28@backendsecret geektimes.ru/post/265784/12:10
Судя по всему в этом случае это далеко не так :)
Удваиваем, когда мы перевесили часть алертов на разработку, так и случилось. twitter.com/backendsecret/…
Кстати у нас дэвы получают алерты своих проектов twitter.com/market_ops_cre…
12:11@backendsecret Люто полюсую, это называеться project responcibility и пока это самый еффективный способ не делать фигню на проекте.
Я бы сказал что это просто один из хороших способов twitter.com/DevArtem/statu…
12:12@backendsecret Надо уметь обяснять и приводить примеры на понятном бизнесу языке. Если выгодно и не идиоты, то все можно сделать лучше.12:12
@DevArtem @backendsecret "не идиоты" - очень важное уточнение!12:12
@mr_mig_by @backendsecret ну тут главное не скатиться во "ВСЕ ИДИОТЫ!!!!111" а я один умный. Конструктивно все дожно быть.
Виват конструктиву twitter.com/DevArtem/statu…
12:18@market_ops_crew @backendsecret и появился новый архитектурный компонент, который автоматом ставит "I know":)
Точно, поэтому должен быть инструмент которым девелоперы сами устанавливают алерты twitter.com/yevvers/status…
12:19Опсы/платформа должны понимать что они делают продукт, который потом продают компании, а не устраивают сталинизм и массовые расстрелы
12:21Я хочу сказать что если вы собрались давать dev-у мониторинг, то он должен быть как минимум таким же удобным как datadog или newrelic
12:35да, когда я сравниваю in-house мониторинг с внешними продуктами я имею ввиду что он должен быть удобнее для конкретных задач вашей компании.
12:36@backendsecret твит родился раньше, чем пояснение долшло :) в-целом это так, но побить коммерческий продукт по UX весьма и весьма сложно.
ком. продукт должен работать абсолютно для всех: и маленьких, и больших, и простых, и сложных, и опытных, и нубов. twitter.com/market_ops_cre…
12:43@backendsecret У нас on call duty, все борються с монстром, которого создали сами.12:49
онколл у девтимы это не наказание, это более эффективный способ решения проблем сервиса и компании. Просто дэвы лучше знают свой сервис.
12:50важно дать инструмент управления оповещениями. Мы используем @opsgenie. Есть еще @VictorOps и @pagerduty
12:53@backendsecret Ну с другой стороны, никто не хочет быть привязынним к компу все выходыные. Такое....
Команды должны сами решать как они дежурят. Ну и пока опсы всегда подстраховывают. twitter.com/DevArtem/statu…
12:54из бесплатных я вспомню stackstorm.com github.com/arachnys/cabot и ещё что-то было.
12:57А где жаркий спор? По моему опыту опсы не верят что дэвы сами хотят мониторить свои сервисы.
13:03@backendsecret у меня есть опыт, когда возле админа стоит куча народу, чтобы он смотрел на прод. И почему такое могло случиться?
у многих такое происходит. Есть идеи? twitter.com/chubik/status/…
13:18@backendsecret - возможность видеть изменения (нужные логи) самому; - иметь енв который стремится быть идентичным к проду ;
а возможно иметь такой энв? Мне кажется нет. twitter.com/chubik/status/…
13:36А культура нужна чтобы с онколом не было так «When your Sunday oncall outage turns into their Monday oncall outage» pic.twitter.com/nhRL7xRq3j
Теперь давайте поговорим о метриках подробнее. Что вы пишите?
14:23@backendsecret кстати, а насколько средний devops'ер отстаёт от сетевого инженера по знаниям в сетях (bgp, роутинги, прочая магия)?15:01
@backendsecret я тоже не верю, что они захотят ковыряться в потрохах заббикса и нагиоса. а вот если им будет удобно, то захотят
в потрохах и не надо. Надо чтобы люди могли просто сделать им нужное - поправить трешхолд, поставить алерт. twitter.com/erthad/status/…
15:06Кстати, у меня как-то сложилось большое предубеждение к заббиксу. Может есть истории успеха?
15:07@backendsecret А тут о мониторинге чего разговор?
Или разговор о мониторинге приложений?
Я видать мысль потерял :)
о мониторинге приложений. Другой вопрос что такое приложение. twitter.com/POS_troi/statu…
15:21mysql + самописный апп + внешний биллинг это приложение? Мы называем это сервисом, который поддерживается командой.
15:22И разработчик используя базу данных должен писать метрики приложения, чтобы мерять тайминги запросов, количество запросов и ошибки.
15:23это не означает что саму базу данных можно не мониторить. Просто это не так критично, как метрики приложений.
15:24Если на базе LA 20, но приложению ок и юзеры не страдают - зачем просыпаться ночью?
15:24@backendsecret а в чем отличие сервиса от приложения?)
может где-то есть строгая типизация. В рамках этого обсуждения я называл приложением один из компонентов сервиса. twitter.com/rainrb/status/…
15:30можно вместо приложений\сервисов использовать слова «ываыв» и «зазаза», как кому удобнее? Суть не должна поменяться :)
15:31@backendsecret особенно, если у базы 32 ядра :)
Хах, тогда LA 20 может значить что база недогружена. twitter.com/sc_raptor/stat…
15:32Если ваше приложение ходит куда-то по http - надо писать время запроса и ответы. Это может быть очень полезным.
15:34Не на каждую метрику должен быть алерт → метрик может быть много. Главное правильно группировать, что б потом найти нужное. Это не просто.
15:36Кстати, часто глупо агрегировать метрики внутри приложения. Лучше облегчать себе жизнь и юзать github.com/etsy/statsd (или аналоги)
15:44How many @docker maintainers you need to put Linux on a projector?15:45
#dockercon @frazelledazzell @diogomonica @vbatts pic.twitter.com/UA4XcZ2t1H
Посоветовали сделать опрос: вы бы мониторили свои сервисы если бы были удобные тулы для мониторинга? Очень надо.
15:47кстати, мониторинг не обязательно должен быть сложным. Может вам хватит premeteus, seyren, bosun.
15:49Как и все :) тайминги времен ответов в разрезах по методам и внешним ручкам, % ошибок, LA, размеры очередей, etc twitter.com/backendsecret/…
Это всё прямо из приложения? twitter.com/market_ops_cre…
15:53Из SaaS (и это уже личный, не-Яндексовый опыт) ещё ServerDensity неплох. twitter.com/backendsecret/…
Кстати о SaaS, еще есть datadog, librato, newrelic, sysdig, они очень хороши. twitter.com/market_ops_cre…
15:54@backendsecret Какой из них самый лучший?
все из них самые лучшие :) twitter.com/freiksenet_ru/…
15:56@backendsecret Ну мог бы и рассказать подробнее ;)
Не могу представить сравнение SaaS в формате 140 символов, если честно. twitter.com/freiksenet_ru/…
15:59@backendsecret а можешь рассказать про твои любимые системы? Мне вот datadog приглянулся.
я вообще как-то больше по кастому типа sensu. Всему своё место. twitter.com/borovikov/stat…
16:10@backendsecret мне prometheus показался сложноватым из-за того сколько времени от "узнал о нём" до "получил алярм по своей метрике" ушло
это конечно дольше чем SaaS, но быстрее чем сложный кастом. twitter.com/strizhechenko/…
16:11@backendsecret Можно на каждый из этих SaaS один твит написать ) У меня например опыт только с new relic.
может есть кто-то, кто может описать систему одним твитом? twitter.com/freiksenet_ru/…
16:12@backendsecret new relic - мониторинг для самых маленьких. Попса мира мониторинга.
я не согласен. NewRelic очень мощный и крутой. Но эта крутость очень дорого стоит. twitter.com/mr_mig_by/stat…
16:14@backendsecret sysdig тоже saas?
у них есть cloud sysdig.com Мне они кажутся самыми перспективными, очень пальцатые ребята. twitter.com/mechmind/statu…
16:16Кстати, чуть не забыл про okmeter.io от github.com/curlup отличный сервис, есть свои нюансы, тоже развиваются.
16:20Сейчас в Киеве очень красиво. Снял с балкона Grammarly. pic.twitter.com/OD56nTyJk2
Каждый день я буду советовать одну must-read книжку по безопасной разработке. #1 в моем списке: The Tangled Web. amazon.com/Tangled-Web-Se…
плюсую twitter.com/jsunderhood/st…
16:47Кто куда пишет логи? Я так понял немало ребят всё ещё ходят на сервера и смотрят логи руками.
16:48@backendsecret ты лучше расскажи как быстро и безболезненно прикрутить logstash или что там к готовому rails или go приложению
Если нагрузка не сильная, то пишите логи в json в файл и отправляйте фарвардером на логстеш. У файла много плюсов. twitter.com/zhulikgleb/sta…
16:55@backendsecret papertrail
Кстати, отличный сервис. Правда мне показался простеньким. Но всему своё место. twitter.com/freiksenet_ru/…
16:56@backendsecret совсем маленький лог пишу по классике :) Logger.new("log/#{TEST_ENV}_#{Time.now.to_i}.log")
Хах, ну отлично, теперь проблем нет :) twitter.com/__dmitry/statu…
16:57@backendsecret вот надо как минимум везде логи в json переделывать, долго
оно того стоит. json (или аналог) удобный тем, что можно добавлять свои поля без изменения правил парсинга. twitter.com/zhulikgleb/sta…
16:59@backendsecret системные логи парсю и складываю в постгрес, а с постгреса это всё дело красиво забирается сервисом писанным на рельсах.
это прям свой logstash стек :) twitter.com/POS_troi/statu…
17:00@backendsecret Этим и хорош. Что еще нужно кроме архива логов с поиском.
поиск по полям, сортировка по значениям, графики, фильтры, сортировка по уникам - это минимум :) twitter.com/freiksenet_ru/…
17:01Есть ещё splunc cloud. Есть кто-то, кто юзает?
17:02@backendsecret Ну там есть какие-то графики, нам пока не надо было.
Кстати, это показательно. Когда я начинал внедрять elk+kibana в граммарли тоже многие недоумевали зачем оно надо. twitter.com/freiksenet_ru/…
17:07Сейчас в принципе большинство dev-ов пользуются если не всеми, то почти всеми фишками и сложными поисками с гарфиками. Вопрос возможностей.
17:08@backendsecret еще loggly17:08
@backendsecret авторы Прометея противоположного мнения: проще и эффективнее держать счётчики в приложении и отдавать мониторилке срезы
История рассудит всех, но делая считалки внутри приложения будь готов саппортить эту часть ненужной логики. twitter.com/vassilevsky/st…
17:37@backendsecret Papertrail - банально удобный интерфейс к heroku logs17:37
@backendsecret У нас в других местах есть много графиков, например в new relic.
Ньюрелик мощный, но я имел ввиду графики по логам. Пример - сквозной userID twitter.com/freiksenet_ru/…
17:38@backendsecret а statsd клиентскую часть саппортить не нужно? (Серьёзный вопрос.)
по факту после внедрения проблем стало намного меньше. (Серьёзный ответ) twitter.com/vassilevsky/st…
18:12на самом деле с statsd у нас особая история, потому что внутри много разных языков: java, scala, erlang, python, lisp. Выгоды были очевиднее
18:13@backendsecret тоже самое, вредрял на уровне факультатива, теперь production система с десятками пользователей. Пока не покажешь - не поймут18:31
@backendsecret, в кластер ES в первую очередь, потом remote syslog. Ну и для всего этого веб-морда встроенная в приложение.
Это очень интересно! twitter.com/gruz0/status/6…
19:08@vassilevsky @backendsecret считать внутри то не сложно, но если считать снаружи, получаешь рейты-перцентили-медианы бесплатным бонусом
Ну, кстати, действительно. Сложно представить как посчитать процентиль с всех серверов внутри одного :) twitter.com/erthad/status/…
19:16@backendsecret dklab.logreplica забирает отовсюду нужные логи и складывает на одном сервере
Нестандартный вариант. Можно подробнее о причинах выбора? twitter.com/Mas73r/status/…
20:24Мониторинг всегда недооценивают. Почему, зачем вы так?
20:33@backendsecret только когда попа находит многосерверный проект начинаешь ценить то, о чем не думал в детстве20:51
@backendsecret не хочу уменьшить значение мониторинга, но: может его кто-то переоценивает? :)
Если честно я ни разу не встречал ситуации когда мониторинг переоценили бы :) а вы? twitter.com/bytecheg/statu…
20:51Мониторинг бизнес логики - мониторинг или нет?
21:01Мы, кстати, перешли на чистый графит для метрик. А кто на чем?
21:03@backendsecret да, но для тех, кто его понимает. Их @market_ops_crew и отселили разработчикам :-j
Должны ли падать алерты на такую логику? twitter.com/mr_felixoid/st…
21:04Если вы не знаете на что вешать алерты - смотрите аффектятся юзеры или нет. Если да - алерт обязан быть.
21:07Если единственное что вы можете мерять это бизнес логика - надо алертить с неё. Мы пробовали, но это сложновато. Хотя используем.
21:10@backendsecret а почему не Grafana с InfluxDB или подобное?
на наших небольших 240000 метрик инфлюкс плохо себя показал. К тому же там мало функций. жду github.com/influxdb/influ… twitter.com/dlagoza/status…
23:04@backendsecret @market_ops_crew что простите? Бывает продукт для всех -и он каждому чем-то не хорош. А бывает для узкой аудитории но хороший
тогда узких SaaS мониторинга должно быть очень много, чтобы мы нашли свой. Пока увы, выгоднее делать под себя. twitter.com/tru_pablo/stat…
23:05сейчас в hangops_ru срач на тему «ЗАББИКС ГОВНО» против «А мне ок». Прикольно :) signup.hangops.com
23:14Кстати, чуть не забыл про okmeter.io от github.com/curlup отличный сервис, есть свои нюансы, тоже развиваются.
Кстати, нашел твиттер автора @tru_pablo, мы как то неплохо потрындели, ребята реально шарят в мониторинге. twitter.com/backendsecret/…
23:29@DevArtem @backendsecret у нас дев и саппорт(ТП) - отдельные подразделения.В ТП есть график дежурств.
А что делают ТП в сложных случаях? Нельзя ли в простых заменить ТП скриптом? Интересно :) twitter.com/de_gis/status/…
23:32@backendsecret вариант - конструктор (платформа + конфигуратор) из которого можно собрать нужный тебе узкий вариант.
собственно сейчас похоже вообще вообще везде эпоха конструкторов с крупными деталями. twitter.com/tru_pablo/stat…
23:36@backendsecret @DevArtem ТП-отдельное подразделение по сопровождению и развитию готовых систем.Там есть и Dev, и Ops, и аналитики свои
Я когда-то читал исповедь парня, который где-то поддерживал код для IBM или ещё кого-то большого. Никто не помнит? twitter.com/de_gis/status/…
23:38@backendsecret @DevArtem и есть условно "оригинальное" Dev-подразделение со своими разрабами,админами,QA и т.п.
вообще интересная структура. И как, хорошо работает? Есть какие-то нарекания? twitter.com/de_gis/status/…
23:40@backendsecret @DevArtem формально разделено на производство+внедрение и последующее сопровождение
а процессы не медленные? Ну то есть это не мешает часто релизиться и быстро фиксить проблемы? twitter.com/de_gis/status/…
23:45@backendsecret @DevArtem всё а этом мире - компромисс. А компромисс - это когда обе стороны заткнулись, сцепили зубы, терпят и улыбаются
Блин, у меня аж коленки задрожали. А у вас? twitter.com/de_gis/status/…
23:52# Среда 101 твит
@backendsecret @DevArtem всё а этом мире - компромисс. А компромисс - это когда обе стороны заткнулись, сцепили зубы, терпят и улыбаются
я вообще думал что всё в этом мире любовь, поэтому надо взяться за руки и помочь друг другу решить проблемы. twitter.com/de_gis/status/…
0:04Ещё в ленте проплывала идея,что жирные не бывают хорошими менеджерами, т.к. they cannot even manage their own weight twitter.com/alcohistory/st…
зато толстым админом быть можно - это значит что ты не часто меняешь насиженное место :) twitter.com/Soukhinov/stat…
0:05Любопытно - у меня одного подсознательное отношение к софту на гитхабе,а не своём портале,как к "китайским поделкам"?
Интересный вопрос. github.com/torvalds/linux twitter.com/de_gis/status/…
0:14"всякие роутеры, свичи, херота всякая" (c) @ctrlok он же сейчас @backendsecret восхитительно
Ой да ладно тебе, позорить меня пришёл :) Ну не дорос я ещё до мониторинга ДЦ, не дорос twitter.com/tru_pablo/stat…
0:30Как @backendsecret я не считаю всякие сетевые штуки херотой. А как @ctrlok они мне не интересны пока. Слишком много для Атоса, так сказать.
0:32Итоги дня - мониторьте приложения, это очень важно. Пишите метрики с всего что можно - особенно взаимодействия с внешним миром.
0:40Не бросайтесь пилить своё, всегда можно посмотреть на SaaS. Пишите логи в расширяемых форматах.
0:40Смело передавайте и принимайте алерты. Любите и цените дашборды, они очень важны. Требуйте от опсов свободу от опсов.
0:41Если вас просят просыпаться ночью за свой сервис — требуйте ясности и удобств, иначе задолбаетесь.
0:44Завтра попробуем поговорить о докерах, шмокерах и прочих контейнерных закидонах.
0:53@backendsecret
Как раз в тему мониторинга, свежак. twitter.com/HNTweets/statu…
Ого, вот это круто! twitter.com/remm_roman/sta…
0:59@backendsecret весь гемор вещайте на девопса, говорю. девелоперу это все не с руки, верно? особенно бекндщику-то.
монолог :) twitter.com/kirylkiryl/sta…
1:16@backendsecret веселые ребята: "you are OK with losing your data to goblins":)10:40
@backendsecret мониторят и быть на онколе это разное. Если есть онкол тои пул девов жаждущих уйти растёт семимильными шагами:)
Ну вообще это вопрос реализаций. Тремя словами: не всегда так. twitter.com/b0noi/status/6…
10:43Доброго утра. Вы перестали внедрять докер по утрам?
10:50в догонку вчерашнему, утащил из hangops-ru vimeo.com/95073903
10:58Идея для бизнеса:11:01
1) Снять офис
2) Извините, у меня кончились деньги
3) Вынес большой опыт из этого всего)
Кое-кто считает докер секьюритизатором. Это ВООБЩЕ ОФИГЕТЬ КАК НЕ ВЕРНО. Докер это в первую очередь экосистема сборки\доставки\запуска
11:07@backendsecret утра. Неа, мы теперь "пихаем" его куда только можно %)
ехал докер через докер,⁰видит докер в речке докер,⁰сунул докер докер в докер,⁰докер докер докер докер⁰ twitter.com/Vitalliumm/sta…
11:10Боже, свершилось :) github.com/docker/dockerc…
11:14@backendsecret а чем докер лучше виртуалки запровиженой chef'ом? я правда не понимаю хайпа вокруг этого.
докер скорее похож на виртуалку с которой сняли образ после наката изменений и релизятся с этого образа. twitter.com/skl1f/status/6…
11:16Ну и вообще идемпотентость это круто (не путать с импотентностью, это не круто)
11:19@backendsecret т.е. ничем не отличается от приготовленного ами в амазоне по вашим словам
глобально да, в амазоне АМИ очень удобны, но отличия есть (в след. твите) twitter.com/cluevick/statu…
11:221) вы можете совмещать мир АМИ там где он нужен с тем, где он не нужен. 2) независимое обновление приложений в рамках одного ами 3) …
11:233) запуск локально → можно пошагово локально фигачить и тестить 4) удобнее передавать переменные окружения. 5) кеширование шагов
11:25это не всё, это просто самые важные отличия от EC2 AMI. Типа запустить несколько AMI на одной машине и обновлять их независимо :)
11:26wagl - DNS сервис-дискавери для Docker Swarm. #golang github.com/ahmetalpbalkan… | 4gophers.com
кстати, сервис дискавери тоже отдельная тема :) Очень веселая. twitter.com/4gophers/statu…
11:28@backendsecret у нас вообще никак не начнут внедрять.
в такое позиции есть свои плюсы. Потому что чаще всего внедрение докера похоже на ремонт в 90-е годы. Это навсегда. twitter.com/remm_roman/sta…
11:41Докер это не новый софтрепо. Нельзя просто так взять и заюзать контейнер из публичного хаба. Это как `curl …. | sudo sh`. Не делайте так.
11:53Не понимая что ты запускаешь будь готов что запустится непонятно что непонятно как.
11:54@backendsecret это знак pic.twitter.com/m5VlSoFUwd
Вообще эта контейнерная шумиха не просто так возникла. Причины, скорее всего, в усталости от взаимодействий с опсами twitter.com/TvorZasp/statu…
11:56@backendsecret стоп-стоп, есть же официальные репы, с чего это я им должен не доверять?
Вообще можешь доверять кому угодно. И это скорее не про убунту имедж, а про mysql от Vasya3332 twitter.com/borovikov/stat…
11:58@backendsecret спасибо RVM что не просит sudo :)
хаха, обновляете ли вы гемы прямо на серверах?) twitter.com/POS_troi/statu…
11:59беда конечно, она не в том что опсы или контейнерная шумиха она в том что хипстеры и неучи теперь хотят доккеры... twitter.com/backendsecret/…
Беда скорее в том что они, когда у них ничего не получится будут орать «Докер говно» по всем углам :) twitter.com/cluevick/statu…
12:07Как после этого не любить Go и его сообщество? pic.twitter.com/xmQVyMzLLt12:08
одна из проблем докера в том что все ожидают что он сразу под них заработает. А по факту приходится делать свои обвязки.
12:19так мы написали github.com/grammarly/rock… и github.com/grammarly/rock…
12:19@backendsecret Хочу докер, но мне некуда его пихать.
А раз некуда пихать значит «Докер говно» - Вот так вот :))
что значит некуда пихать? Ищущий да найдёт (trollface) twitter.com/POS_troi/statu…
12:21@backendsecret мы тут долго маялись как сделать авто гит фетч внутри контейнера, тот еще гемор
в смысле после этапа сборки? Зачем это может понадобиться? twitter.com/raxpost/status…
12:22Самое важное: докер это не серебряная пуля. Откуда вообще такая страсть искать решение всех своих проблем одной тулой?
12:31@backendsecret это не серебренная пуля, но он отлично вписывается в методологию DevOps.
DockOps?) twitter.com/dlagoza/status…
12:45Ещё юзкейс: запуск на современных ОС г^w легаси, сборки которого есть под какой-нить Sarge i386, и сорсов нет. twitter.com/backendsecret/…12:46
@backendsecret Это вся человеческое стремление заиметь волшебную кнопку "сделать всё офигенно"
Счастья всем и каждому и чтобы никто не ушёл обиженным. twitter.com/POS_troi/statu…
12:46@borovikov а с чего им доверять то? А если в новой версии что-то сломается? Вон официальная Kibana и Logstash с багами. @backendsecret
Они не только с багами, гл бывают очень странными. Лучше все самостоятельно сделать. twitter.com/dlagoza/status…
12:47@dlagoza @backendsecret с deb-пакетами все тоже самое, и вообще не вижу проблемы - все тестировать надо перед тем как катить на прод
Истинно, но в докере тебе можно меньше думать о обновлении/откате на уровне системы и зависимостей twitter.com/borovikov/stat…
12:48@backendsecret DevDockerOps13:14
@backendsecret Как относильшся к Mesos контейнерам, пробовал ли кто то связку #docker #mesos #maraphon ?
месос, кубернетис это круто, но сложно. Но круто. Мы крутили, но внедрять показалось дорого. А у вас? twitter.com/DevArtem/statu…
13:22@borovikov мало того что тестировать, так еще и исправлять официальное. С оф-ми deb-ам такой проблемы почти не бывает. @backendsecret
ой-ли :) ну и смысл, если докер это не замена репозитариям, это то, как ты доставляешь и деплоишь свой код. twitter.com/dlagoza/status…
14:05@backendsecret единственный образ, который полноценно можно использовать, это стоковый Debian (Ubuntu, etc), дальше наворачиваешь что нужно.
А можно ли? Или создавать самим? twitter.com/dlagoza/status…
14:05@backendsecret а у нас обычный swarm используется без обвязок :)
ого, и как? Я не нашёл нормального применения сварма. twitter.com/dlagoza/status…
14:06Примерно так выглядит использование шефа девелоперами. С докером проще, потому что предсказуемей. pic.twitter.com/R2bBecrnL3
вот все говорят про то что доккер решает все проблемы выкатки и прочее, но если инстанс упал и недоступен то никакой доккер не поможет...
именно поэтому важно дать всем понять что докер это не решение всех проблем. Это достаточно узкий инструмент. twitter.com/cluevick/statu…
14:15Очень часто использование докера связывают с всякими консулами и прочим. На самом деле можно использовать докер и с шефом, и с ансиблом.
14:19В таком случае докер будет только оберткой для приложения и облегчит в некоторых случаях сборку, доставку и запуск.
14:20мы храним compose файлы прямо в репе приложения, потому что это буквальное описание сервиса и удобно связывать его с кодом покомитно.
14:23Не забывайте, что почти каждое действие в R(d)ockerfile это новый слой фс → не стоит класть секреты одним шагом и удалять следующим.
14:25@backendsecret Я пробывал на сайд проектиках, все отлично, но в конечном итоге решилии не спрыгивать с амазона, слишком все на него завязано
Амазон крут и удобен. Но почему бы не юзать месос вместе с амазоном? twitter.com/DevArtem/statu…
14:43@freiksenet_ru @backendsecret в мейл листах одни нёрды, в slack - няшки ^_^15:52
Кстати, тут мы рассказывали зачем сделали rocker : tech.grammarly.com/blog/posts/Mak…
15:58а тут про rocker-compose tech.grammarly.com/blog/posts/How…
15:59Ещё большая проблема докера в том что он подменяет собой кучу всяких штук, поэтому они часто наступают на грабли, которые уже решены.
16:00Например, мне до сих пор непонятно почему докер не заюзал systemd для управления контейнерами на серверах, как rkt
16:01В каждой рассылке docker weekly есть очередной пост на тему «Докер для новичков» и всё равно появляются такие посты habrahabr.ru/post/260305/
16:05@backendsecret и будут появляться пока они нормальные примеры в документацию не включат. Новички рассылку не читают и это кагбе нормально.
даже не знаю. Мне документация показалась ок, когда я разбирался. twitter.com/lexaguskov/sta…
16:14@backendsecret используем кубернетес для стейджей. И оно — ок.
Кстати, это отличный кейс чтобы экономить не стейджах, если хоститесь на своём железе. twitter.com/dronovmm/statu…
16:15Коль бы я была DevOps-ом, яб для батьки Сервака Docker чудный завела :) @backendsecret
кабы я была девопсом, я б для докера царя пять тулзов накостылял б twitter.com/POS_troi/statu…
16:23@backendsecret документация норм, не хватает именно best practices. Докер форсит свой подход к инфраструктуре, но примеров не даёт почти.
в принципе справедливо. Но как много может быть бест практис для конструктора? twitter.com/lexaguskov/sta…
16:23@backendsecret В этом и проблема. Докер пришёл с заявлением "я знаю как нужно делать инфраструктуру" но предлагает конструктор а не решение.
видимо да. Им надо дать задний ход и сказать: мы конструктор? twitter.com/lexaguskov/sta…
16:34@backendsecret logentries
Кстати, хороший сервис сбора логов, не помню был ли он вчера. twitter.com/x_cray/status/…
16:42@backendsecret хорошь ли докер,если нужно делать PaaS с установленным софтом для клиентов,иногда его обновлять для всех и кому-то отключать?
не уверен конкретно в докере, но мне кажется сама идея контейнеров тут хорошо подходит. twitter.com/mpak999/status…
16:43надо понимать что контейнеры это не только докер. vmware.com/cloudnative/te…
16:44Иногда докер может быть только системой для сборки контейнеров. Там он очень неплох. А дальше сплющиваешь и запускаешь чем хочешь
16:45@backendsecret, а с чего начать нубам?
можно почитать blog.docker.com/docker-weekly-… там много всего хорошего. twitter.com/ilnurkhalilov/…
17:15@backendsecret Пользуясь случаем: а не хочет ли кто-нибудь обсудить перспективы докера на других платформах? FreeBSD/OSX/Windows? ARM?
а давай :) twitter.com/lexaguskov/sta…
17:24@backendsecret ну вот мс активно пилит версию для винды и скоро зарелизит, хочется понять надо ли оно кому-нибудь и как это будет юзатся
надо кому-то? twitter.com/lexaguskov/sta…
17:32@backendsecret или вот я летом пытался запилить порт для фряхи, но пока не взлетело, кому-нибудь ещё это интересно вообще?
я уже видел имплементации appc под фрю, это не ты? twitter.com/lexaguskov/sta…
17:33@backendsecret думаю да - много Ынтерпрайза на винде сидит, там бы пригодилось
вспомнил анекдот про эстонца и ворону twitter.com/ostelaymetaule…
17:41заворачивать jvm в докер тупо или нет?
17:48@backendsecret twitter.com/sadserver/stat…
вот именно это я и имел ввиду :) twitter.com/market_ops_cre…
17:52@backendsecret Следующие 10 лет 100% будут вместе с дотнетфрейморком ставить )))18:34
@as_Crazy @backendsecret можно, конечно. Но в контейнер нужно добавить JVM (JRE). Про что и был вопрос.
ну некоторых бесит что ты заворачиваешь виртуальную машину в контейнер :) Суть в том что докер это не виртуалка. twitter.com/ivan0yu/status…
18:36@ivan0yu @backendsecret намёк изначальный был конечно же на то что в мире с jar/war докер не нужен18:37
@backendsecret а какие есть варианты изолированного запуска этой тарки портом кроме маргинальщины вроде systemd-nspawn
Кстати, а почему это маргинальщина?) есть еще rkt, runc, да хоть в чруте, лол :) twitter.com/as_Crazy/statu…
18:42@backendsecret а ещё ж всякая метаинформация потом теряется типа ENV, CMD, EXPOSE, VOLUMES
а всегда ли она нужна? Я просто спрашиваю :) Иногда докер героически и изящно решает проблемы какие сам и создаёт. twitter.com/as_Crazy/statu…
18:45@backendsecret смешно. В мире Windows это называется portable. И решений от кучи вендоров(МС и не МС) хоть попой ешь уже лет 10 как
О, а чем это похоже на докер? twitter.com/fcoder/status/…
18:46@backendsecret ну хочется хомячкам так, обидно им что контейнеры только пол года как запилили
Зачем же обзываться? twitter.com/dlagoza/status…
19:16Часто у докера проблемы с всякими скалами из-за того что во время билда он дропает кеш. Мы в rocker сделали VOLUME для этого и вышло ок :)
19:30Интересно что вся эта тема с контейнерами привела к пересмотру сервис дискавери. Хоть какая-то польза.
19:32Посоветовали сделать опрос: вы бы мониторили свои сервисы если бы были удобные тулы для мониторинга? Очень надо.
Кстати, итоги вчерашнего голосования twitter.com/backendsecret/…
19:32Кстати, неплохо о Kubecon: livewyer.com/blog/2015/11/0…
livewyer.com/blog/2015/11/1…
Неплохой пост о сравнении docker и cfg management txt.fliglio.com/2015/07/contai…
19:51@fcoder @backendsecret ага, а сколько hdd сожрет сотня инстансов разных версий чего-нибудь развесистого дотнетного в portable исполнении?20:09
@fcoder @backendsecret и где можно взглянуть на открытый репозиторий образов portable приложений?20:09
Хотя у докера с лайерами тоже не всё просто. В последних версиях они намудрили с вторым реджестри и спецификациями имеджей, ловим баги :)
20:10@backendsecret App-V, ThinApp, XenApp, Spoon и прочие. Пик популярности 2010 год. У Docker в чем разница? twitter.com/dlagoza/status…
тем что это не виртуализация? И он банально удобнее? twitter.com/fcoder/status/…
20:36@backendsecret @as_Crazy systemd-nspawn использует те же механизмы ядра что и lxc/docker, и лучше в нем чем в chroot22:58
@Soukhinov @antonvirtual @backendsecret да есть Zones 2005 года. В 1999 SWsoft(Parallels) запустили свои контейнеры Virtuozzo/OpenVZ22:59
@Soukhinov @antonvirtual @backendsecret в 2011 Google в некоторой кооперации с Parallels запустили LXC22:59
@Soukhinov @antonvirtual @backendsecret а ещё Jail был и есть во FreeBSD22:59
# Четверг 80 твитов
Здорово что пока меня не было никто не подрался :)
1:48@de_gis @backendsecret @Soukhinov @antonvirtual чсх, в бзд-коммюнити есть баттхерт что у них давно есть jail и zfs, а докер не они придумали9:28
разговор о докере всё-таки плавно перерос в срач. Опять. Всем доброго утра :)
10:51Сегодня я бы хотел поговорить о linux, shell и прочих штуках. Если вы на винде, то извините, я совсем не знаком с миром окон, но ретвичу.
10:54@backendsecret почему многие devops'еры пишут гигантские простыни на Go, когда для этого обычно достаточно 4 строчек на shell?:)
видел такое. Очень часто по незнанию шела, увы. twitter.com/strizhechenko/…
10:55@backendsecret предлагаю обсудить тему IaaA. AWS, Azure, DigitalOcean etc
даже не знаю что тут обсуждать :( IaaS это круто и удобно. Дороже чем ДЦ по железу, бывает дешевле по людям. twitter.com/dlagoza/status…
10:57@backendsecret почему в devops популярно "wget example.com/script.sh | sudo sh" ?)
потому что дурачье. twitter.com/skl1f/status/6…
11:05@strizhechenko @backendsecret плюсы: тестируемость скриптов; переносимость; читаемость и расширяемость; можно парсить сложные аргументы :)
плюсую за читаемость twitter.com/megaserg/statu…
11:05@backendsecret Быстро пример из популярных реп
"curl -L packages.gitlab.com/install/reposi… | sudo bash":)
Осторожнее, а то кто-то запустит :) twitter.com/POS_troi/statu…
11:12@backendsecret ну обсуждать есть что, тот же vendor lock разный, стоимость услуг за попугая производительности и т.д.
Есть вендор лок, иногда оправдан, иногда нет. Надо смотреть по ситуации. twitter.com/dlagoza/status…
11:41@skl1f @backendsecret это было популярно у долбаебов ещё за долго до появления термина #devops
грубо, но правда :( Каноничный случай: linux.org.ru/forum/developm… twitter.com/stasian/status…
11:45Плагин для разработки на Go под Visual Studio Code. #golang github.com/Microsoft/vsco… | 4gophers.com12:04
Приходилось сталкиваться с ребятами, которые не знают что такое пайп. Запомните: пайп это монада. Так проще :) softpanorama.org/Scripting/pipe…
12:07Иногда бывает хардкор: знакомый «девопс» поддерживает баш код из 3000+ строк. Не надо так.
12:08@backendsecret или 35к. На перле. В одном файле.
мне аж плохо стало twitter.com/market_ops_cre…
12:10самое важное что надо знать о шеле: входит в sdtin, выходит в два канала: stdout, stderr.
12:13@backendsecret Всё как в жизни - вошел борщ а вышло в два канала :))
лайфхак для запоминания twitter.com/POS_troi/statu…
12:15@backendsecret да хоть во сколько на самом деле (типа 3>&1 1>&2 2>&3 и прочими, очень сожалею что знаю это, хотел бы не знать, лол).
ага, но не думаю что это самое важное что надо знать о шеле :) twitter.com/strizhechenko/…
12:19If by "container" you mean emacs...yes, I deploy and run my app inside a container.
прикольно от @vseloved twitter.com/NeckbeardHacke…
12:21@lexaguskov @de_gis @backendsecret @Soukhinov с чего бы им придумывать? Они бородаты и насчет денег и удобства не парятся
может чтобы автоматизировать частые случае и сделать что-то удобнее чем было?) Речь о докер и jail twitter.com/antonvirtual/s…
12:28вообще часто замечаю что в опс мире много всякого «это ж просто», хотя по факту костыль на костыле.
12:29@backendsecret вообще в современном мире нужен ли шелл? Если да, то какие юзкейсы?
хороший вопрос. Шел это кирпичики среднего размера между syscall и magic button из которых ты строишь решение. twitter.com/clojure_ru/sta…
14:03@dlagoza @backendsecret в дополнение перечисленного eax.me/pva/14:03
Все зависит от уровня. Нужен ли шел это вопрос типа нужены ли фреймворки или нужны ли языки типа руби? Нужны. Использовать всегда? Нет.
14:05@backendsecret но ведь есть намного мощнее инструменты. Назови пару юзкейсов для шелла. :)
на многие юзкейсы есть тулы. Мощь шелла в комбинации. Ну типа зачем писать программы, если есть другие инструменты. twitter.com/clojure_ru/sta…
14:09Хотя я согласен, множество практических задач и стандартных юзкейсов переросли в что-то большее. Но и в консоли движение не замерло.
14:11@clojure_ru @backendsecret запустить lein, например ;)14:11
nixar.work/doc или stedolan.github.io/jq/ или github.com/donnemartin/sa… в принципе доказывают мою точку зрения.
14:14@PaGrom @backendsecret @market_ops_crew Я имел в виду не интерактивную сессию. Для интерактива шелл вполне ок. Я имел в виду скриптоложество
Скрипты на шеле нужны чаще всего _только_ для обратной совместимости Или эффективной комбинации нескольких программ twitter.com/clojure_ru/sta…
14:18@backendsecret или быстро накрапать концепцию, которую потом можно развернуть во что-нибудь нормальное
Иногда вопрос на чём быстрее наклипать :) twitter.com/mr_felixoid/st…
14:22В работе в консоли важно знать что в основном это всё про парсинг текста. С такой позиции проще принять шел как одного из духов линукса.
14:23@backendsecret @clojure_ru @PaGrom @market_ops_crew а чтоб быстро слобать что то, что везде будет работать без дополнительного по не?
Кстати да. Но для этого ещё подходит perl и python. Тоже везде есть. twitter.com/ruxeg/status/6…
14:45@backendsecret вот ваш рокер-композ я давно "застарил" на GH, но руки не доходят. Мне поставили задачу найти что-то с интерфейсом из коробки
так а для чего интерфейс? Есть всякие drone.io и circleci.com twitter.com/Vitalliumm/sta…
14:53@antonvirtual @backendsecret @de_gis @Soukhinov Есть такое. Живут с убогим ezJail и удивляются зачем нужен докер и откуда у них $лярд бабла.
Может пора заканчивать? Докер не противопоставление джейлам. twitter.com/lexaguskov/sta…
15:04@backendsecret о, вот так сразу понятно что такое монада стало. просто о сложном)
Наоборот тоже работает, да :) twitter.com/pupska/status/…
15:06@backendsecret perl требует особого восприятия реальности, а python требует установки доп пакетов на каждый чих(может готовлю не правильно)15:25
@backendsecret смотря для чего использовать джейлы. Если для VPS то согласен (хотя я б юзал bhyve), а для изоляции процессов докер лучше.
Изоляция в докере это cgroups, namespaces, capabilities + всё что можно прикрутить сверху. twitter.com/lexaguskov/sta…
15:30@backendsecret Я согласен что дело вкуса и нет смысла кого-то переубеждать. Докер внедрять - это время и геморрой. Но архитектурно он лучше.
вот именно что архитектурно, по тулам какие есть вокруг него, по решениям которые можно использовать. twitter.com/lexaguskov/sta…
15:32@ruxeg @backendsecret ну не каждый чих,у Python мощные батарейки, а остальные библиотеки из экосистемы нормально ставятся. Что не так?
а как на питоне однострочники в перловом стиле фигачить?) twitter.com/gorancheg/stat…
15:32git pull pic.twitter.com/HqiRAJiJt115:35
@backendsecret python -c и дальше в кавычках пишешь набор команд необходимый :)
это немного не то. twitter.com/gorancheg/stat…
15:36@backendsecret или даже python -c "exec '\nprint \"look ma,\"\nif True:\n\tprint \"with statements\!\"\n'" - ну думаю понятно)15:58
@backendsecret django стайл: echo "from django.conf import settings as s; print s.PROJECT_NAME" | python manage.py shell15:58
@gorancheg @ruxeg @backendsecret Если нужен скрипт, который копирует, пакует, и вообще как-либо взаимодействыет с группой файлов,то шелл.15:58
@gorancheg @ruxeg @backendsecret Пухтон тут оверхед, да и сложнее это написать.15:58
Да что вы знаете о названии коммитов? //@rubyunderhood @backendsecret @jsunderhood pic.twitter.com/PB5BpXJSJM18:11
@backendsecret python -c "import sys; map(sys.stdout.write, map(str, filter(bool, [1,2,0,4,0,5])))"
я имел ввиду что-то типа ls | ruby -ne 'puts $_.upcase' twitter.com/q210/status/66…
18:14как глубоко девы должны знать линукс как платформу на которой они запускают приложения?
18:15В смысле должны ли всякие улимиты, SELinux, неймспейсы, сисколы быть чем-то неизвестным? Или можно получить выгоду зная о этом всём?
18:16@backendsecret я думаю, должны уметь сами задеплоить (поставить-настроить всякие nginxы и gunicornы), а в случае проблем уметь читать логи )
ну а всякие дополнительные возможности? twitter.com/hatarist/statu…
18:17@backendsecret Для дева это зачастую не нужно. Если он конечно не пилит докер.
Но ведь часто можно упереться в глюки если не знаешь как работает файловый кеш линукс (один из примеров) twitter.com/saymons21_root…
18:18@backendsecret например? пропарсить логи с awk, передать файлы на соседний сервер по scp, сделать дамп БД? тоже стоит уметь
я имею ввиду фундаментальное понимание как оно там всё работает. twitter.com/hatarist/statu…
18:19Архитектура линукс, кроме как набор бест практис ещё и отличное руководство на тему как делать не надо.
18:20@backendsecret а, вот ты про что. ну, если разработчик низкоуровнев, то strace тот же знать и уметь точно стоит. А если сраные сайтики - не
на сраный сайтиках чтобы дебажить пхп strace бывает нужен очень часто :) twitter.com/hatarist/statu…
18:21@backendsecret В таких случаях надо. Определённо. Но задача. Руби жрёт памяти. как, хз. Мало кто даже это выяснить может.
как бы вы провели границу необходимых знаний? twitter.com/saymons21_root…
18:22@backendsecret про ulimit dev'у стопроц надо знать, а вот selinux это удел опсов имхо…
ну то есть опсы должны знать что дергает каждое приложение? Я так не думаю. twitter.com/stasian/status…
18:22@backendsecret приходится знать очень глубоко, спасает то, что пилю под одну платформу (rhel 6). Хотел бы не знать, лол.
а почему? Я думал знания лишними не бывают. twitter.com/strizhechenko/…
18:23@backendsecret мне кажется, это лишнее. Но возможность иметь (или нанять) знающего человека при необходимости (ботлнеки там, не знаю) нужна.
ну это для поиска ошибок. А как насчёт помощи в разработке? twitter.com/hatarist/statu…
18:23ну например, знаешь ты разницу между open и fopen и что такое IO buffer, неужели это не поможет в разработке?
18:24@backendsecret мне кажется через 4 года эти знания станут безнадежно устаревшими, а в других местах и вовсе уже сейчас бесполезны.
Справедливо. Но часто это справедливо для почти любых знаний :( twitter.com/strizhechenko/…
18:25@backendsecret благо абстракции в виде контейнеров и тренд на них позволяют забить на платформу и заниматься приложением.
увы, не всегда. Тот кто знает платформу (даже докер) использует её эффективнее. twitter.com/strizhechenko/…
18:26Например те, кто знает как работает tcp чаще будут использовать конекшн пулы по назначению.
18:26@backendsecret я думаю нужно иметь соответствующие фундаментальные знания, позволяющие при необходимости узнать платформу до нужного уровня
Не удивлён увидев c++ в описании твитящего twitter.com/gorancheg/stat…
18:31@backendsecret Естественно проще разработчику написать в #ansible плэйбуке чем в audit.log потом опсу ловить18:32
@backendsecret @hatarist Неистово плюсую! Где похапэ там и стрэйс... И это печально ;)18:32
@backendsecret ну и зачем, если проект не на ANSI C написан?) ЯП сейчас умные, наверняка или везде fopen юзают, или сами решают
Стоит ли всегда полагаться на ум ЯП? twitter.com/hatarist/statu…
18:33@backendsecret наверно потому все уходят в IaaS\PaaS
И возвращаются тоже :) twitter.com/d1b/status/667…
18:36гугл у всех один. Почему одни находят лучше? Потому что знают что ищут. С платформой тоже самое - надо знать возможности чтобы их юзать.
18:41ln -s /opt/apache-maven-3.2.5 /opt/apache-maven-3.2.1
#backwardscompatibility
типа как let true = false twitter.com/fxposter/statu…
19:46@backendsecret пайп это >>=, программы это монады
Война — это мир
Свобода — это рабство
Незнание — сила twitter.com/notxcain/statu…
@backendsecret Должны ли? Нет, ничего никому не должны. Является ли это конкурентным преимуществом? Несомненно. Но не во всех задачах
ну не для сайтов-визиток точно. Ещё если под венды фигачишь, то тоже можно не знать. twitter.com/as_Crazy/statu…
20:02@notxcain @backendsecret пайп это скорее fmap, а программы - функторы :-/
fmap это скорее grep 'bla' <(ls -al) twitter.com/borovikov/stat…
20:13@backendsecret всю её познать невозможно. Но я за стремление к этому. Это же основа моего приложения.
но всю и не надо. Главное хотя бы примерно понимать что именно ты не знаешь :) twitter.com/vassilevsky/st…
20:27Я сам до конца в этой тебе не уверен. Но у нас даже ребята из фронтенда интересуются линуксом. Знания не бывают лишними.
20:45Точно так же как опсы ходят на внутренние курсы по алгоритмам :)
20:46ну для базы мне кажется неплохо было бы прочитать Робачевского «Операционная система UNIX» twitter.com/iSalem100/stat…
21:02и\или вот эту play.google.com/store/books/de…
21:05@backendsecret @as_Crazy да можно вообще ничего не знать и быть обычным пользователем. Нафиг вам эти девы, опсы.21:22
Comparing @sensu vs @nagios is like to compare blueray to vhs
кстати, sensu действительно очень хорош на практике. ⁰twitter.com/lucazecca/stat…
21:55# Пятница 15 твитов
опсы тусуются тут: большая гиттер группа github.com/dev-ua/devops и буржуйский signup.hangops.com , там активное комьюнити hangops_ru
11:18рассылки:⁰ devopsweekly.com ⁰blog.serverdensity.com/devops-newslet… ⁰ blog.docker.com/docker-weekly-… ⁰и hangops.ru
11:21Все любят релокейт, а мне Киев нравится :) плюсы: архитектура, весело, родной язык и менталитет и цена\качество жизни.
11:48ладно, моя неделя подходит к концу. Может есть какие-то вопросы какие бы вы хотели задать опсу, но боялись спросить?)
17:33Забавное наблюдение: если у вас всё хорошо с опс отделом это скорее всего значит что вы не используете их потенциал до конца.
17:47Если всё хорошо в IT это скорее всего значит что вы просто не можете откусить настолько большой кусок, какой вам предлагают.
17:49Достаточно субъективно, но в целом я считаю это правдой.
17:49@backendsecret хорошее отношение — тоже ресурс, его использование может быть дорогой в один конец
хорошее отношение и нас всё устраивает и мы не хотим ничего больше - разные вещи :) twitter.com/Devgru/status/…
18:06@backendsecret разве в IT вообще бывает "всё хорошо”?18:07
@backendsecret у нас такая же ситуация, когда it знает/может кучу всего, но все это ограничено рамками регламента
Ох, это вообще печально :( twitter.com/strangeqargo/s…
18:08@clojure_ru @backendsecret конечно нужен dl2.joxi.net/drive/0001/186…19:08
@backendsecret очень скучаю за Киевом:(20:15
10 dumb security mistakes sys admins make - networkworld.com/article/300619…20:31
Gihub, верни… А ничего не пропало :)
20:37# Суббота 11 твитов
Очень очень крутая штука если вам надо сделать из того что наклепанно руками что-то более менее управляемое github.com/dtan4/terrafor…
прикольная тула twitter.com/cluevick/statu…
0:19Мы экспериментировали с разными системами: отдельный ops, встроенные опсы и NoOps. Лично мне пока больше всего нравится embedded ops\sre
12:11подробнее о SRE static.googleusercontent.com/media/research…
12:13@backendsecret расскажи откуда эти люди должны появляться в команде, должны ли они заботиться о нескольких сервисах?
да я сам иногда не в курсе откуда берутся все эти люди. Шучу. Вы имеете ввиду embedded ops? twitter.com/notxcain/statu…
13:06@backendsecret я про SRE )
пробуем растить из тех кому интересно. Пока это почти без вариантов. twitter.com/notxcain/statu…
13:10Если вы тоже хотите в заповедник доброты и дружелюбия - мы как раз ищем хороших инженеров grammarly.com/jobs/engineeri…
18:24обзор голландского рынка труда (технарей) technischweekblad.nl/upload/documen… и technischweekblad.nl/upload/documen… @backendsecret @rubyunderhood @abroadunderhood18:34
@nick_jastix почему-то похуже чем в германии. а сколько на обязательные страховки налоги уходит ? @backendsecret @abroadunderhood18:34
@ipronix @backendsecret @abroadunderhood обяз-я мед. страховка - ~100 €/мес. Калькулятор подоходного налога thetax.nl .18:34
Сори, имел ввиду @grammarlyeng
20:40# Воскресенье 2 твита
Я был рад вести эту неделю. Надеюсь что оказался полезен и не слишком сильно надоедал вам из своего параллельного мирка. С вами был @ctrlok
22:10Всем хорошей культуры, милоты, храбрости и отваги.
22:11# Ссылки
github.com
- https://github.com/grammarly/rocker
- https://github.com/arachnys/cabot
- https://github.com/etsy/statsd
- https://github.com/curlup
- https://github.com/influxdb/influxdb/issues/68
- https://github.com/torvalds/linux
- https://github.com/docker/dockercraft
- https://github.com/grammarly/rocker-compose
- https://github.com/Microsoft/vscode-go
- https://github.com/donnemartin/saws
- https://github.com/dev-ua/devops
other
- http://dave.cheney.net/2015/11/15/the-legacy-of-go
- http://4gophers.com/
- http://4gophers.ru/slack
- http://i.imgur.com/kuqJXRz.gif
- http://i.imgur.com/7eDCVhk.gif
- https://pbs.twimg.com/media/CO8UC61WoAAgYMh.jpg:large
- http://devopsreactions.tumblr.com/post/133329356479/junior-in-their-first-outage-thinking-that-this
- http://devopsreactions.tumblr.com/
- http://blog.docker.com/2015/11/docker-multi-host-networking-ga/
- https://blog.docker.com/docker-weekly-archives/
- http://habrahabr.ru/company/dataart/blog/270677/
- http://habrahabr.ru/post/260305/
- https://eksmo.ru/catalog/book/proekt-feniks-roman-o-tom-kak-devops-menyaet-biznes-k-luchshemu-btl-ID1746145/
- http://risovach.ru/upload/2013/06/mem/dalay-lama_21309408_orig_.jpeg
- http://signup.hangops.com/
- http://martinfowler.com/bliki/DevOpsCulture.html
- http://blog.ingineering.it/post/120540969759/why-devops-really-is-about-culture
- http://www.litres.ru/kim-dzhin/dzhordzh-spafford/kevin-ber/proekt-feniks-roman-o-tom-kak-devops-menyaet-biznes-k-luchshemu/?mail=nikonor%40nikonor.ru&action=mark_to_ibs&art=11083697
- https://en.wikipedia.org/wiki/DevOps
- https://www.youtube.com/watch?v=zxcyN92Vo_8
- https://www.youtube.com/watch?v=2pKxiQFakVo
- http://www.slideshare.net/VsevolodPolyakov/ss-49539662
- http://geektimes.ru/post/265784/
- https://stackstorm.com/
- https://sysdig.com/
- https://okmeter.io/
- https://vimeo.com/95073903
- https://docs.docker.com/v1.8/introduction/understanding-docker/#how-does-a-docker-image-work
- http://tech.grammarly.com/blog/posts/Making-Docker-Rock-at-Grammarly.html
- http://tech.grammarly.com/blog/posts/How-We-Deploy-Containers-at-Grammarly.html
- https://www.vmware.com/cloudnative/technologies
- https://www.livewyer.com/blog/2015/11/09/kubecon-day-1
- https://www.livewyer.com/blog/2015/11/10/kubecon-day-2
- http://txt.fliglio.com/2015/07/containers-and-cfg-mgmt/
- http://curlpipesh.tumblr.com/
- http://www.linux.org.ru/forum/development/392747
- http://www.softpanorama.org/Scripting/pipes.shtml
- https://ru.wikipedia.org/wiki/
- http://eax.me/pva/
- http://nixar.work/doc
- https://stedolan.github.io/jq/
- http://circleci.com/
- https://play.google.com/store/books/details/Daniel_P_Bovet_Understanding_the_Linux_Kernel?id=h0lltXyJ8aIC
- http://www.devopsweekly.com/
- https://blog.serverdensity.com/devops-newsletter/
- http://dl2.joxi.net/drive/0001/1864/108360/151120/9b096db195.jpg
- http://www.networkworld.com/article/3006190/security/10-dumb-security-mistakes-sys-admins-make.html
- http://static.googleusercontent.com/media/research.google.com/ru//pubs/archive/32583.pdf
- https://www.grammarly.com/jobs/engineering
- https://www.technischweekblad.nl/upload/documents/tinymce/TW-Salarisonderzoek-2015_web_p1-2.jpg
- https://www.technischweekblad.nl/upload/documents/tinymce/TW-Salarisonderzoek-2015_p3-4.jpg
- http://thetax.nl/
