Всем привет, на связи @axique. Меня зовут Кирилл и я разработчик бэкенда в @DataRobot.

На этой неделе в программе: околопитон, data-scince, и о тяжёлых буднях программистов

если же вы разработчик - то для вас data-science должен быть очередным "рабочим инструментом". Черный ящик с cpu и io bound операциями

@backendsecret доктор, наш девопс хочет переписать всё на Haskell. Что бы вы ему прописали?

Если же вы бизнес (крупный) - data-science - это инструмент по автоматизации процессов, которые выполняются человеческими людьми

. @dcromster я имел в виду, что лучше относится к этому, как к объекту с непонятными процессами внутри, и "не пытаться понять"

@nimnull @backendsecret девопс должен хотеть все переписать на го

@backendsecret с чего посоветуешь начать в этой теме и какого уровня должен быть бэкграунд в статистике\теорвере?

. @ga_garrett бэкграунд: линейная алгебра. Начинать нужно с того, что понять зачем тебе это и какой вопрос ты пытаешься этим решить.

шикарный бэкграунд для начинания в data-science - отличный английский язык.
@ga_garrett

@backendsecret @nimnull у них все тулзы на го + это системный и сетевой язык, зачем им вся эта математика и монады?

.@raxpost @nimnull одно дело, когда тулзы написаны, а другое, когда ему это всё нужно автоматизировать для деплоя.Вот чем Makefile заменить?

В комментариях сделали замечания, что data-science это не только, автоматизация процессов, выполняемых людьми.

В качестве примера привели PageRank, который собственно является просто алгоритмом

так вот, в продолжение предыдущего твита: не разу не видел считающего Random Forest вручную человека.

Я думаю, что у нас тут назрел спор о терминах. Может быть мы даже понимаем data-science одинаково, а по разному "автоматизацию процессов"

Например, первый классический пример: выдать или не выдать клиенту банка кредит. Раньше этим занимались люди,теперь - этим занимаются машины

Надо хоть чего-нибудь полезного запостить.
Machine Learning Algorithms Map pic.twitter.com/8PQWZJMPfo

Скриншоты рабочих столов известных разработчиков. 2002 vs 2015
bit.ly/1Z1lXfH pic.twitter.com/0APSBhbnhE

Если кто-то интересуется судьбой http/2
rmurphey.com/blog/2015/11/2…

И бесполезного вот ещё перед сеансом работы:
Генератор конфигов на диалекте лиспа: на выхлопе go и конфиги github.com/zsck/UnicornFig

Расскажите про свой самый человекоресурсоёмкий критический баг?

У меня - 7 суток 6 самых главных разработчиков (по-сути все самые главные).

@backendsecret оракл, навернутый в продакшене из-за “оптимизации запроса”. $50к потерь в минуту простоя и очень злой кастомер.

Очень обзорная статья, скорее сборник ссылок:
50 Useful Machine Learning & Prediction APIs
bit.ly/1Or1U2D

Рассказать про плюсы/минусы доступных Machine Learning & Predictions API или про то, чем занимаемся в @DataRobot?

вообщем придётся и то и другое рассказывать

Программировать надо так, чтобы иконы мироточили

Есть три подхода к багам.

2. У каждой компоненты есть свой самодостаточная команда: dev, qa, devops. Мы называем их squad. Кого в онлайне нашли - тот и чинит.

3. Откат и фиксинг в штатном режиме всё тем же squad-ом.

. @geerk используем docker-compose плюс свой напил сверху. Есть планы по движению в сторону Kubernetes

не отстаёт от трендов смешнявок pic.twitter.com/0cJu3qo0jO

Альтернатива микро-сервисам. Чтиво для разработчиков бэкенда.

Self-contained system.
scs-architecture.org
by @stilkov

. @mr_mig_by @stilkov @jsunderhood и я о чём. Первый твит по теме. DS и ML - не в счёт.

Продолжаем ломать шаблоны и постить для разработчиков бэкенда:
Backend-for-frontend или коммуникация это сложно.
thght.works/1Qp2cgB

Судя по last tweet, если ваше приложение настолько большое, что в зависимости от платформы или клиента у вас разные фичи, вам нужен BFF

Насколько всё плохо в operations и administrating. Такой себе IT-standup на вечер.
vimeo.com/146524997

. @Xedin @M0sth8 потому что пхп там даже не упомянули? Вроде уже давно никто не считает это за серьёзный ЯП в современном мире.

Посмотрите где php, посмотрите на прирост популярности за год. +0.05% - язык в своей нише, выше головы не прыгнешь pic.twitter.com/2tMYO2myg3

Как считается TIOBE-индекс
tiobe.com/index.php/cont…

Ходит по интернету. Главный вопрос, конечно, кто из тех двоих PHP, а кто JavaScript pic.twitter.com/HQPeZsrmdS

Да - этот год был отличный для python data-science сообщества. И это даже не включая тонны коммитов в scikit-learn
medium.com/@elgehelge/the…

Сборник универсальных капитанских советов. Статья для тех кто любит прокрастинировать(и не только). Слегка retrofm
gist.github.com/adamwiggins/56…

Вот кстати статья автора HDBSCAN(алгоритма кластеризации) в которой он показывает превосходство Python над Java
bit.ly/21u5mTX

. @baliuk91 31 декабря как раз релизится matplotlib 2.0. Он уже сейчас в мастере, просто unstable.

Но мы, разработчики бэкенда, все умные люди, и понимаем, что он сравнивает оттюненый python с непонятным jar-ником.

Вот ещё годный дайджест связанный с Machine Learning algorithms.
gitxiv.com
Всегда свежак, всегда интересно, плюс лейблы etc.

Интересно бы сравнить numpy с github.com/scalanlp/breeze twitter.com/backendsecret/…

. @borovikov особого смысла нет - у numpy под капотом старый добрый знакомый C

tiobe.com/index.php/cont… @braga_oleg

Как стать дата-саентистом за 15 часов.
r-bloggers.com/in-depth-intro…

Уделяете ли вы время изучению новых/интересных технологий, практик и т.д. и как/когда вы это делаете?

. @dcromster а отдыхать когда?

. @dcromster надо заставить себя уйти. Заодно новенького выучишь.

. @braga_oleg каких запросов больше.
например запросов visual basic programming больше чем javascipt programming

и не врут же! разве ж это можно назвать programming-ом на джаваскрипте-то! Сплошная боль и унижение pic.twitter.com/6L2vzihy4N

@backendsecret только в рамках RnD на работе. В свободное время, только computer science.

На #KyivPy к нам придет выступить @andrew_svetlov. Кроме того: один из LT грозиться стать полноценным докладом
meetup.com/uapycon/events…

@backendsecret Толстовато набросил, это ж проблема API браузера, тут хоть на С пиши, то же самое на выходе получишь.

. @nimnull наоборот тогда, недостаточно толсто. Надо было weak typing abuse делать.

@backendsecret @braga_oleg посмотрел в Google Trends, запросов по Visual Basic куда меньше чем по JS или PHP. pic.twitter.com/eVjaJeXsOw

. @m_arzubov там не только google. Ссылку как считается индекс уже постил.

как вариант для уделения времени на обучение/open-source можно расстаться с Катей

@hhh0pE @backendsecret можно, наверное, еще забэкапиться, чтобы потом, если что, откатиться :D

@backendsecret Колись був віршик: Хорошо тому учиться, у кого ушла жена / меньше тянет удавиться, больше времени для сна

Вот такой ещё вопрос. Есть ли у вас в компании девелоперы женского пола?
В ответ можно кол-во особ на размер команды

@backendsecret примерно на 8 особей мужского пола одна прекрасная особа, но так было раньше, сейчас всех сокращают кризис

@backendsecret на позапрошлой работе была одна девушка на ~10 программистов. охренительный девелопер и выросла до начальника отдела, рад

@backendsecret это мечта(

@backendsecret несколько сотен в оупенспэйсе, знаю только одну женщину программиста и одну верстальщицу, остальные QA, менеджеры и проджекты

@backendsecret на прошлой работе были 2 из 10.

@backendsecret у нас 4 из 10

. @backendsecret twitter.com/arkadiygershma…

И что в бостонском офисе у нас 4 разработчика-женщины разных возрастов и религий.И в data-science намного больше женщины чем разработке

У нас политика найма Seniour Only. За почти год постоянных интервью у меня было только два кандидата женского пола и обе они не прошли

не прошли из-за недостающих технических знаний @freiksenet_ru

нет времени ̶о̶б̶ъ̶я̶с̶н̶я̶т̶ь̶ обучать. Я не могу говорить за наш HR-отдел, но я так понимаю это из экономических соображений @corpz_

Да, надо бы уточнить что у нас в бекенде в основном Python.
Спасибо @DaryaChu

спрашиваем технические вопросы, вроде все так делают, нет @freiksenet_ru ?

вопрос корреляции ЯП/ЗП очень горяч,но imho, что в первую очередь нужно наслаждаться своей работой. А обычно вместе с этим и деньги приходят

дело не в альтруизме,а когда человек увлечён работой и зануда(в хорошем смысле),он становится ценным работником и ему готовы платить деньги

даже если PHP, он всё равно ценный работник для бизнеса :)
@nimnull

Борьба и единство противоположностей. Люди готовые сгрызть горло за любимую технологию балансируются людьми "щяс запилю за день"

он/она должен(на) понравится четырём разным техническим специалистам технически и cultural fit @nick_jastix

@backendsecret ээх, у нас актуальная проблема, это малое количество латиносов, а вы про женщин

@nimnull @DaryaChu @backendsecret Никто не разгонит, всегда надо делать продукт. Технические решения - so overrated.

@DaryaChu @backendsecret @freiksenet_ru да успокойтесь, разгонят бизнес-увлеченных, наймут технарей, и всё поедет дальше.

насчёт темы дискриминации/толерантности вброшу-ка видео.
Оно слегка левацкое, но сделано достойно.
youtu.be/-69WaxRSgMg

Неплохой доклад @GaelVaroquaux, одного из главных разработчиков scikit-learn о всех базз-вордах понемногу и Python
bit.ly/1O8kxhH

Немножко о том, как скейлить Predictions API на бекенде.
youtube.com/watch?v=q-VPAL…

Одна из самых больших проблем всех Prediction API,типа Google,Microsoft или BigML, в том, что большие компании боятся слать данные куда либо

Понятие send data to cloud забанено на уровне переговоров с крупными компаниями. Всем нужен enterprise.

А основные клиенты high-availability horizontal scaling api как раз таки, такие вот большие крупные компании.

Отличное чтиво в стиле "термины из machine learning для домохозяек"
hbr.org/2015/07/what-e…

Тряхнём стариной: 30(29) лет статье о том, что не нужно быть категоричным ни в чём. There is no silver bullets
web.archive.org/web/2007032905…

"Scrum, kanban, разве ж на этом заработаешь?"
youtu.be/ir5rj2yYH_8

Didn't know that you knows russian, @GaelVaroquaux :)

Of software and Science. Reproducible science: what, why, and how
gael-varoquaux.info/programming/of…

#openscience & #reproducibility from #mloss15

ещё раз. Шутка конечно имеет место быть, но интервьюеры никак не влияют на ЗП. А они как раз и оценивают cultural fit @nick_jastix

В разделе Talks вы найдёте семичасовой курс по scikit-learn с примерами на гитхабе в ipython-notebook.
amueller.github.io

cultural fit не может быть формализован, по сути - это субъективная оценка интервьюера (нравится/не нравится) @nick_jastix

зачем отказывать без реальной причины? И что это вообще означает?@freiksenet_ru @nick_jastix

Я имел в виду технических интервьюверов.И они не обсуждают зарплату.Их отзывы влиют на потенциальную зп и то не уверен@ivanenok @nick_jastix

У человека плохой характер и он успел поссорится с двумя интервьюверами насчёт технологий? Зачем его нанимать?@freiksenet_ru @nick_jastix

удаляю твит и приношу извинения @ivanenok читателям за оскорбление. Не стоило переходить на личности и слегка забылся.

значит компании он не нужен, он неудобен - это реальная проблема. Вам с ним одно дело - делать@freiksenet_ru @nick_jastix

у нас горизонтальные сеньйоры - все менеджат друг друга@ivanenok @nick_jastix

Когда я был лидом в аутсорс-компании я действительно мог продавить ЗП, но я не решал и не обсуждал зп с кандидатами@ivanenok @nick_jastix

стремимся к компании друзей @freiksenet_ru @nick_jastix нужно понимать, что продуктивно работать с тем, с кем приятно общаться и также.

говорят среди дизайнеров это нормально @webholt @axique @ivanenok

backendsecret.ru/about/ раздел "Этикет" @webholt @axique @ivanenok

да это классическое интернет-восклицание, но всё же @webholt @axique @ivanenok

у нас нет лидов в классическом понимании @ivanenok @webholt

лид - это ответвенный за дейли/викли репорт и видящийся с продакт-командой раз в неделю. чтобы сказать что всё хорошо/плохо

все умные и все знают, что остальные тоже умные, поэтому самые умные вносят инициативу на обсуждение @borovikov @ivanenok @webholt

команда отвечает за технические решения. У каждого компонента есть независимая команда, которая принимает решения @ivanenok @webholt

я бы сказал,что у нас даже есть некоторая проблема,что нет Single Point of Truth или BDFL который скажет "ВОТ ТАК НАДА!" @ivanenok @webholt

у нас необычная команда из 60+ единорогов и все с радугой исключительно @ivanenok @borovikov @webholt

@ivanenok в нормальном коллективе глупую инициативу завалят @backendsecret @borovikov @webholt

чего хочет клиент это и есть deliver product requirements @yevvers Ну а про сроки, ну есть такое, ставят сроки, но - дедлайны как поезда

дейстительно, но при вырастании команды от этого никуда. Тем более два-три менеджера на 70+ разработчиков? Не думаю,что плохо будет@yevvers

вот так всегда. Хочется поговорить о разработке бэкенда, machine-learning и прочих баззвордах, а в итоге - менеджмент, зп, и девушки-девы :(

@strangeqargo @ivanenok @backendsecret @borovikov Нет, реально хорошие решения должны отстаиваться. А зарезание должно аргументироваться.

@webholt @ivanenok @backendsecret @borovikov давайте в следующей ветке архитекторов или кодеров обсудим или пмов, из лидов все выжато уже

@strangeqargo @webholt @borovikov айда гнобить архитекторов и критерии их годности.
@backendsecret набрасывай про архитекторов уже! :)

Я недавно общался с одним из архитекторов, он рассказал что быть архитектором, это как быть сеньйором, только нихера не писать код.

ты меня провоцируешь на женофобный комментарий @DaryaChu

Без архитекторов нельзя, по-моему мнению. Должен кто-то ныть что код безобразный?

Дома проектировать, в конце-то концов

ответственность лежит на команде.После каждой проблемы делается митинг,на котором разбирается что произошло, и не важно КТО ошибся @ivanenok

на митинге решается почему ошибка произошла и что сделать,чтобы её больше не было. Всё это blameless.нет никакого смысла искать кто виноват

недопонимание. Я имел в виду, что лид должен иметь возможность пойти и попросить + зп для teammate @korobeynikovmax @ivanenok @nick_jastix

code-review это всего лишь начало на пути становления архитектора @Kukuruzovich @xomaa

@webholt @strangeqargo @borovikov @backendsecret плох тот девелопер, который не пыется быть архитектором. потому что ему уже 25 стукнуло!

сам себе каждый день завидую, вот честно. После того что я видел в аутсорсе и вообще - это просто рай с понями @ivanenok

на какие риски? Риски чего, я не моуг понять @korobeynikovmax @ivanenok @nick_jastix

Вот этого действительно не хватает во многих компаниях, причём не только в IT twitter.com/backendsecret/…

В тему blameless review. В "Мост шпионов" персонаж русский шпион на вопрос "вы никогда не волнуетесь" ответил: "А это что-то даст?".

Искать виноватых нет смысла, Если произошла ошибка, нужно понять почему она произошла, и приложить силы по устранению этих факторов.

"stupid fucking computer!"

You realize that I literally only do what you tell me to do, right?

Who's the stupid one now.

@backendsecret если ответственность за косяки ляжет на "всех", и другие самоотверженно всё исправят, почему б тогда не косячить бессовестно?

не знаю, что-то сдерживает же людей @kasanop?Чувство общей причастности, мы строим этот продукт для себя и других людей. И нанимаем таких же

EAP IDE для DB от JetBrains.
Ле свежак!
blog.jetbrains.com/datagrip/2015/…

@backendsecret @kasanop и тут на арену выходит cultural fit. Если кто-то из интервьюеров решит что ты будешь назло косячить, то ты не fit

mongodb 3.2 powered by postgesql. Думаю уже из названия вас должна заинтересовать статья :)
linkedin.com/pulse/mongodb-…

В тему интервью. Неплохой сборничек.
github.com/MaximAbramchuc…

Dynamic languages must die
elbenshira.com/blog/the-end-o…

В догонку к предыдущей статье.
quora.com/Is-it-true-tha…

Всем БАЗЗВОРДАВ
open-source, high-performance, lightweight cloud native messaging system
nats.io

Tips & Tricks для разработчиков бекенда
segment.com/blog/engineeri…

How to scale like a BAWS!
Шикарная статья с кучей методик, инструментов и прочего о том, как скейлится.
highscalability.com/blog/2015/11/9…

@backendsecret что-то типа codeascraft.com/2012/05/22/bla… . по-моему John Allspaw как раз все это и популяризировал в разработке и operations

Пользуясь правом ведущего попиарю ресурс
devnull-as-a-service.com :D

@backendsecret недавно в DevZen подкасте обсуждали можно ли вообще на пайтоне с его динамич типизацией писать большие проекты. Как считаешь?

1. Хотелось бы понимать что означает "большие" проекты (у всех это разное).
@geerk

2. На EuroPython Гвидо говорил о том, что type hinting продавили именно большие компании (fb, dropbox, google)
@geerk

Судя по всему в супербольших проектах большие компании давно припиливают своё подобие статической типизации @geerk

Из чего можно сделать вывод, что крупные проекты можно начинать писать на Python.
@geerk

С той оговоркой, что должен быть кто-то уровня Rockstar, для того чтобы ревьювить и чистить лапшу (помогать писать "питонично") @geerk

@backendsecret а как у вас в компании решают эту проблему? Кроме написания тестов

В этам плане - никак. То есть, есть множество проблем гораздо острее, чем отсутствие статической типизации в python. @geerk

Лично я пытаюсь писать код в defensive стиле: всегда валидирую входные данные, не использую *args, **kwargs где это возможно @geerk

@geerk @backendsecret ну вот бэкенд world of tanks на питоне написан, например

разве это проще? Или это поможет? С таким же успехом можно посоветовать винду переустановить. twitter.com/ipronix/status…

@backendsecret на сколько могу судить это про данные приходящие с внешнего ресурса. А я про данные приходящие в параметры функции

именно так, всегда валидирую вход функции. И на isinstance тоже проверяю.

@backendsecret вы цепляетесь за питон потому что другого не знаете или есть объективные причины ?

Объективные причины: основной ЯП в компании - Python. И проект один и большой. Маленькие сервисы пишутся тоже на Python @ipronix

Субъективные - редко когда не хватает Python. В тех случаях, когда его не хватает, обычно приходится писать на C. @ipronix

В свободное время играюсь с R и Clojure
@iphonix

@backendsecret и как это сказывается на производительности?

никак не сказывается. Самые затратные операции - это не валидация или переходы по if clause - а задержки связанны с cpu/network io @geerk

на фоне network io /cpu-bound - валидация занимает от силы 1 % времени выполнения @geerk

@backendsecret и как вы масштабируете мат.модель с помощью только питона и си ?

Так и масштабируем - за счёт C - вертикально, за счёт Python/Network - горизонтально

@backendsecret и все модели так легко масштабируются ?

Самая большая проблема масштабирования, которая решается не ЯП - это когда входные данные не влазят в оперативную память @ipronix

И я говорю о машинах c оперативной памятью 120 Gb и выше @ipronix

@backendsecret это по вашему много ?

Я считаю всё что больше 500 Gb - да, это много @antonvirtual @ipronix.

Самое веселое это когда люди хотят строить модели на своих TB данных. Тут-то начинается hdfs intake, spark.ml @antonvirtual @ipronix

@antonvirtual @backendsecret не забывайте - автор данные анализирует. 120гигов как ограничение на входные звучит странно.

главная цель DataRobot - это не анализ данных, а модели прогноза.Для этого не обязательно использовать все данные@ipronix @antonvirtual

вcё пацаны, сворачиваем производство, @ipronix решил, что не взлетит :D twitter.com/ipronix/status…

yourdatafitsinram.com

@backendsecret стоило сказать, что gluster — только один из поддерживаемых нами вариантов (:

@anton_davydov @backendsecret leo-project.net/leofs/

Go 1.6 beta1 released: github.com/golang/go/rele… - see release notes at tip.golang.org/doc/go1.6

Сегодня чуть позже вечером (после того как доделаю uwsgi-empreror мод в докер-контейнере) расскажу про специальность будущего в IT-отрасли

О которой ещё никто не знает (я сам её придумал)

@backendsecret ооо, а кста расскажи про development in test, почему перешли на эту модель, что дало, как со стаффом?

крутая автоматизация требует coding/devops скиллзов, поэтому перешли на software engineer in test @DaryaChu.

А дало это разгрузку dev и devops команды @DaryaChu
В тихую между собой мы их называем "программисты на дженкинсе" (шутка)

Modern javascript, annotated (updated): pic.twitter.com/iIFDHpoxJJ

@backendsecret как людей находите? т.е. нет отношения как к несостоявшимся программистом и плохим куа?

Даже и близко нет такого.В основном это матёрые программисты, либо очень опытные QA с навыками, которые согласились на эту работу. @DaryaChu

Instagram's one million bug
exfiltrated.com/research-Insta…

Для тех кто любит шоб скейлебл вот это вот всё: Apacha Kafka, Kafka Connect
confluent.io/blog/how-to-bu…

Похоже Go настолько хороший язык, что тут человек ведёт коллекций статей о том, почему Go - плохой язык.
github.com/ksimka/go-is-n…

Дорогие мои бэкендовцы, какая среда разработки нынче православна для GO? Кроме вима :) @backendsecret

@POS_troi @backendsecret успешно пользовал Atom с плагином go-plus, главное почти всё поведение onsave вырубить к чёрту чтобы не психовать.

@POS_troi Intellyj idea @backendsecret

@backendsecret go - это такой новый php. всем он плох, и вообще не по кашруту, но всем интересно, чего там опять неправильно сделали.

Не знаю зачем, но вот статья про частоту использования разных синонимов в british/american bit.ly/1NtNMIj pic.twitter.com/ZWZHKpu8Tw

Не забывайте включать файервол :)
blog.shodan.io/its-still-the-…

Паттерны, паттерносы подвезли
"Our programming language is fucked up.
That's why we need design patterns."
mishadoff.com/blog/clojure-d…

@backendsecret Если всё-же нужен внешний коннекто то в фаере забыли указать явный список IP разрешенных.По большей части упираемся в фаервол

@backendsecret @mkn8rd если много энтузиастов и все они ходят на конференции язык спроектирован плохо!

Шикарная статья startups vs. big companies
Что читатели скажут о том, где им лучше работается или хотелось бы?
danluu.com/startup-tradeo…

@backendsecret работал на гос. контору: 2000+ офис и на стартапы. Предпочтаю стартапы — меньше бюрократии, больше инноваций. Менее стабильно