Доброе утро. На этой неделе с вами @kostenko из солнечного Хельсинки

Вкратце о себе: начал как Perl-программист, но вовремя сбежал с тонущего корабля на Python. Понемного подтянулись node, Go и кресты

Сейчас работаю в компании @EzyInsights и развиваю свой бизнес Short.cm. Он приносит уже больше, чем работа, но мне… twitter.com/i/web/status/9…

План на неделю у меня примерно такой:
Пн: Социальные вопросы (хотел в конце, но вижу, что наболело)
Вт: Оптимизация… twitter.com/i/web/status/9…

В субботу расскажу о мониторинге работоспособности продукта, а в воскресенье буду травить байки о стартапах и о то… twitter.com/i/web/status/9…

Подготовка к первому набросу. В каких компаниях вам больше нравится работать? Больших/маленьких, аутсорсинговых/продуктовых?

Работники больших аутсорсингов часто считают, что небольшие компании пишут говнокод, редактируют его в production и… twitter.com/i/web/status/9…

Работники небольших продуктовых компаний - наоборот, что весь отдел аутсорсинга из 50 человек можно заменить одним… twitter.com/i/web/status/9…

По итогам 142 голосов явно побеждают (69%) маленькие продуктовые компании. А это значит, что у этих программистов е… twitter.com/i/web/status/9…

Вообще шучу. Я стараюсь работать в небольших продуктовых компаниях и избегать больших. Чем меньше компания - тем бл… twitter.com/i/web/status/9…

В небольших компаниях часто нет процесса, четких задач и приоритеты могут меняться каждый день. Но при всем этом ба… twitter.com/i/web/status/9…

А если вам на вход приходят разжеванные требования, а на выходе от вас получается неоттерстированный код, то начать… twitter.com/i/web/status/9…

Так вот, к чему это я это веду. О женщинах в IT. В бизнесе есть один критерий найма людей – брать самого полезного… twitter.com/i/web/status/9…

Других критериев нет. И если кто-то не хочет брать женщин/геев/Иванов/стрельцов - отлично! их возьмут более умные р… twitter.com/i/web/status/9…

А теперь я прервусь на некоторое время, так как на работе я еще и работаю

Кстати о больших компаниях. Кто знает, в чем заключается Принцип Питера?

Согласно принципу Питера, человек, работающий в любой иерархической системе, повышается в должности до тех пор, по… twitter.com/i/web/status/9…

Этот уровень и называется уровнем некомпетентности данного сотрудника. На этом месте сотрудник «застрянет» и будет… twitter.com/i/web/status/9…

Я не утверждаю правильность этого принципа или что он везде работает. Просто рассказал о его существовании

Теперь можно поговорить о другом - моральных принципах. За какие проекты вы бы не взялись, даже если бы вам предлож… twitter.com/i/web/status/9…

@backendsecret всё, что связано с порно (в т.ч. вебкамы и сайты с фото и видео) и обманом: казино, ставки .
Но, х… twitter.com/i/web/status/9…

@backendsecret Я сейчас наркошоп пишу, о каких принципах может быть речь?

Но это не входит в мой черный список – на PHP можно писать более-менее хороший код, так как дело обычно не в языке… twitter.com/i/web/status/9…

У меня был один проект, от которого я отказался по моральным принципам – elitsy.ru. Я не смог там работать потому ч… twitter.com/i/web/status/9…

Сначала неприятно было лицемерить, потом они увидели мой пост в блоге и начали советовать бороться с демонами

Когда я сказал, что отказываюсь от работы, меня поставили перед выбором - или я доделываю кусок функционала или они… twitter.com/i/web/status/9…

хотя зависит от БАД, об этом позже

А потом @mikashkin сказал мне правильную вещь. Eсли секта предлагает вам работу – бегите. Бегите быстро и сразу. Се… twitter.com/i/web/status/9…

@backendsecret Делал сайт для православного храма будучи атеистом. Для меня это просто предметная область. Хотя, ес… twitter.com/i/web/status/9…

Но не все БАДы одинаково плохие. Работа на спамера, впаривающего фейковую виагру и средства для похудения, для моей… twitter.com/i/web/status/9…

Не встал – похихикали и баиньки

Сразу скажу - там была трава с газона, ничего другого там FDA бы не пропустило

Верните @yegor256 в @backendsecret
Это было всяко лучше рассказов про БАДы

На сегодня все, а завтра буду писать о полезных вещах - оптимизация производительности приложений

Начнем с простого, как искать проблему в веб-приложении. Допустим, к вам приходит человек и говорит “сайт тормозит”… twitter.com/i/web/status/9…

Открываем консоль браузера и сравниваем время похода к бекенду со временем полной загрузки страницы/реакции на дейс… twitter.com/i/web/status/9…

А сейчас будет важное обобщение предыдущего твита. "Преждевременная оптимизация - корень всех зол" (Д. Кнут). Не тр… twitter.com/i/web/status/9…

1) как правило такие оптимизации наносят ущерб простоте и читаемости кода
2) как правило, даже самые опытные разраб… twitter.com/i/web/status/9…

Если таки проблема в backend, первое, что обычно тормозит - походы в базу. Сделайте себе возможность включить логир… twitter.com/i/web/status/9…

@way2bariton @backendsecret Обычно ORM умеют это из коробки. По крайней мере в Entity Framework точно с этим проблем нет.

И только если база ок и вы не видите очевидных источников тормозов, то нужно писать на это тест и гонять в профайле… twitter.com/i/web/status/9…

Если вам не удалось скопировать входящие данные так, чтобы они тормозили и в тестах, то профайлер в продакшене подн… twitter.com/i/web/status/9…

Теперь чуть более детально. Начну с полезной задачи от Google: "отсортируйте по скорости работы: чтение данные с ди… twitter.com/i/web/status/9…

Начну с первой части – оптимизацию работы с сетью. В связи с этим вопрос: чем nginx архитектурно отличается от apac… twitter.com/i/web/status/9…

Apache использует модель воркеров - создается куча процессов ОС, каждый из которых ждет данных от клиента и в это в… twitter.com/i/web/status/9…

Плюсы:
1) вам не нужно заботиться, кому давать работать с процессором. Этим занимается операционная система.
2) пол… twitter.com/i/web/status/9…

Минусы:
1) каждый процесс жрет память
2) операционная система не знает, кому нужен процесс, поэтому дает всем по о… twitter.com/i/web/status/9…

nginx использует асинхронную модель, в которой сервер не ждет данных от клиента, а занимается обработкой других зап… twitter.com/i/web/status/9…

Эта же модель у tornado, node.js, python asyncio. Она хорошо работает, если большую часть времени ваш процесс ждет.… twitter.com/i/web/status/9…

Диалог в asyncio происходит такой:
Процесс: а что произошло?
Система: подключилось 10 клиентов
(происходит обработк… twitter.com/i/web/status/9…

В ОС асинхронностью занимаются системные вызовы epoll (Linux) и kqueue (BSD + OS X), в windows тоже что-то придумал… twitter.com/i/web/status/9…

В nginx быстро работает: проксирование, отдача статики (в том числе и кэша). Если вдруг в nginx появится сложная ло… twitter.com/i/web/status/9…

Если по этим же причинам процесс nginx рухнет, то все его соединения оборвутся (это все касается также tornado/asyncio/node.js)

Еще про оптимизацию сети: установка соединения в TCP - дело дорогое. По возможности делайте bulk-запросы. То есть е… twitter.com/i/web/status/9…

Eсли вам потеря данных не критична и размер данных небольшой, то стоит задуматься о переходе на UDP

Последний твит о сети и перехожу к базам данным: не стоит забывать еще и о скорости света. Packet roundtrip time ме… twitter.com/i/web/status/9…

Я вам обманул о базе данных. Давайте об алгоритмах. Что такое O-нотация? Что значит O(n^2) для алгоритма?

@backendsecret Есть смысл иметь всегда под рукой что-то вроде такого
gist.github.com/andriisoldaten…

O-нотация показывает, насколько будет замедляться алгоритм при росте N. То есть O(1) – скорость не меняется. O(N) –… twitter.com/i/web/status/9…

Например, если вы в функции ходите в цикле по элементам массива – O(N). Если вложенный цикл, который тоже ходит по… twitter.com/i/web/status/9…

Примеры сложностей: поиск элемента в dict/set – O(1). Поиск элемента в списке – O(n), в отсортированном списке – O(… twitter.com/i/web/status/9…

Внимание вопрос: Какие алгоритмы сортировки имеют сложность O(N) и O(N^N)?

А пока все гуглят ответ об алгоритмах сортировки O(n) и O(n^2), раскажу о популярных. Популярных 2: merge sort и qu… twitter.com/i/web/status/9…

merge sort не модифицирует исходный массив, а возвращает новый, но требует больше памяти, сложность всегда O(n*log… twitter.com/i/web/status/9…

Сложность O(N) дает bucket sort и radix sort. Но они работают хорошо только в ограниченных случаях

С O(N^N) я затупил. Но при этом есть bogosort, O(N*N!). Вы случайно перемешиваете все элементы и проверяете, полу… twitter.com/i/web/status/9…

Сорри, что я косячу с этим алгоритмом, не так часто приходится использовать

Много ответов спрашивают куда направлять людей за более глубокими знаниями. У меня четыре совета - Бауманка, Матмех… twitter.com/i/web/status/9…

Хорошо, погорячился, перефразирую. Основы алгоритмов позволят вам писать более качественный код. Особенно если у ва… twitter.com/i/web/status/9…

Одна из самых частых проблем производительности кода, которую я встречал: многократные вложенные циклы, которые ход… twitter.com/i/web/status/9…

Проблема выглядит глупо, встречается часто

Если алгоритмически ваш код оптимизировать нельзя, то есть два варианта:
1) попробовать включить JIT. В python это… twitter.com/i/web/status/9…

Замена python на pypy на одном проекте помогла мне не копаться в чужом коде, который медленно работал. Код стал ра… twitter.com/i/web/status/9…

JIT-компиляторы отличаются от обычных компиляторов тем, что начинают работать когда вы запускаете программу. И комп… twitter.com/i/web/status/9…

Но JIT помогает не всегда и не сильно. Если его недостаточно, то для питона есть Cython: cython.org Он… twitter.com/i/web/status/9…

Чистый python будет работать немного быстрее, но на каждую вашу строчку будет страница кода на C/C++. Но если натре… twitter.com/i/web/status/9…

К примеру, в @EzyInsights стояла задача: сделать пересчет всех исторических семплов за вменяемое время (10-20 милли… twitter.com/i/web/status/9…

А программисты на Go читают последние твиты и ощущают собственное превосходство. На сегодня все, завтра начну с оптимизации SQL

@backendsecret @EzyInsights adroll.com у себя, кстати тоже для данных cython использует, миллиарды молотит

@backendsecret я просто оставлю это здесь csds.ucu.edu.ua
не уверен, что ради программирования стоит терпет… twitter.com/i/web/status/9…

Первый вопрос по SQL: у вас есть таблица Users, 500M строк. Какие индексы нужно на нее добавить, чтобы запросы вида… twitter.com/i/web/status/9…

Хорошо, что случится, если я добавлю индекс по last_name, age, first_name? Или три индекса: по last_name, по first_name и по age?

Начну с наименее оптимальных вариантов: три отдельных индекса. Postgres пытается идти по двум индексам, процом пыта… twitter.com/i/web/status/9…

Плюс MySQL вроде бы не поддерживает bitmap index scan, поэтому будет тоже использовать один индекс (но тут я могу ошибаться)

Еще неправильные варианты: создать индекс по age, first_name, last_name или first_name, age, last_name. В первом сл… twitter.com/i/web/status/9…

Индексы по first_name, last_name и last_name, first_name будут работать примерно одинаково, но first_name, last_nam… twitter.com/i/web/status/9…

Совершенно верно, что порядок в предикате не важен. Также минимально влияние на скорость порядка полей в индексе, е… twitter.com/i/web/status/9…

Так как особенность индекса в том, что данные в нем отсортированы, то его можно использовать для быстрого получения… twitter.com/i/web/status/9…

Задам еще один вопрос и прервусь до вечера. Как быстро выбрать 1000 случайных записей из таблицы в 500 000 000 строк?

Это были примеры – в общем случае, если запрос медленный, то нужно выполнить сначала EXPLAIN SELECT * FROM somethin… twitter.com/i/web/status/9…

Об UPDATE.В общем случае в PostgreSQL UPDATE означает DELETE + INSERT, а местами и обновление индексов. Поэтому ста… twitter.com/i/web/status/9…

UPDATE Users SET some_field = true будет существенно быстрей работать, если его переписать как UPDATE Users SET som… twitter.com/i/web/status/9…

Отвлечемся от скучной оптимизации. Какая архитектура вам больше нравится – микросервисы или монолит?

Микросервисы vs монолит - это не новомодный холивар. В далеком 1992 году товарищ Торвальдс пытался доказать товарищ… twitter.com/i/web/status/9…

Плюс монолита – его довольно быстро разрабатывать, одна версия уходит в тестирование и production. И если она хорош… twitter.com/i/web/status/9…

Да, именно поэтому я написал, что монолит хороший «если хорошо протестирован», что для проекта больше домашней стра… twitter.com/i/web/status/9…

Монолит также удобен, что его можно покрыть интеграционными тестами и не нужно возиться с совместимостью версий

Проблемы монолита - сложность растет, следить за ним становится сложнее, человеческий мозг перестает понимать все о… twitter.com/i/web/status/9…

Микросервисы - долго делать, имеют много копипасты, нужно возиться с слвместимостью версий, сложно деплоить

Плюсы - они простые и их можно держать в голове. Вместо сеньоров можно брать июней и отдавать им некритичные сервисы

Если у вас нагруженная система - можно масштабировать один микросервис, а остальную часть проекта не трогать. Это ж… twitter.com/i/web/status/9…

Возьмем к примеру short.cm - если упадет сервис редиректа и API создания ссылок - серьезный ущерб проекту. Если все… twitter.com/i/web/status/9…

Как я разбил short.cm на микросервисы: API - это не микросервис. Redirector - просто смотрит куда ходить и возвраща… twitter.com/i/web/status/9…

Планирую разделить API на CRUD для ссылок и все остальное

Nginx + openresty - делает геолокацию и автогенерацию ssl-сертификатов на доменах клиентов

На сегодня все, завтра о качестве кода

Самая большая проблема разработки – сложность кода как правило превышает способности человеческого мозга. Поэтому г… twitter.com/i/web/status/9…

Простота - это значит, что кода должно быть как можно меньше. Понятность - это значит не писать такое:
sorted(set(… twitter.com/i/web/status/9…

Шаблоны проектирования – можно пролистать просто для того, чтобы узнать, что так тоже можно писать код. Зубрить их… twitter.com/i/web/status/9…

Еще у нас в python есть такое понятие: Java головного мозга. Это когда для написания минимального ToDo листа, делаю… twitter.com/i/web/status/9…

Я ни в коем случае не хочу обидеть ни Java, ни Java-программистов. И язык хороший, и разработчиков там много крутых

Вот, кстати, мнение Алана Кея, который придумал термин ООП, о текущем состоянии дел: quora.com/What-is-Alan-K…

Отложу остальные набросы на вечер и вернусь к SQL. Видел много проектов, которые загибались на INSERT-ах. Правила д… twitter.com/i/web/status/9…

Если этого недостаточно – переходите на COPY TABLE/LOAD DATA INFILE. Все клиенты БД имеют програмный интерфейс к ни… twitter.com/i/web/status/9…

PostgreSQL (в отличие от MySQL) форкается на каждое соединение. Если у вас много подключенных соединений или много… twitter.com/i/web/status/9…

Как вы относитесь к ORM?

Без ORM вам приходится вставлять один ЯП в другой. Кучу логики нужно дублировать (сериализацию/десериализацию, напр… twitter.com/i/web/status/9…

Если хоть одно правило не выполняется - проекту наступит хана. Проблемы с производительностью ORM (а это, к примеру… twitter.com/i/web/status/9…

Ну, кроме случаев с микросервисами. Если там делается три запроса, то никакого ORM, конечно. У меня же нет Java головного мозга

Давайте дальше. Есть ли у вас в проекте жесткая проверка линтами (pyflakes, eslint), запрещающая коммитить неправильный код?

Как правило, документ, описывающий стандарты кодирования, используется только для того, чтобы подпереть ножку стола… twitter.com/i/web/status/9…

Мне обычно совершенно не важны детали соглашений - табы или пробелы, 80 символов или 120, ставить запятую после пос… twitter.com/i/web/status/9…

Так, все вернулись с работы и мы начинаем КВН. Как показывает практика, прием в небольшую компанию выделенного QA у… twitter.com/i/web/status/9…

Пойдем дальше. О необходимости писать тесты даже я, кэп, говорить не буду. Считаете ли вы покрытие кода тестами и ч… twitter.com/i/web/status/9…

2) Как правило наличие не технического product менеджера сильно увеличивает сложность проекта, так как он совершенн… twitter.com/i/web/status/9…

При выборе продакта я бы посоветовал брать человека с опытом программирования – они понимают масштаб работ и не буд… twitter.com/i/web/status/9…

На сегодня все, завтра буду писать о деплойменте кода

И если вы решили взять QA – постарайтесь хорошо настроить процесс тестирование и будьте готовы к замедлению скорости разработки

@alexanius @backendsecret Больше багов, перестают нормально тестировать сами
Часто разработчики забывают, что QA эт… twitter.com/i/web/status/9…

Как у вас попадает код в production?

Большинство используют git pull. И это вполне хороший способ – деплой происходит мгновенно, что важно при нахождени… twitter.com/i/web/status/9…

Docker немного замедляет процесс деплоймента (но из-за инкрементальной структуры – совсем немного), но решает пробл… twitter.com/i/web/status/9…

А какое ПО вы используете для автоматизации процесса деплоймента?

И опять большинство выбрали правильный ответ. Безагентные программы деплоя проще в установке, настройке и ломаются… twitter.com/i/web/status/9…

В short.cm я использую ansible и он очень крутой, но есть проблема – он деплоит медленно.

В ezyinsights мы использ… twitter.com/i/web/status/9…

Теперь о том, куда деплоить. Пожалуйста, не используйте местечковые хостинги/облака/collocation. Они быстро умирают… twitter.com/i/web/status/9…

И это не стоит двадцати сэкономленных долларов

Из мест аренды VDS хочется отдельно отметить hetzner.de, который использует десктопное железо для серверов поэтому… twitter.com/i/web/status/9…

По поводу hetzner (и всего остального): если у вас есть единая точка отказа – то вы плохо продумали архитектуру про… twitter.com/i/web/status/9…

@backendsecret с поддержкой проблем не было, напр. оперативно меняли диски... painless )

@steverovsky @backendsecret Около 50 нод, загрузка ~65%, ни одной выпавшей. Иногда проблемы с роутингом бывают, и п… twitter.com/i/web/status/9…

AWS действительно стоит дороже, но дает много технологий из коробки. Так что вы можете уволить своего DevOps и даже выйти в плюс

@backendsecret Скажу еще более крамольную мысль. Для многих проектов даунтайм в ~4 часа не является концом света, и… twitter.com/i/web/status/9…

Какие сервисы AWS я могу рекомендовать: очевидно, EC2
1) Стоит помнить о разных availability zones и не держать все… twitter.com/i/web/status/9…

RDS - вам автоматически дается backup, можно настроить failover и репликацию в два клика. Но нужно помнить, что pro… twitter.com/i/web/status/9…

В общем не успею я твитами рассказать я свой опыт с AWS, поэтому дам ссылку на свой старый пост в FB:… twitter.com/i/web/status/9…

@backendsecret да, я очень рад что решились, у них еще новый сервис анонсировался - надстройка ecs, но все что амаз… twitter.com/i/web/status/9…

@backendsecret consul, nomad, vault, packer, terraform - прекрасные инструменты, очень продуманы, амазон уже посути… twitter.com/i/web/status/9…

На сегодня все. Завтра мониторинг

В большинстве компаний о необработанных ошибках узнают из жалоб клиентов. Это совершенно неправильно. В проекте нуж… twitter.com/i/web/status/9…

Не путайте с сервисами хранения логов. Никто в здравом уме не будет смотреть все логи в поисках ошибок. Sentry сооб… twitter.com/i/web/status/9…

По поводу хранения логов. Я использую cloudwatch logs для short.cm, для своих серверов лучшим вариантом считаю sysl… twitter.com/i/web/status/9…

Sentry решает проблему исключений, но не тормозов. Для сбора базовой статистики о сервере (CPU, памяти, соединения… twitter.com/i/web/status/9…

Для отображения метрик - graphite + grafana: grafana.com вот так выглядят метрики в @EzyInsights: pic.twitter.com/APb0wsI2JP

Помимо отображения метрик графана имеет модуль алертов, который может оповестить вас, если метрика выходит за преде… twitter.com/i/web/status/9…

Помимо системных метрик, отправляемых collectd, вы можете отправлять свои метрики в grafana. Например, время выполн… twitter.com/i/web/status/9…

Лучший способ оповещения о серьезных проблемах – PagerDuty. Он звонит по телефону по очереди каждому ответственному… twitter.com/i/web/status/9…

PagerDuty для США стоит $10/user, для остальных $50/user. Но @dnikolayev нашел способ сэкомить – регистрируете номе… twitter.com/i/web/status/9…

Так как sentry - не анализатор логов, то в репорте он содержит такие полезные данные как локальные переменные функц… twitter.com/i/web/status/9…

Если вам нужно следить за тем, как конкретный запрос путешествовал между микросервисами, то можно попробовать opentracing.io

Завтра буду писать всякую чушь о стартапах

Для отображения графиков из БД и оповещениях о некорректных данных можно использовать redash.io (а то… twitter.com/i/web/status/9…

С ней вы можете сделать проверку на бизнес-метрики: отсутствие регистраций, отсутствие продаж

А теперь как сделать модный стартап (все совпадения с реальными компаниями случайны, а некоторые идеи успешных стар… twitter.com/i/web/status/9…

2. Взять компилируемое стороннее приложение на IF-ах, назвать его AI. В случае чего можно сказать «а оно скомпилиро… twitter.com/i/web/status/9…

Все, на кого я набрасывал за неделю, уже три раза забыли, а java-программисты все еще оправдываются/обижаются

@backendsecret Есть ещё решение telegraf, influxdb, grafana. Почти все работает из коробки.

3. BigData. Если у вас меньше 10Tb данных – вы не bigdata. Но если купить redshift и положить в денормализованном в… twitter.com/i/web/status/9…

Вообще все мое отношение к Hadoop на обработке “bigdata” отлично выражает вот эта статья: aadrake.com/command-line-t…

Ну и последний способ – программисты из долины повышают стоимость стартапа. Поэтому нужно взять самых дешевых и бес… twitter.com/i/web/status/9…

Бессмысленный репозиторий можно назвать "принципиально новая версия"

@backendsecret Ну же, 2к17 на дворе. Добавлять в название нужно «блокчейн».
bloomberg.com/news/articles/…

По поводу процесса разработки. Я видел два эффективных процесса:
1) "прозрачная мотивация, точные инструкции, одно… twitter.com/i/web/status/9…

Проблемы две:
1) если не платить программистам выше рынка, то они просто встанут и уйдут
2) через полгода такой раб… twitter.com/i/web/status/9…

Второй – взять людей, которым интересно (даже с меньшим опытом), не убивать им мотивацию и спокойно, без дедлайнов… twitter.com/i/web/status/9…

По поводу мотивации программиста. IMHO главный враг мотивации программиста – это скучная работа. Поэтому нужно стар… twitter.com/i/web/status/9…

Это же касается новых технологий – если новая технология стабильна, решает проблему и не сильно замедляет разработк… twitter.com/i/web/status/9…

Так, ну все. Эту неделю с вами был @kostenko. Я надеюсь, что нанес за эту неделю больше пользы чем вреда и вы узнал… twitter.com/i/web/status/9…