ATavgen

30 октября 2017, Tartu, Eesti

# Понедельник 39 твитов

Привет, на этой неделе с вами Александр Тавген, из Тарту. В индустрии 17 лет. На данный момент Software Architect в крупной компании.

7:30

Основные интересы: Data Science, Java, Python Stack, Machine Learning, Distributed Systems. В последнее время все больше в Python экосистеме

7:31

На этой неделе хотел бы поговорить: разработка концептов, дизайн систем, ML системы, и так далее.

7:33

На этой неделе будем записывать видео, где несколько моделей нейронных сетей импровизируют вместе живыми музыкантами on-the-fly.

7:36

Две модели. Одна слушает человека, а вторая импровизацию первой.
youtu.be/rpIWMNGKqic

7:50

Оставили их как-то минут на обеде, когда вернулись уже играл какой то транс >) Звуки и уровни, еще не отстроены.
youtu.be/BQZDYHkRX94

7:52

Из ранних экспериментов.
habrahabr.ru/post/249229/

7:53

Немного музыки на селф мейд столе.
habrahabr.ru/post/249399/

7:54

Последний проект полностью Python stack, и для меня ясно, что разные инструменты предназначены для разного типа задач. Stable vs Research.

8:04

Тот же TDD не особо применим в research. Все меняется на лету, и если писать сразу тесты, то количество времени на девелопмент растет вдвое.

8:08

Отсюда и Python, и dev в Jupyter. Понимание структуры данных, после кусочки функциональности собираются в IDE. Тогда уже и тесты.

8:10

Это не касается командной разработки. Впрочем, слепой SCRUM в некоторых компаниях, по факту ухудшает мотивацию людей и производительность.

8:13

Если интересно, то могу рассказать об анализе time-series metrics и автоматическом детектировании проблем. bit.ly/2lp1F6h

8:34

Очень точно все написал Andrew Clegg. Кастомное и дорогое решение страдает от тех же недостатков. pic.twitter.com/L3S92Ff3pg

8:53

SRE teams из Гугла пришли к таким выводам. В мониторинге критически важных систем, все должно быть максимально просто и понятно.

8:54

Весь сложный ML подходит для некритичных вещей, прогнозы траффика и прочее. Все остальное должно быть максимально понятно.

8:58

Экономические процессы имеют ярко выраженную регулярность. Это покупки, транзакции, логины, сессии и так далее. Это… twitter.com/i/web/status/9…

9:00

Проблема в том, что Алерты это больше чем поиск outliers. Outliers не работают. Тысячи метрик осцилируют статистически. Прорывы будут всегда

9:01

Как результат огромное число False Positives and Alert Flood. Увеличиваешь сигму и трешхолды и пропускаешь важную информацию.

9:03

Человек, который расследует инцидент, смотрит показатели, основываясь на предыдущем опыте, он строит гипотезы, и проверяет другими данными.

9:08

То есть существуют два концептуально разных уровня. Один даёт информацию о нарушениях, второй принимает их и применяет некие правила.

9:09
@backendsecret А вот книгу эту (никак не до)читаю уже больше года, где-то на 70% настолько скучно всё стало, прям жуть.

Да. Местами скучно. twitter.com/strizhechenko/…

9:12

Архитектура напрашивается сама собой. Один компонент выстреливает события. Другой из слушает, реорганизовывает и пр… twitter.com/i/web/status/9…

9:16

Rules Engine study. И ещё я люблю whiteboard documentation. Это идёт в доки. Мне самому очень помогает такое распис… twitter.com/i/web/status/9…

9:19
@backendsecret А какого рода сигнал идёт от музыкантов? Только чистое аудио, или MIDI тоже?

Только MIDI сигналы, которые преобразуются в коды. Далее char RNN. Синхронизация по отдельному MIDI clock. Который… twitter.com/i/web/status/9…

9:21

Если я храню все наборы events от моделей, и потом размечаю где у меня были инциденты, то decision trees алгоритм может вывести правила.

9:23

Впрочем, сейчас комбинации нарушений модели я прописываю вручную. И делаю replay по данным задним числом, чтобы настроить все параметры.

9:24

Есть ещё интересная математика. Как мы можем доказать, что наша модель схватила сигнал адекватно?

9:25

Сегментная регрессия. Разбиваем ряд на кусочки, интерполируем. Плюсы - малое число параметров у модели. Бритва Окка… twitter.com/i/web/status/9…

10:49

Стыки на данных. И variance в любом случае надо тоже писать. В конце видно, что ряд уходит от стационарного состоян… twitter.com/i/web/status/9…

10:51

Скользящие статистики. Moving Average and Variance. Они сдвинуты на размер окна, если брать окно и вперед и назад,… twitter.com/i/web/status/9…

10:56

Тут тестовые данные в данных bounds. Можно брать несколько недель и с разными весами высчитывать усредненные по вре… twitter.com/i/web/status/9…

10:58

Twitter Seasonal ESD. Not tuned appropriate, just test. pic.twitter.com/mOwS10LbuT

11:00

То есть для меня процесс выглядит так. Я немного обдумываю задачу математически, потом смотрю какие инструменты взять в плане подходов.

11:03

И итеративно иду к решению. Во всем этом итеративный процесс must be. Это похоже на поход по болоту, и прощупывание перед собой твердь.

11:05

Как вы считаете? Нужен ли банку блокчейн, как он есть? Если банк контролирует инфру, и Proof-of-Work по сути не нужен.

11:13

Если банк доверяет своей инфраструктуре, то Proof-of-Work не нужен. Это очень неэффективно греть датацентры, и медленно проводить транзакции

11:37

Конечная цель Refactoring, чтобы код рассказывал историю. К сожалению, там где много математики это сделать трудно.

13:11

Java изначально принуждает использовать классы и работать в парадигме ООП. Python нет. Приходится проводить по-нескольку раз декомпозицию.

13:18

# Вторник 26 твитов

Графы, это прекрасная возможность переключить мышление в части persistance.

7:13

А существуют ли любители whiteboardinga? Может, его просто неправильно готовят?

7:14

У многих инженеров существуют проблемы с делегированием. Все надо сделать самому. Но это работает, только до определенного уровня. Problem.

8:21

Декомпозиция должна проводиться не только, и не сколько, на уровне кода, но и на уровне организации. На второе уделяется меньше внимания.

12:24

Софт, концептуально самое сложное, что создавало человечество. И все сводится по сути к борьбе со сложностью (помимо Business Goals)

12:37

Это все трюизмы, но бывает так например... И достаточно часто. pic.twitter.com/DDC5f3TEyF

12:41

Немного писал о теории сложности и адаптации к меняющимся условиям.
habrahabr.ru/post/327138/

12:45

Computation, which we initially described as just “what a computer does,” has turned out to be something of a force of nature. Tom Stuart.

12:46

Shortly, we can describe it like here. pic.twitter.com/SRtVD9c65w

13:17

Во многих компаниях есть практика параллельных проектов, решающих одни задачи. С одной стороны это правильно.

13:31
Самое неоправданно сложное, я бы сказал. Не то чтобы это было чем-то хорошим или нужным, но для многих, к сожалению… twitter.com/i/web/status/9…

А кто оценивает оправданность сложности? Если сложность вызвана сущностью задачи, и изменениями. twitter.com/Lazin/status/9…

13:33
@backendsecret ТуДу лист на джаваскрипте однозначно сложнее квантовой физики, это да

ТуДу лист и решение уравнения Ньютона тогда уж. А то ракету с мопедом сравниваем. twitter.com/mr_mig_by/stat…

14:59

Понимание математики и понимание Computer Science, в общем то, требуют похожей заточки мозгов.

15:00

Я рад, что вызвал вас на дискуссию. Уровень сложности софта в ином. Он принципиально другой...

16:10

Строя вышки, рано или поздно упрешься в физические законы. Вышки нельзя реплицировать, и так далее. Ограничения софта в ином мире.

16:11

Я не говорю про конкретный софт. Сам концепт вычислимости имеет ограничения много плана. Это как континуум сравнить со счетными множествами.

16:13

Теоретическое ограничение сложности вычислимости, задаёт совершенно иные рамки. Все остальное из этого следует.

16:14

То что мы упираемся в ограничения этого мира при постройке физических машин, это не относится к концерту вычислимости.

16:19

Машина Тьюринга имеет бесконечную ленту. Тем более можно машину имплементировать самой машиной, и вот и не надо физического мира.

16:20

Я платонист в математике.

16:20

Мы уже по большому счёту имеем целую матрешку, обёрток одних машин, над другими. Виртуализация велкам.

16:22

Есть даже такая шутка. Вопрос на собеседовании, чем отличается квадратичная сложность по памяти от линейной? Ничем.

16:33

В плане вычислимости. На бесконечной ленте и времени, они одинаковы в плане результата.

16:34
@backendsecret Мой дед говорил что раз информация нематериальна, то не должна требовать энергии на обработку, да)

Stackoverflow демона Максвелла. 2 закон это физическое ограничение. Если все умрут, то будет ли 2+2=4 ? twitter.com/ikkeps/status/…

17:13
@backendsecret @ipronix @sleem_muzzy Комплексные числа были выведены сугубо под практическую задачу - навигация кор… twitter.com/i/web/status/9…

То есть они были придуманы. А потом и под квантовую механику придуманы, и случайно совпал концепт. И пи с е насильн… twitter.com/i/web/status/9…

17:31

# Среда 5 твитов

Извиняюсь, мы сегодня снимаем видео, и это будет по сути первая совместная репетиция. Немного материала постараюсь выложить.

9:21

Preparing for the shooting :) pic.twitter.com/bfcsOLClFq

15:11

Первый сет. К середине ритм более менее стабилизировался. youtu.be/cO8KhWZvxcA

16:37

# Четверг 5 твитов

You face, when you hear that, we should create own crypto-algorithm. pic.twitter.com/fQTiPhoh9Y

9:36

Только что из диалога. Когда идёт что-то не так. pic.twitter.com/2kpCGNnLsr

10:46

5 попытка. Ритм ведут две модели TensorFlow. На браузер выведены каналы MIDI, можно видеть как идет ритм. youtu.be/juRhB-f-FNA

12:54

О дипломах, собирающих пыль на полках. Если диплом не равно пониманию и знаниям, то ответ очевиден же.

18:18
О дипломах, собирающих пыль на полках. Если диплом не равно пониманию и знаниям, то ответ очевиден же.

Те компании, которые не понимают это, рискуют оказаться в проигрыше. twitter.com/backendsecret/…

18:20

# Суббота 11 твитов

@backendsecret Да и вообще что посоветуешь подписчикам почитать на выходных?

Мне, в своё время, очень симпатичны были книги серии Pragmatic Programmers. Седжвик и его Алгоритмы и Структуры дан… twitter.com/i/web/status/9…

13:17
@backendsecret какие книги за последний квартал тебя больше всего впечатлили?

Я не читал книги особо в последний квартал. Скорее use cases , и это достаточно хороший способ, понять проблемы общ… twitter.com/i/web/status/9…

13:22
@backendsecret Да и вообще что посоветуешь подписчикам почитать на выходных?

Fowler. Norvig. Goetz. Uncle Bob. Just distilled classics. twitter.com/axel_user/stat…

13:35
@backendsecret Да и вообще что посоветуешь подписчикам почитать на выходных?

Выбрать тему, что интересует и читать академические публикации на архиве, самое продуктивное в плане прокачки. twitter.com/axel_user/stat…

13:39
@backendsecret А как насчёт применимости публикаций? По моей теме практика быстро показывает наивность академических исследователей

Как сказал один знакомый. Мы больше занимаемся research, который не очень очевидно как ведет к value :) (по крайней… twitter.com/i/web/status/9…

13:55

Очень полезная штука, подписка Safari на O’Reilly. Это как Spotify в мире книг. Плюс доступ к обучающим видео. Требуйте в своих компаниях.

17:34
@backendsecret А я купил год назад и пожалел. Контента море, но 200 баксов за год не отбились.

Компания платит за доступ на одного человека. И пользуются все кому надо. 200 баксов на всех ничто. twitter.com/alexey_m_ukolo…

19:02
@backendsecret посоветуйте здесь ленты по беку/фронту, с упором на java enterprise, пожалуйста

Это очень широкий вопрос. Фронт с упором на Java, разве что JSP, JSF, но это не очень актуально. Бек тоже бывает ра… twitter.com/i/web/status/9…

19:04
@backendsecret посоветуйте здесь ленты по беку/фронту, с упором на java enterprise, пожалуйста

Spring от Manning, в любом случае хорош, не помню автора. Там объясняется достаточно хорошо весь magic behing Sprin… twitter.com/i/web/status/9…

19:05
Если цель - выставить компанию на бабки, то вариант просто отличный. twitter.com/backendsecret/…

Я говорю, как это часто работает на самом деле. Зарегано на частное лицо, credentials знают другие. twitter.com/egavrin/status…

20:05
Если цель - выставить компанию на бабки, то вариант просто отличный. twitter.com/backendsecret/…

Если Тим Лид имеет подписку, и даёт креденшиалз членам команды, когда им нужно что-то посмотреть? Я про это. twitter.com/egavrin/status…

20:15

# Воскресенье 4 твита

@backendsecret Нарушение лицензии?

Если лицензия компания Sponsor, как у нас, то это один тип лицензии. В маленьких компаниях часто по другому. Но я г… twitter.com/i/web/status/9…

7:16

Правильное кафе в Хельсинки. pic.twitter.com/spZ4gq4efw

9:06

Монтаж с раб моментами. Две сети ведут ритм, после примеров. youtu.be/oj0u-WOqtdU

17:44

Спасибо за внимание. Это был интересный опыт. Низкий поклон .

17:50

youtu.be

other