ifesdjeen

22 мая 2017, München / Lugano

# Понедельник 145 твитов

Всем привет 👋 на этой неделе с вами я @ifesdjeen. Начнём с баз данных? Если интересно узнать про on disk storage и Cassandra - жду вопросов!

8:17

В двух словах о себе: живу в Мюнхене, работаю разработчиком баз данных, коммитер в Apache Cassandra, пишу на Clojure с ~2011, учу алгоритмы.

8:22

Вопросов пока не много, давайте тогда начнём с Seminal Papers в Database Systems. Например с LSM trees: paperhub.s3.amazonaws.com/18e91eb4db2114… кто читал?

8:33

Кто интересуется Time Series? Кому с Graphite тесно живётся?

8:49

Наверное самый известный и читаемый пейпер про распределённые системы: Dynamo, Amazon's Highly Availabe Store cloudgroup.neu.edu.cn/papers/cloud%2…

9:45

Одной из главных мыслей пейпера является CAP Theorem (consistency, availability, partition tolerance) en.m.wikipedia.org/wiki/CAP_theor…

9:47

также введение commit log (node-local)/ hinted handoffs (partitioned state) для availability, использование gossip для распределения данных

9:50

А есть среди читателей такие кто пейперы читает вообще?

10:34

Как насчёт функционального программирования? Есть Clojure/Haskell любители?

10:58

Или formal methods / model checkers? Agda, Idris, Isabelle / Spin, TLA+?

10:59
@backendsecret я интересуется, но мы используем prometheus
11:02
@backendsecret Почитываю на выходных SICP, иногда на 4Clojure решаю задачки.
11:04
@backendsecret А ты почитываешь? Если да - где находишь, а то в последнее время часто ищу оригинальные источники ин… twitter.com/i/web/status/8…
11:07
@alexcleac Все зависит от темы. Есть темы где уже есть наработки, есть где спрашиваю у знающих людей. @adriancolyertwitter.com/i/web/status/8…
11:09

Окей, значит Dynamo Paper объясняет как подойти к разработке базы данных с точки зрения распределённых систем: решает проблемы availability

11:12

и объясняет что делать если одна из нод падает или не может присоединиться к остальному кластеру.

11:13

LSM Paper рассказывает о внутренней организации файлов в базе данных и об общей архитектуре: memory tables / sorted string disk tables.

11:14

Следующий пейпер: SEDA, Staged Event Driven Architecture: cs.cornell.edu/courses/cs614/… как подойти к проектированию потоков и обработке запросов

11:15
@backendsecret Интересует что-нибудь с кластеризацией и тэгами и opensource
11:16
@backendsecret Юзаю по мелочи influxdb. Большого объёма данных нет, для статистики вполне хорошо подходит, grafana… twitter.com/i/web/status/8…
11:20

Продолжая тему распределённые системы 101, кто слышал об FLP Impossibility и Византийских Генералах?

11:25
@backendsecret Бывает, когда надо в тему провалиться, например.
Распределенку начал читать после Лэмпортовских рабо… twitter.com/i/web/status/8…
11:25

Проблема заключается в том что две Византийские армии, готовые напасть на город с двух сторон, должны прийти к согласию по поводу времени.

11:35

Они могут коммуницировать с помощью гонцов, но гонец может не дойти до дружественной армии (может быть перехвачен). Таким образом,

11:36

два генерала не могут быть уверены что другая сторона получила их уведомление (так как гонец с подтверждением может быть перехвачен)

11:37

Эта проблема послужила началом теории распределённых систем и доказала необходимость "консенсуса", или нейтральной стороны для подтверждений

11:38
@backendsecret @alexcleac @adriancolyer Есть еще такой вот твиттер аккаунт twitter.com/onepaperperday. Там порою годные бумаги бывают.
11:39
На этой неделе @backendsecret обещает быть особенно интересным
11:39

любителям Clojure задачка: каким образом написать свой if макрос без использования cond, and, or и других логических макросов?

11:42

Решения на Haskell и других ленивых языках принимаются также.

11:46
@backendsecret чем закончилось?
11:47
@1101_debian Закончилось все тем что доказали что договориться им невозможно и ввели понятие FLP Impossiblity. groups.csail.mit.edu/tds/papers/Lyn…
11:48
@1101_debian Более простыми словами: the-paper-trail.org/blog/a-brief-t…
11:48

После FLP Impossibility и понятия того что консенсус между двумя процессами не возможен разработали консенсус алгоритмы для нескольких

11:51

участников. Lamport разработал Paxos: lamport.azurewebsites.net/pubs/lamport-p…

11:51

Который использовался в том числе и Dynamo, и в Cassandra.

11:51
@backendsecret \c \x \y . c x y
true и false интерпретируются как К и К* комбинаторы
а насчёт более простого - заинтриговал)
12:07
@backendsecret В треде говорят "clojure's dying more than it is growing" - как обстоят дела на твой взгляд?
twitter.com/ZackMaril/stat…
12:45

Ссылки за сегодня (будут обновляться по мере поступления): gist.github.com/ifesdjeen/4af4…

12:51

Вопрос теоретического характера в распределенных системах: как реализовать Exactly-Once-Delivery (доставка сообщения _точно_ один раз)?

12:55

Например, как пытались реализовать это в TCP/IP и возможно ли реализовать это самому поверх скажем UDP?

12:57
@backendsecret В распределённых системах exactly once не бывает, так-то. Но есть приближения.

🤔👇twitter.com/borovikov/stat…Z

13:15
@backendsecret вот интересная реализация: Apache Flink - data-artisans.com/blog/high-thro…, правда в контесте stream processi… twitter.com/i/web/status/8…
13:23

В распределенных системах невозможно добиться Exactly Once Delivery. Возможно только сделать _At Least Once_ Delivery.

13:25

Что по сути значит Redelivery/Retransmit (повторные попытки доставки сообщений) и Таймауты.

13:25

Можно только гарантировать что сообщение было доставлено хотя бы один раз, из-за надобности получения уведомления о получении.

13:28
@backendsecret чем не устраивает at-most-once?
13:36
@kgorin Например: в случае с банком мне бы хотелось чтобы снятия денег были гарантировано 1 раз. Записать снятие два раза не допустимо.
13:39
@kgorin То есть для этого нужно exactly once _processing_ или idempotent processing. Например записывать id всех полученых сообщений.
13:39

Возвращаясь к теме Dynamo и как строить Базу Данных, остается вопрос: каким образом распространять информацию между нодами?

14:48

Если все будут говорить со всеми чтобы удостовериться что информация была распространена - в больших масштабах такое работать не будет.

14:49

Чтобы избежать этой проблемы были придуманы Gossip Algorithms. Один из первых пейперов на тему: Epidemic Algorithms pdfs.semanticscholar.org/49ed/15db181c7…

14:50
@backendsecret At-least-once + идемпотентность?
15:22

Разминка: чем отличаются Sorted Files (LSM-Trees) от B+Trees (допустим в обоих случаях write-only workload)?

15:52

Какие гарантии мы идеем в плане производительности (Big-O) операций: запись и чтение.

15:53

Sorted Files быстрее писать. B+Trees дадут лучшее результаты при чтении. Примерно поэтому Sorted Files часто используют для primary storage,

16:03

а B+Trees для secondary index. В этой связи, отличный пейпер на тему Concurrent Cache Oblivious B-Trees people.cs.georgetown.edu/~jfineman/pape…

16:06

Cache Oblivious подразумевает что алгоритм будет производительным и дружественным по отношению к CPU Cache даже не зная его размера.

16:08

Кстати, прочтя и ориентируясь в хотя бы половине упомянутых на этой неделе тем поможет пройти собеседование в <big cool tech companies>

16:10

Было бы классно если бы я научился согласовывать предложения по-русски. Если видите ошибки-не судите строго, язык не родной, использую редко

16:16

Поговорим об I/O? Какие бывают виды I/O с точки зрения операционной системы и/или платформ?

16:50

Самый простой вид I/O это open/read/write/close syscalls, где запись и чтения производятся с помощью буфера и дескриптора файла.

16:58

Очевидно, что эти вызовы синхронны (блокируют поток до завершения операции) и таким образом невозможно работать с несколькими дескрипторами

17:00

Именно поэтому были передуманы другие способы ввода-вывода, и все (а именно - I/O Multiplexing) началось с select().

17:02

select() - по прежнему синхронная операция, но она позволяет запросить ожидать событий на нескольких дескрипторах.

17:05

Альтернативой select() является poll(), не-блокирующий вызов, который позволяет есть ли дескрипторы готовые для чтения или записи.

17:09

К сожалению, ни select() ни poll() не подходят для решения c10K и работы с большим количеством дескрипторов

17:11

поэтому появились epoll (Linux) и kqueue (BSD), неблокирующие (async) API для работы с большим количеством дескрипторов / соединений.

17:13
@backendsecret Почему в линуксе их не сделали асинхронными?
17:15
@truetobetrue сделали, только позже(epoll, event-driven poll).Вообще современные I/O APIs очень сильно устарели. Бы… twitter.com/i/web/status/8…
17:15

epoll, не умеет доставлять несколько событий одного типа. Есть еще несколько проблем, но лучше почитать idea.popcount.org/2017-02-20-epo…

17:34
@backendsecret Kafka планирует реализовать exactly-once. cwiki.apache.org/confluence/dis…

Но я если честно плохо понимаю ро… twitter.com/i/web/status/8…

17:36
@Arhelmus Exactly Once Delivery невозможно. То что они делают называется Exactly Once Processing.
17:40
@backendsecret Но в результате же, это всеравно решает проблему того-же банка, где транзакция не должна быть применена дважды, да?
17:40
@Arhelmus конечно! Просто exactly once delivery стало своего рода маркетинговым приемом) все не умеют а мы молодцы;… twitter.com/i/web/status/8…
17:40
@truetobetrue @backendsecret Буква P не нужна
CAP это не проблема, поэтому ее решить нельзя :(
Есть распределенный… twitter.com/i/web/status/8…

Напомнило о статье Coda Hale: you can not sacrifice partition tolerance codahale.com/you-cant-sacri… twitter.com/krems5/status/…

18:45
@backendsecret IIRC kqueue не только для файлов, но и для других ивентов (таймеры, fork/exec events). Что с epoll? Только I/O?
18:50

Окей тви, на сегодня все. Пишите вопросы, или я продолжу постить ссылки на статьи и пейперы. Cегодня у меня только… twitter.com/i/web/status/8…

20:38

Привет читателям @backendsecret! На этой неделе с вами @fads93_zombie

7:37

Немного о себе: учился на кафедре микропроцессорных технологий МФТИ, 4 года назад попал на стажировку в московский офис Интела

7:50

Работал в проекте Бабаяна, моя специализация - трансляторы, но не языковые :)

7:54

Хочу начать с того, что в Москве очень сильная школа процессорных технологий, с центрами в МЦСТ, ИТМиВТ, Интеле и на кафедрах МФТИ

8:02

Нельзя не сказать про Эльбрусы - часто рассматривали на лекциях на кафедре, мое впечатление - для своего времени это была передовая система

8:15

Буду только рад, если МЦСТ найдёт средства на дальнейшую разработку. Haters gonna hate!

8:15

Ах да, я веду паблик вконтакте с новостями процессорной индустрии без инсайдов
vk.com/pipelinestall

8:22

Давайте начнём интерактив. Помогите следопыту Даше определить, с какой аудиторией она имеет дело

8:32

Шёл 2017 год...

8:35

Обход графа в глубину...

8:36

Я просто не мог удержаться

8:44

В игрули я шпилю на...
(выпуск же про процессоры)

8:46
Его было не остановить @backendsecret pic.twitter.com/2qd3ZnS4at
8:47

Прошу вас подумать над вопросами, пока я ненадолго отключусь :)

8:58

Русский след в интеле, как с аэромеха попасть на микропроцессоры, зеленее ли трава в долине, и все, что может вас интересовать

9:00
@backendsecret @alexanius А я думал codesign это что-то дуальное к design.
16:40
@backendsecret @fads93_zombie Это все интересно, но оффтоп.
Какие перспективы у вышедшего наконец 3dxpoint'а?
Когда… twitter.com/i/web/status/8…

XPoint: как мне видится, технология перспективна для датацентров как быстрый кэш/расширенная RAM… twitter.com/i/web/status/8…

17:37
@backendsecret @fads93_zombie Почему интеловский пенёк лучше амдшного рузена/FX'a в игрульках?

1/ Про производительность в играх можно судить по бенчмаркам, например arstechnica.com/gadgets/2017/0… twitter.com/ioooooi1/statu…

17:51
@backendsecret @fads93_zombie Почему интеловский пенёк лучше амдшного рузена/FX'a в игрульках?

2/Вопрос почему: несмотря на то, что IPC микроарх Zen на 40% больше предыдущего поколения, это все равно меньше, че… twitter.com/i/web/status/8…

17:54
@backendsecret @fads93_zombie Почему интеловский пенёк лучше амдшного рузена/FX'a в игрульках?

3/Простой пример: AMD добавили в Zen кэш микроопераций, который был в Core начиная с Sandy Bridge (2011) twitter.com/ioooooi1/statu…

17:56
@backendsecret На борде сидишь?
Как твое образование относительно иностранных коллег выглядит, достойно?
Кто нибудь там про физтех вообще?

Про образование: в моей команде работают люди в основном с американским образованием, много PhD, есть один человек… twitter.com/i/web/status/8…

18:01

Я не могу быть полностью объективен, но в практических аспектах образование на уровне. МФТИ+базовая кафедра в Интеле - non est penis canina

18:05
@backendsecret На борде сидишь?
Как твое образование относительно иностранных коллег выглядит, достойно?
Кто нибудь там про физтех вообще?

Про физтех речь не заходила, но мой менеджер точно про него знает. Несколько человек знают про МЦСТ, те кто вместе… twitter.com/i/web/status/8…

18:10
@backendsecret Правда что много бомжей, потому что им доплачивают?
Правда,что невозможно высокие цены на жилье?
Пра… twitter.com/i/web/status/8…

В самой долине почти нет таких людей, но их много в городах (Сан-Хосе, СФ). Жилье дорогое, аренда 1bd апартов в Сан… twitter.com/i/web/status/8…

18:14
@backendsecret Правда что много бомжей, потому что им доплачивают?
Правда,что невозможно высокие цены на жилье?
Пра… twitter.com/i/web/status/8…

Каждый день езжу на работу мимо пожарной части :) Врачей вроде тоже хватает, если судить по списку тех, кто работае… twitter.com/i/web/status/8…

18:16

Сейчас производители процессоров хвастаются использованием нейронных сетей в предсказателе переходов (AMD, Samsung)

18:18

А знали ли вы, что в процессорах Интел начиная с Core 2 есть LSD-режим?

18:20

К диэтиламиду лизергиновой кислоты он не имеет отношения.Loop Stream Detector позволяет отключить часть фронтенда и… twitter.com/i/web/status/8…

18:24
@backendsecret сколько в мире реальных работодателей для разработчика микропроцессоров?

Думаю, не более 20. Intel, Nvidia, ARM, Qualcomm, Apple, Samsung, Google, Imagination, пара стартапов… И, конечно,… twitter.com/i/web/status/8…

18:34
@backendsecret бум ML/Data Science как-то отразился на МП?

Интел выпускает оптимизированный Distribution for Python для ML/DS, оптимизирует фреймворки Caffe и TensorFlow. (Чт… twitter.com/i/web/status/8…

18:37
@backendsecret А что это даёт?

Улучшает энергоэффективность (гасит BPU) и повышает пропускную способность фронтенда.
@krems5 twitter.com/dcromster/stat…

18:44
@backendsecret Что ты думаешь насчет x86? Не пришло ли наконец время для итаниума?
Какие шансы у эльбрусов?

Время итаниума наконец закончилось :) Интел прекращает выпуск Итаниумов с релизом Kittson
itworld.com/article/319607… twitter.com/krems5/status/…

18:46
@backendsecret Что ты думаешь насчет x86? Не пришло ли наконец время для итаниума?
Какие шансы у эльбрусов?

Моя точка зрения: широкая команда со статическим планированием (Итаниум, Эльбрус) уже не обгонит out-of-order super… twitter.com/i/web/status/8…

18:48
@backendsecret Почему интел не делает процессоры с более слабыми моделями памяти, не планирует в embedded?

Про более слабые модели памяти - имеется в виду отказаться от TSO? Тогда это будет не x86 :) twitter.com/krems5/status/…

18:49
@backendsecret Почему к power'ам и армам такие хилые доки, что бедный Peter Sewell вынужден экспериментально выясня… twitter.com/i/web/status/8…

У ARM совсем не хилые доки. Один из авторов ARM v8 публикует у себя в блоге работу с Machine Readable Spec… twitter.com/i/web/status/8…

18:51
@backendsecret А можешь пояснить где тебе видится слабое место VLIWов? Только статическое планирование?

Статическое планирование и проблемы с масштабируемостью (сложности с утилизацией всех исполнительных устройств в ка… twitter.com/i/web/status/8…

19:05
@backendsecret > Итаниум сдох
> Эльбрус не нужен
Казалось бы, можно расслабиться. Но тут внезапно
> NVIDIA Denver
> Qualcomm QDSP6
19:06
@backendsecret А если отойти от всех проблем с окружением, как думаешь, Itanium мог бы выстрелить?

Наверное, мог бы, будь у него обратная совместимость с x86 без потери производительности и повыше тактовая частота. twitter.com/dcromster/stat…

19:11
@backendsecret Есть ли тенденция включать больше векторных модулей в процессор?
В связи с популярностью sse и встро… twitter.com/i/web/status/8…

Как по мне - после AVX512 куда уж больше :) но потребность в SIMD вычислениях не падает, поэтому тренд продолжится twitter.com/krems5/status/…

19:13
@backendsecret А если отойти от всех проблем с окружением, как думаешь, Itanium мог бы выстрелить?

Под итаниум был хорошо спроектированный C++ ABI, который теперь используется как стандартный в GCC. twitter.com/dcromster/stat…

19:18
@backendsecret Разве Интел не собирается наступить на те-же грабли снова? Читал, что после всех Core I будет нечто… twitter.com/i/web/status/8…

Мне интересно, о чем идёт речь :) вообще у интела даже Xeon Phi x86-совместим twitter.com/dcromster/stat…

19:23
@dcromster @backendsecret Что-нибудь эдакое квантовое? :)

Ах, хотелось бы мне быть архитектором квантовой ISA :) twitter.com/traffsh0w/stat…

19:26

Не зря же я на госе по физике брал вопрос по выбору про алгоритм Дойча, в самом деле

19:27
@backendsecret Статья была на уровне слухов. А Фи это же Pentium какой-то дорабатонный. Разве нет?

Все равно, если найдёте статью - дайте знать. А Xeon Phi, как сообщает википедия, действительно основан на микроарх… twitter.com/i/web/status/8…

19:31
@backendsecret И тут у меня вопрос обывателя: а почему на такой древности, а не на Xeon там или i7?

Думаю, от оригинального пентиума там остался только in-order конвейер. В Xeon Phi есть SMT, кэши, 512b-регистры, мн… twitter.com/i/web/status/8…

19:43

Будучи стажером в московском интеле, я исследовал поведение и свойства программ

19:58

В одном из таких исследований я получил подтверждение принципа Парето: 80% времени исполнения приходится на 20% кода

20:00

Объяснение этому феномену очень простое: программы действительно проводят большую часть времени в циклах :)

20:02

Оптимизируйте вложенные циклы, друзья!

20:02
@astarasikov @backendsecret Denver -- это та хреновина с кривым рекомпилятором на кристалле?

Воу-воу, JIT в JVM по-вашему тоже кривой рекомпилятор? twitter.com/feelthefrog/st…

20:03
@backendsecret Пару советов по этому делу?

1. PGO - ваш друг

20:23

с другой стороны, преждевременная оптимизация есть зло - то, что я назвал боттлнеком, может таковым не быть

20:30

В частности, вызовы виртуальных функций (и косвенные переходы вообще) хорошо предсказываются

20:33

Всегда бомбит с постов, где пишут про их чудовищные накладные расходы

20:33
@backendsecret Я бы сказал что сильно от задачи зависит. Точнее это может быть много мелких циклов в разных частях кода. Тогда всё плохо )

Плоский профиль - и наша цель, и наш злейший враг) twitter.com/alexanius/stat…

20:35
@backendsecret Бомбить-то должно с того, что где виртуальный вызов -- там с большой вероятностью "прощай инлайн", если только не (D)PGO.
21:04
@backendsecret Для обывателя это обозримый "оверхед": добавили virtual и стало херово. Обывателю всё равно, каков механизм этого "херово".

Хотел поинтересоваться: в jvm jit производится автоматическая девиртуализация? twitter.com/shipilev/statu…

21:26
@backendsecret Ладно, про аэромех->расскажи. Это фалт что ли? Или все таки факи?
Как вообще в кремний то занесло? Кто вдохновил?

Да, поступал на ПМИ на ФАЛТ (на ФАКИ не было информатики). Попал в Интел через лабу МФТИ-Intel (компиляторы), потом… twitter.com/i/web/status/8…

21:35
@backendsecret Кто-то даже находил смешным, что автоматический PGO оказался куда более распространён в джавовом мир… twitter.com/i/web/status/8…

Программистов невозможно заставить профилировать код, а в managed execution это можно делать прозрачно twitter.com/shipilev/statu…

21:38
@backendsecret Но ведь программисты на С/С++ -- это ого-го! Они все прочитали Стандарт, глубоко знают свой тулчейн… twitter.com/i/web/status/8…
21:40
@backendsecret Я когда девиртуализацию запилил, у меня 473.astar ускорился в 1.5 раза ;) Проблема, как уже сказали… twitter.com/i/web/status/8…
21:53
Тупая железка - говорят программисты, когда что-то не работает.
Тупые программисты - говорят железячники
22:01
Если определить эксперта как того, кто больше пиздит, чем делает, то я эксперт

Чему я научился за 4 года в индустрии twitter.com/fads93_zombie/…

22:02
@fads93_zombie @shipilev а процессор может сам делать reorder инструкций с места, которое предсказал branch predictor?

Если я правильно понял вопрос, то это и так происходит в OOO-конвейере twitter.com/alexanius/stat…

22:28

Про предсказание переходов, наверно, стоит поговорить отдельно. Пост на SO с очень наглядной аналогией для понимания stackoverflow.com/a/11227902

22:31
@backendsecret Интересно что в списке нет AMD :)

Упс, это без задней мысли. У AMD хороший послужной список инноваций в архитектуре: amd64, интегрированный КП, HBM, … twitter.com/romanow_ua/sta…

23:20

# Вторник 87 твитов

@1101_debian @backendsecret Только файловые дескрипторы. В Linux есть много интересных вещей, которые работают чере… twitter.com/i/web/status/8…
5:23
@backendsecret @Arhelmus А где-нибудь уже exactly once processing есть?
5:48
@nwalkr @Arhelmus У всех в основном "roll your own" насколько мне известно, только у них есть встроеные семантики: engineering.sendence.com/2017/03/hello-…
5:48

Доброе утро! Продолжим экскурс в Distributed Systems и Databases? Из вопросов я понял что есть интерес к теме Deutschland ещё?

5:51

В двух словах о Мюнхене: чудесный город, отличная система общественного транспорта, много велосипедных дорожек, недалёко от Альп.

5:55

Цены достаточно высокие по сравнению с остальной Германией. Работы в IT очень много и на любой вкус.

5:57

Много митапов, сегодня вечером будет Munich NoSQL на темы Graph Databases / Trending Algorithms. На прошлой был Munich Lambda по F# и F*.

5:59

Одно из местных развлечений: Eisbach Wave 🌊 где можно прокатиться прямо в городе: река выходит из-под зданий и обра… twitter.com/i/web/status/8…

6:03

В IT oчень много людей из разных стран. Много из Польши, Белоруссии, Украины и России. Многие говорят по английски, немецкий не учат.

6:05

Получение визы и постоянного вида на место жительства гораздо проще чем во многих местах. ПМЖ при желании можно сделать за 2 года.

6:06

Проект БД из Carnegie Mellon, для обучения: можно написать свои функции, Join, индексы, 15721.courses.cs.cmu.edu/spring2017/syl…
15721.courses.cs.cmu.edu/spring2016/syl…

7:01
Следующий пейпер: SEDA, Staged Event Driven Architecture: cs.cornell.edu/courses/cs614/… как подойти к проектированию потоков и обработке запросов

Вчера мы говорили о SEDA: Stage Driven Event Architecture. Еще есть follow-up от автора: matt-welsh.blogspot.de/2010/07/retros…

twitter.com/backendsecret/…

7:06

Также мы говорили о CAP и Network Partitions. Когда речь идет о Partition Tolerance, нельзя не упомянуть Jepsen: aphyr.com/posts/281-jeps…

7:11

Jensen - toolset для симуляции и анализа поведения баз данных и message queues в условиях нестабильных сетей и network partitions.

7:12

И последняя ссылка в этом batch’e: Fallacies of Distributed Computing, или почему нужен High Availability: en.wikipedia.org/wiki/Fallacies…

7:16
@backendsecret Расскажите, пожалуйста, о вашем опыте использования jepsen в продкашине или для себя.

У Jepsen очень хорошая документация,писать свои компоненты и расширения достаточно просто:

github.com/jepsen-io/jeps…

twitter.com/rukavitsya/sta…

7:55

Тулинг приятный, разобраться просто. Для большинства достаточно почитать посты Кайла о его тестов с помощью Jepsen.

7:56

Для тех кто пишет свою базу данных или процессор потоков (stream processing tool), конечно Jepsen очень полезная вещь.

7:57

Хотя я бы рекомендовал посмотреть также на netem чтобы проверять не только network partitions/message drops/delays а также retransmission

7:59

packet corruption и всякие другие сценарии: wiki.linuxfoundation.org/networking/net…

7:59

Например follow up по поводу тестов Cassandra с помощью Jepsen: datastax.com/dev/blog/testi…

8:01
@backendsecret btw - Вот здесь написали решения этой задачи на Go в blockchain стиле с эффективным восстановлением… twitter.com/i/web/status/8…
8:02
@backendsecret @krems5 во самая крутая книжка по базам данных( и распределенным тоже) shop.oreilly.com/product/063692…
8:41

Один из самых подробных постов тему распределенных систем: What we talk about when we talk about Distributed Systems alvaro-videla.com/2015/12/learni…

9:31
Один из самых подробных постов тему распределенных систем: What we talk about when we talk about Distributed Systems alvaro-videla.com/2015/12/learni…

Автор - @old_sound, у него часто в твиттере есть интересности. Вот его записаный ток: youtube.com/watch?v=fOAytj…

twitter.com/backendsecret/…

9:32

О какой части баз данных вы бы хотели узнать больше?

12:24

На Munich Lambda Meetup в @jetbrains pic.twitter.com/uk4HypYGqr

17:11

Пока что Consistency/Consensus лидирует в списке вопросов. Кто работает с "eventually consistent" базами? Что вы используете?

17:47

В eventually consistent базах важны две вещи: Replication Factor (RF), Read Consistency Level(RC), Write Consistency Level (WC).

17:56

RF - сколько копий данных будет сделано в системе.
RC/WC - сколько реплик должно ответить чтобы запрос был успешным.

17:59

RC/WC могут быть численными либо, скажем Quorum (большинство). Чем чревато устанавливать RC или WC равным RF?

18:01

Если RC равен RF, в случае если даже одна реплика не может ответить (таймаут, unavailability), то весь запрос будет отклонён.

18:09

О read/write consistency levels и replication factor можно почитать тут: teddyma.gitbooks.io/learncassandra…

18:26

Если во время записи реплика была недоступна, происходит Hinted Handoff. Координатор (нода на которую пришёл запрос) примет запись "вместо".

18:32

Когда реплика вернётся в статус UP, координаторы пришлют все сохранённые записи. Больше по этой теме: docs.datastax.com/en/cassandra/2…

18:34

Для чего нужны tombstones и gc_grace? Почему недостаточно просто удалить запись с диска и забыть?

18:43

LSM-trees (реализация sstable) immutable. Во время чтения если строка находится в нескольких sstable, происходит merge (reconciliation)

18:52

Значит sstable обязан иметь запись об удалении. Во вчерашнем пейпере Epidemic Algoritms это назвали "dormant certificates".

18:54

Вторая причина - если реплика отсутствовала, ей нужно "сообщить" о том, что запись была удалена. Для этого нужно об этом иметь запись самому

18:55

Больше информации на тему можно найти здесь: thelastpickle.com/blog/2016/07/2…

18:56

Допустим, две реплики имеют разные записи (после проблем с сетью). Каким образом узнать _какие именно_ записи нужно синхронизировать?

18:59

О том что есть конфликт можно узнать с помощью checksum данных: если суммы не совпадают, нужно синхронизировать.

20:20

Конечно хорошо бы было узнать какие именно сегменты не совпали. Для этого используют Merkle Trees: en.m.wikipedia.org/wiki/Merkle_tr…

20:26

Следующая проблема: создали таблицу. В кластере 300 нод. Каким образом сообщить всем нодам о том что была создана таблица?

20:44
@backendsecret пустить слух об этом :)

Очевидным O(N) решением было бы контактировать каждую ноду. Но есть более эффективные решения: Gossip.

twitter.com/meln1k/status/…

20:59

Хорошая вводная статья на тему Gossip Protocols от уже упомянутого @old_sound alvaro-videla.com/2015/12/gossip…

21:02
@backendsecret Telenovela Protocol with Natalia Oreiro!
21:12
@backendsecret have you seen this? twitter.com/flopezluis/sta… by @flopezluis

Wow! Gossip Simulator! Очень в тему!

twitter.com/old_sound/stat…

21:17
@backendsecret And the first song is a different one, "Caballo Viejo", an Uruguayan band made it very popular youtube.com/watch?v=EglM_I…

Музыкальная пауза twitter.com/old_sound/stat…

21:31
@backendsecret Никак? At least/most же. А вообще все хотят, да. Вот например medium.com/some-tldrs-ru/…
21:45
IntelのCPUの早見表…。 pic.twitter.com/jLGB1836ky
4:16
@fads93_zombie @backendsecret А на чем железячники работают в интеле? Маки, сарфейсы, стационары или что-то ещё?

Инженеры пользуются обычными ноутбуками (HP и Thinkpad), реже стационарами, и еще реже маками. Разработка ведется н… twitter.com/i/web/status/8…

5:10
@backendsecret можешь рассказать о процах с фпга?

К сожалению, я ничего о них не знаю. Альтеровский бизнес пока по большей части отдельно. twitter.com/yamironichev/s…

5:11
@backendsecret почему маки не в почете?

Я думаю, что по чисто прагматическим соображениям: компании со штатом 100к человек дешевле поддерживать парк машин… twitter.com/i/web/status/8…

6:33
@backendsecret а у вас винда? я раньше думал, если инженер то сам разбираешься со своей машиной и ос

На ноутбуках только винда, на удаленных рабочих станциях или винда, или Линукс. Люди работают, а не разбираются со… twitter.com/i/web/status/8…

6:42

Хотя сам я долгое время был гентушником, что пришлось кстати в моей работе

6:45

Тот случай, когда часы наблюдений за компиляцией какого-то дерьма делают тебя экспертом в компиляторах

6:47

А кстати
На работе я пользуюсь

6:52
@backendsecret Что же мне выбрать, коли я Mac + Linux юзаю :D

Чем пользуетесь чаще twitter.com/strizhechenko/…

6:56

Одно интересное наблюдение: у архитекторов, которые проводят эксперименты и обрабатывают статистику, пользуется популярностью Jupyter NB

7:16

если в московском офисе я был одним из немногих, кто владел pandas'ом, то в штатах люди основательно взяли на вооружение этот инструмент

7:17

А разработчики бэкенда пользуются средствами для анализа данных?

7:20
@backendsecret а можно нубский вопрос? Почему процессоры с одинаковой частотой и кол-вом ядер настолько разные по производительности?

Производительность процессора определяется тремя составляющими:

7:37

IPC - instructions per clock. IPC зависит от приложения и микроархитектуры процессора, борьба за повышение IPC ведется с обоих фронтов

7:41

Кстати, пиковый теоретический IPC Эльбруса - 23, однако большинство задач не обладают таким параллелизмом, чтобы загрузить все устройства

7:45
@backendsecret А как же всякие л3 кэши и синхронизация между ядрами?

Согласен, но кэши и протоколы когерентности относятся к подсистеме памяти, что лежит в т.н. uncore twitter.com/russianlagman/…

7:48
@backendsecret спасибо! а эти самые ipc можно найти в каких открытых спецификациях? в консумерских вариантах ни разу не попадались.

Производительность консумерских процессоров проще всего оценивать по интересующим вас бенчмаркам :) twitter.com/_maximkuzmin/s…

7:51

Иногда в новостях пишут: “Zen is 6-wide OOO CPU”, “Denver - 7-wide in-order”. Про микроархитектуру Intel и AMD пишет Agner Fog

7:52

Я не специалист по uncore :)

7:53

То есть IPC зависит от ILP задачи (instruction-level parallelism), ширины машины и способности машины извлекать параллелизм

7:57

IPC: Интел больше вкладывает как в оптимизацию задач под свои процессоры, так и в ширину исполнения и способность CPU извлекать параллелизм

8:00

Ширина исполнения определяется количеством инструкций, проходящих в такт по тракту конвейера

8:02

Способность извлекать параллелизм out-of-order процессоров напрямую связана с размером окна переупорядочивания (ROB, RS, Load/Store Buffer)

8:03
@backendsecret Нужен блиц курс по устройству процессора.
Или зря бы глоссарий

Хорошего блиц-курса или глоссария по архитектуре я не встречал :( twitter.com/krems5/status/…

8:15

Хороший всеобъемлющий учебник про архитектуру и дизайн процессоров - Харрис и Харрис в русском переводе silicon-russia.com/2016/01/04/har…

8:17

Не entry-level: технионовский курс про микроархитектуру от архитекторов Core webcourse.cs.technion.ac.il/234267/Winter2…

8:33

Нашел! Запись трехдневного тренинга по архитектуре в Яндексе от моего коллеги Александра Титова (видео+слайды):
linkedin.com/pulse/3-day-cp…

8:47
@backendsecret Что думаешь насчёт Xeon'ов на домашних компьютерах?

Мечта любого энтузиаста - собрать себе рабочую станцию с двумя 12-core Xeon... и компилировать Gentoo на этом железе twitter.com/dcromster/stat…

16:16
@backendsecret А единственный способ реально оценить производительность - замерить на конкретной задаче, под которую железка покупается
16:17
@backendsecret А как же Хенннси и Паттерсон. Раньше на их основе ещё на курсере курс был, но его удалили. Есть на торрентах

Речь про Computer Architecture: A Quantitative Approach, которая считается библией. На курсере есть принстонский ку… twitter.com/i/web/status/8…

16:20

Если честно, я так и не нашел ответа на вопрос зачем это нужно

16:21
@krems5 @backendsecret Вот норм статья lighterra.com/papers/modernm…

Плюсую
“Modern Microprocessors – A 90-Minute Guide!” twitter.com/alexgpg/status…

16:34
@backendsecret А какая книжка самая умная и крутая?

Обзорная: Patterson, Hennessy "Computer Organization and Design", детали Out-of-Order: Shen, Lipasti "Modern Proces… twitter.com/i/web/status/8…

19:00
Intel’s Core i9 Extreme Edition CPU is an 18-core beast engt.co/2qwBtEM pic.twitter.com/yWSkbUcAtw

О нет, они сломали понятную схему i3-i5-i7 twitter.com/engadget/statu…

19:05
@backendsecret Хочешь сказать, что ты непричём? :D

Ну это же как Пентиум-5, которого так долго ждали, и который из-за этого ни в коем случае нельзя было выпускать twitter.com/dcromster/stat…

19:18

Pentium 5, Core i9 - как каденция в музыке, которая наступает после напряженного ожидания. Теперь все расслабятся :/

19:21

# Среда 83 твита

Со Storage все немного проще чем с Consistency. Cassandra использует два вида хранилищ: Commit Log и SSTable.

9:58

Во время записи данные попадают сперва в Memtable (находятся в RAM), обычно реализованы как SkipList или BTrees (для point и range queries)

10:00

Если интересно, развернутая статья по поводу SkipLists: citeseerx.ist.psu.edu/viewdoc/downlo…

10:03

После того как размер таблицы в памяти заходит за конфигурируемую отметку, таблица записывается на диск в виде SSTable(sorted string table)

10:05

Этот процесс называется memtable flush. Если нода по каким-то причинам падает до того как memtable записан на диск, при перезагрузке будет

10:07

произведена восстановка данных из CommitLog. CommitLog это sequential file, в который записываются данные без сортировки, который содержит

10:08

лог операций над данными. Он используется для того чтобы избежать потерь данных. В двух словах можно почитать тут docs.datastax.com/en/cassandra/3…

10:10

Более подробный talk (Read Path Internals) можно посмотреть здесь youtube.com/watch?v=HuDJBT…

10:12

Cassandra записывает данные в сортированные файлы прямо из памяти, то есть скоро их становится очень много (плюс в них будут tombstones).

10:14

Каким образом избавиться от tombstones (вспоминаем grace_period) со вчера? И как уменьшит количество SSTables?

10:15

Процесс называется Compaction: он читает SSTables с диска и пишет данные из них в новый SSTable, объединяя строки из нескольких файлов.

10:47

Неплохой гайд по поводу compaction strategies можно найти здесь: instaclustr.com/blog/2016/01/2…

10:48

Чтобы читать на диске только те таблицы в которых _вероятнее всего_ будет находится запись, используют Bloom Filter.

12:03

Вероятностная структура данных, которая может точно ответить отрицательно на вопрос есть ли запись в таблице,но положительный ответ не точен

12:04

То есть в результате последующего поиска на диске может оказаться что записи в таблице нет.

12:08

Более подробно (с иллюстрациями и примерами) о Bloom Filter можно почитать здесь: jasondavies.com/bloomfilter/

12:09
@backendsecret насколько часто стоит выполнять nodetool repair, если данные никогда не изменяются/удаляются?

Ещё можно почитать подробно статью о repair здесь: datastax.com/dev/blog/repai… twitter.com/meln1k/status/…

12:28

Отличная статья о понятии времени в распределенных системах: There’s no now queue.acm.org/detail.cfm?id=…

13:43

Не совсем по теме недели, но интересная статья: Working at Netflix: 2017 by Brendan Gregg brendangregg.com/blog/2017-05-1…

14:29

И ещё одна больше high-level идеи, Infrastructure behind the Twitter: Scale: blog.twitter.com/2017/the-infra…

14:33

По сегодняшней теме: детали реализации Cassandra 3.x Storage Engine thelastpickle.com/blog/2016/03/0…

14:35

Более интуитивная статья на тему Log Structures Merge Trees: benstopford.com/2015/02/14/log…

17:28

О конфузной формулировке CAP и ACID где слово Consitent значит разные вещи: thislongrun.blogspot.de/2015/03/the-co…

17:32
@backendsecret лучше уже "сбивающей с толку"
17:38

И напоследок, тоже не совсем в тему, но в за прошлые несколько лет пришлось много работать с оптимизацией производительности.

17:40

Было интересно разобраться с операционными системами. Нашёлся хороший курс по OS с заготовками для тестовых заданий: ops-class.org

17:43

Очень стоящий курс. После него становится легче ориентироваться в любом ядре, поскольку понимаешь toolchain, структуру и стиль кода ядер.

17:44

If you have just two takeaways from this week, let it be ops-class.org and 15721.courses.cs.cmu.edu/spring2017/pro… пройдите, останетесь довольны!

17:46

По техническим причинам я вынужден эту неделю остановить после трёх дней. Перекопал свой архив ссылок, вспомнил много интересного.

17:47

Надеюсь материал был всем полезен. Напомню что все ссылки будут структурированы и выложены в gist: gist.github.com/ifesdjeen/4af4…

17:49

Напомню, что с Вами был @ifesdjeen. Приятно было со всеми пообщаться и всего хорошего!

17:55

Доброе утро, разработчики бэкенда! Я обещал поговорить о московской школе процессорных технологий, к которой нескромно отношу и себя

4:52

Наверное, вся история начинается с института точной механики и вычислительной техники, в котором разрабатывались Эльбрусы

4:54

Наверное, будет разумно связать ранние процессорные разработки института с именем С.А. Лебедева, который разрабатывал МЭСМ в Киеве

4:57

Напомню, что МЭСМ - первая электронно-вычислительная машина в континентальной Европе (по википедии)

4:58

Лебедев в ИТМиВТ начинает работать над серией БЭСМ, на которых рассчитывают баллистику ракет и водородную бомбу (как рассказывали в ЦИАМ)

5:03

Последняя машина серии БЭСМ-6 становится первой советской суперэвм на транзисторах.

5:05

Кстати, про лампы. Бабаян рассказывал байку про ламповые машины: во время испытаний системы ПВО в ЭВМ взорвалась лампа

5:08

В системе была предусмотрена избыточность, поэтому лампу благополучно заменили, и ракета была успешно сбита

5:10

Теперь расскажите, как вы меняли диск в RAID hotswap

5:12

Так вот. БЭСМ-6 была конвейеризованной машиной с виртуальной памятью и обеспечивала 1 MIPS. В 1965 году.

5:16

Как шутил Бабаян, перенос при арифметическом сложении в тех машинах начинался в одной комнате, а заканчивался в другой

5:17

Кстати, американское слово, означающее размещение элементов процессора на чипе (floorplan) тогда носило буквальный смысл

5:18

За БЭСМ-6 последовал Эльбрус-1 и Эльбрус-2, разработанные под руководством Бурцева (про него часто вспоминал Бабаян)

5:22

Эльбрус-2 — это фантастическая машина для СССР конца 70х-начала 80х годов

5:23

Out-of-Order суперскаляр, многопроцессорность, виртуальная память, интегрированный КП, CRC-память, тегированные тип… twitter.com/i/web/status/8…

5:25

Сошлюсь на пост Бориса Мурташина на Хабре: habrahabr.ru/post/313376/

5:26

Для Эльбруса-2 под руководством Пентковского был разработан язык Эль-76. В Эль-76 были исключения, которые назывались просто: “ситуация”

5:29

Прошу прощения: Борис Муратшин

5:38

Эльбрус-2 вместе с Эль-76 (который служил ассемблером) и ОС был сдан госкомиссии в 1985 году. С тех пор он используется в ПВО Москвы

5:40

Разработка Эльбруса-3 началась в 1986 году уже под руководством Бориса Арташесовича Бабаяна

5:42

Идеи Эльбруса-3: EPIC VLIW система команд, продвинутые микроархитектурные фичи (типа асинхронного буфера префетча Array Prefetch Buffer)

5:47

Про Эльбрус издана книга (Ким, Волконский из МЦСТ): mcst.ru/vyshla-v-svet-…

5:50

Как по мне, киллер-фича Эльбруса, которая до сих пор широко не реализована - это контекстная защита (то есть ACL на уровне функций и данных)

5:54

Эльбрус-3 не взлетел отчасти из-за недофинансирования и распада СССР. Бабаян начал искать контакты с западом, который тоже был не прочь

5:58

Бабаян сконтактировался с Дейвом Дитцелом, тогда CTO в Sun Microsystems по архитектуре SPARC и основал МЦСТ как контрактора для Sun

6:00

Пентковский уехал в Америку и сделал Пентиум.

6:01

В каждой шутке доля шутки: Пентковский был архитектором Pentium 3, насколько мне известно, он работал над SSE

6:03

В то же время Бабаян рассказал Дитцелу все свои идеи про VLIW и двоичную трансляцию, и Дитцел основал Трансмету

6:06

Интервью Дитцела, в котором он говорит про свою историю работы с советскими/российскими архитекторами… twitter.com/i/web/status/8…

6:07

Но потом что-то пошло не так и Дитцел перестал контактировать с МЦСТ. В МЦСТ наступили тяжелые времена. Бабаян начал делать E2K (Elbrus2000)

6:11

Маркетинг E2K был потрясающий: в прессе его называли “убийца Merced (Itanium)”, история с Дитцелом указывала на то, что русские не блефуют

6:13

Как мы знаем, Эльбрус-2000 был выпущен и успешно работает (и даже продается за 400 тысяч). Так себе история успеха, но все же.

6:14

Потом в 2004 году Интел решил, что ему не нужно никакого убийцы Итаниума (он его убьет сам), и большая часть коллектива МЦСТ перешла в Интел

6:15

Кстати, первый офис Интел открылся в России в 1993 году, но не Москве, а в… Сарове. Да, рядом с закрытым городом ядерщиков Арзамасом-16

6:19

Что вместе с новостью о работе Sun с коллективом ИТМиВТ породило слухи, что якобы госдеп спонсирует ИТ-компании, чтобы те нанимали русских

6:21

Подтверждений этому я не нашел. Но вообще звучит разумно и дальновидно со стороны госдепа.

6:22

В Интеле коллектив продолжил работать с джавой (опыт работы с Sun оказался не лишним), компиляторами, а также делать R&D в архитектуре

6:25

На этом я закончу свой рассказ об истории московской процессорной школы, потому что здесь начинается настоящее (и будущее) :)

6:27

Спасибо за внимание!

6:28
@backendsecret Если ты про Эльбрус-4С, то уже 200К же стоит ;)
6:33
@backendsecret А можешь рассказать что сейчас происходит с офисами разработчиков intel в России и с базовой кафедро… twitter.com/i/web/status/8…

Кафедра микропроцессорных технологий в МФТИ работает, а про офисы не могу сказать. Тонко намекну, что я переехал, н… twitter.com/i/web/status/8…

6:35
@backendsecret Кстати, у нас сейчас портируют sanitizer с аппаратной поддержкой ;)

Киллер-фича Эльбруса еще заставит мир дрогнуть! twitter.com/alexanius/stat…

6:36
Зря они так. Убийца Итаниума таки вышел в прошлом году.

Правда сам Итаниум прекратили выпускать уже с 15 лет наза… twitter.com/i/web/status/8…

В те темные времена еще не было так очевидно, что Итаниум не выстрелит, у Интела ведь могло хватить инерции перевес… twitter.com/i/web/status/8…

6:41
@backendsecret да речь не о том. Просто спустя 15 лет продавать убийцу Итаниума за 10-кратную цену - как-то запредельно.

Давайте спросим эксперта @alexanius о вопросах ценообразования на Эльбрусы twitter.com/workaround9/st…

6:47
@backendsecret без полноценных команд целочисленной арифметики, производительность средних моделей IBM, скопирована… twitter.com/i/web/status/8…

Схожесть набора команд и копирование - разные вещи, согласитесь? ЕС ЭВМ копировались, в других случаях было заимств… twitter.com/i/web/status/8…

7:03
@backendsecret @alexanius За мелкосерийку нормальный ценник. Просто он в принципе нафиг он никому не нужен, тем бол… twitter.com/i/web/status/8…
7:04

Про идеи Барроуз в Эльбрусе говорил Бабаян. Про идеи Эльбруса в Трансмете говорил Дитцел :) была ли трансмета скопирована с Эльбруса? Нет

7:05
@imdefined @backendsecret И напоследок - на рынке российских разработок быстрее ничего нет и не предвидится. А я по… twitter.com/i/web/status/8…
8:07
@imdefined @backendsecret Вообще нужен там где есть специальные требования. Пытаемся ещё выйти на гос. рынок, но ну… twitter.com/i/web/status/8…

Кмк, адекватная ниша для Эльбрусов. Чтобы следующий Wannacry просто не запустился :) twitter.com/alexanius/stat…

8:09
Ryzen Threadripper is an actual BEAST. (mobile quadcore Ryzen chip on the right) pic.twitter.com/IrxoYHUpql

Он больше итаниума! twitter.com/shen/status/86…

18:48
Ryzen Threadripper will release this summer with a total of 64 PCIe lanes and no PCIe segmentation in the lineup.… twitter.com/i/web/status/8…

64 PCI-e линий - это SLI в 4x конфигурации! twitter.com/oc3d/status/86…

18:50

AMD Threadripper: 16 cores, 32 threads pic.twitter.com/G8zZFRMUs2

18:57

other