Всем привет 👋 на этой неделе с вами я @ifesdjeen. Начнём с баз данных? Если интересно узнать про on disk storage и Cassandra - жду вопросов!

В двух словах о себе: живу в Мюнхене, работаю разработчиком баз данных, коммитер в Apache Cassandra, пишу на Clojure с ~2011, учу алгоритмы.

Вопросов пока не много, давайте тогда начнём с Seminal Papers в Database Systems. Например с LSM trees: paperhub.s3.amazonaws.com/18e91eb4db2114… кто читал?

Кто интересуется Time Series? Кому с Graphite тесно живётся?

Наверное самый известный и читаемый пейпер про распределённые системы: Dynamo, Amazon's Highly Availabe Store cloudgroup.neu.edu.cn/papers/cloud%2…

Одной из главных мыслей пейпера является CAP Theorem (consistency, availability, partition tolerance) en.m.wikipedia.org/wiki/CAP_theor…

также введение commit log (node-local)/ hinted handoffs (partitioned state) для availability, использование gossip для распределения данных

А есть среди читателей такие кто пейперы читает вообще?

Как насчёт функционального программирования? Есть Clojure/Haskell любители?

Или formal methods / model checkers? Agda, Idris, Isabelle / Spin, TLA+?

@backendsecret я интересуется, но мы используем prometheus

@backendsecret Почитываю на выходных SICP, иногда на 4Clojure решаю задачки.

@backendsecret А ты почитываешь? Если да - где находишь, а то в последнее время часто ищу оригинальные источники ин… twitter.com/i/web/status/8…

@alexcleac Все зависит от темы. Есть темы где уже есть наработки, есть где спрашиваю у знающих людей. @adriancolyer… twitter.com/i/web/status/8…

@backendsecret я читаю!

Окей, значит Dynamo Paper объясняет как подойти к разработке базы данных с точки зрения распределённых систем: решает проблемы availability

и объясняет что делать если одна из нод падает или не может присоединиться к остальному кластеру.

LSM Paper рассказывает о внутренней организации файлов в базе данных и об общей архитектуре: memory tables / sorted string disk tables.

Следующий пейпер: SEDA, Staged Event Driven Architecture: cs.cornell.edu/courses/cs614/… как подойти к проектированию потоков и обработке запросов

@backendsecret Интересует что-нибудь с кластеризацией и тэгами и opensource

@backendsecret Юзаю по мелочи influxdb. Большого объёма данных нет, для статистики вполне хорошо подходит, grafana… twitter.com/i/web/status/8…

Продолжая тему распределённые системы 101, кто слышал об FLP Impossibility и Византийских Генералах?

@backendsecret Бывает, когда надо в тему провалиться, например.
Распределенку начал читать после Лэмпортовских рабо… twitter.com/i/web/status/8…

Проблема заключается в том что две Византийские армии, готовые напасть на город с двух сторон, должны прийти к согласию по поводу времени.

Они могут коммуницировать с помощью гонцов, но гонец может не дойти до дружественной армии (может быть перехвачен). Таким образом,

два генерала не могут быть уверены что другая сторона получила их уведомление (так как гонец с подтверждением может быть перехвачен)

Эта проблема послужила началом теории распределённых систем и доказала необходимость "консенсуса", или нейтральной стороны для подтверждений

@backendsecret @alexcleac @adriancolyer Есть еще такой вот твиттер аккаунт twitter.com/onepaperperday. Там порою годные бумаги бывают.

На этой неделе @backendsecret обещает быть особенно интересным

любителям Clojure задачка: каким образом написать свой if макрос без использования cond, and, or и других логических макросов?

Решения на Haskell и других ленивых языках принимаются также.

@backendsecret чем закончилось?

@1101_debian Закончилось все тем что доказали что договориться им невозможно и ввели понятие FLP Impossiblity. groups.csail.mit.edu/tds/papers/Lyn…

@1101_debian Более простыми словами: the-paper-trail.org/blog/a-brief-t…

После FLP Impossibility и понятия того что консенсус между двумя процессами не возможен разработали консенсус алгоритмы для нескольких

участников. Lamport разработал Paxos: lamport.azurewebsites.net/pubs/lamport-p…

Который использовался в том числе и Dynamo, и в Cassandra.

@backendsecret \c \x \y . c x y
true и false интерпретируются как К и К* комбинаторы
а насчёт более простого - заинтриговал)

@backendsecret В треде говорят "clojure's dying more than it is growing" - как обстоят дела на твой взгляд?
twitter.com/ZackMaril/stat…

Ссылки за сегодня (будут обновляться по мере поступления): gist.github.com/ifesdjeen/4af4…

Вопрос теоретического характера в распределенных системах: как реализовать Exactly-Once-Delivery (доставка сообщения _точно_ один раз)?

Например, как пытались реализовать это в TCP/IP и возможно ли реализовать это самому поверх скажем UDP?

@backendsecret вот интересная реализация: Apache Flink - data-artisans.com/blog/high-thro…, правда в контесте stream processi… twitter.com/i/web/status/8…

В распределенных системах невозможно добиться Exactly Once Delivery. Возможно только сделать _At Least Once_ Delivery.

Что по сути значит Redelivery/Retransmit (повторные попытки доставки сообщений) и Таймауты.

Можно только гарантировать что сообщение было доставлено хотя бы один раз, из-за надобности получения уведомления о получении.

@backendsecret чем не устраивает at-most-once?

@kgorin Например: в случае с банком мне бы хотелось чтобы снятия денег были гарантировано 1 раз. Записать снятие два раза не допустимо.

@kgorin То есть для этого нужно exactly once _processing_ или idempotent processing. Например записывать id всех полученых сообщений.

Возвращаясь к теме Dynamo и как строить Базу Данных, остается вопрос: каким образом распространять информацию между нодами?

Если все будут говорить со всеми чтобы удостовериться что информация была распространена - в больших масштабах такое работать не будет.

Чтобы избежать этой проблемы были придуманы Gossip Algorithms. Один из первых пейперов на тему: Epidemic Algorithms pdfs.semanticscholar.org/49ed/15db181c7…

@backendsecret At-least-once + идемпотентность?

Разминка: чем отличаются Sorted Files (LSM-Trees) от B+Trees (допустим в обоих случаях write-only workload)?

Какие гарантии мы идеем в плане производительности (Big-O) операций: запись и чтение.

Sorted Files быстрее писать. B+Trees дадут лучшее результаты при чтении. Примерно поэтому Sorted Files часто используют для primary storage,

а B+Trees для secondary index. В этой связи, отличный пейпер на тему Concurrent Cache Oblivious B-Trees people.cs.georgetown.edu/~jfineman/pape…

Cache Oblivious подразумевает что алгоритм будет производительным и дружественным по отношению к CPU Cache даже не зная его размера.

Кстати, прочтя и ориентируясь в хотя бы половине упомянутых на этой неделе тем поможет пройти собеседование в <big cool tech companies>

Было бы классно если бы я научился согласовывать предложения по-русски. Если видите ошибки-не судите строго, язык не родной, использую редко

Поговорим об I/O? Какие бывают виды I/O с точки зрения операционной системы и/или платформ?

Самый простой вид I/O это open/read/write/close syscalls, где запись и чтения производятся с помощью буфера и дескриптора файла.

Очевидно, что эти вызовы синхронны (блокируют поток до завершения операции) и таким образом невозможно работать с несколькими дескрипторами

Именно поэтому были передуманы другие способы ввода-вывода, и все (а именно - I/O Multiplexing) началось с select().

select() - по прежнему синхронная операция, но она позволяет запросить ожидать событий на нескольких дескрипторах.

Альтернативой select() является poll(), не-блокирующий вызов, который позволяет есть ли дескрипторы готовые для чтения или записи.

К сожалению, ни select() ни poll() не подходят для решения c10K и работы с большим количеством дескрипторов

поэтому появились epoll (Linux) и kqueue (BSD), неблокирующие (async) API для работы с большим количеством дескрипторов / соединений.

@backendsecret Почему в линуксе их не сделали асинхронными?

@truetobetrue сделали, только позже(epoll, event-driven poll).Вообще современные I/O APIs очень сильно устарели. Бы… twitter.com/i/web/status/8…

epoll, не умеет доставлять несколько событий одного типа. Есть еще несколько проблем, но лучше почитать idea.popcount.org/2017-02-20-epo…

@backendsecret Kafka планирует реализовать exactly-once. cwiki.apache.org/confluence/dis…

Но я если честно плохо понимаю ро… twitter.com/i/web/status/8…

@Arhelmus Exactly Once Delivery невозможно. То что они делают называется Exactly Once Processing.

@backendsecret Но в результате же, это всеравно решает проблему того-же банка, где транзакция не должна быть применена дважды, да?

@Arhelmus конечно! Просто exactly once delivery стало своего рода маркетинговым приемом) все не умеют а мы молодцы;… twitter.com/i/web/status/8…

@backendsecret IIRC kqueue не только для файлов, но и для других ивентов (таймеры, fork/exec events). Что с epoll? Только I/O?

Окей тви, на сегодня все. Пишите вопросы, или я продолжу постить ссылки на статьи и пейперы. Cегодня у меня только… twitter.com/i/web/status/8…

Привет читателям @backendsecret! На этой неделе с вами @fads93_zombie

Немного о себе: учился на кафедре микропроцессорных технологий МФТИ, 4 года назад попал на стажировку в московский офис Интела

Работал в проекте Бабаяна, моя специализация - трансляторы, но не языковые :)

Хочу начать с того, что в Москве очень сильная школа процессорных технологий, с центрами в МЦСТ, ИТМиВТ, Интеле и на кафедрах МФТИ

Нельзя не сказать про Эльбрусы - часто рассматривали на лекциях на кафедре, мое впечатление - для своего времени это была передовая система

Буду только рад, если МЦСТ найдёт средства на дальнейшую разработку. Haters gonna hate!

Ах да, я веду паблик вконтакте с новостями процессорной индустрии без инсайдов
vk.com/pipelinestall

Давайте начнём интерактив. Помогите следопыту Даше определить, с какой аудиторией она имеет дело

Шёл 2017 год...

Обход графа в глубину...

Я просто не мог удержаться

В игрули я шпилю на...
(выпуск же про процессоры)

Его было не остановить @backendsecret pic.twitter.com/2qd3ZnS4at

Прошу вас подумать над вопросами, пока я ненадолго отключусь :)

Русский след в интеле, как с аэромеха попасть на микропроцессоры, зеленее ли трава в долине, и все, что может вас интересовать

@backendsecret @alexanius А я думал codesign это что-то дуальное к design.

Я не могу быть полностью объективен, но в практических аспектах образование на уровне. МФТИ+базовая кафедра в Интеле - non est penis canina

Сейчас производители процессоров хвастаются использованием нейронных сетей в предсказателе переходов (AMD, Samsung)

А знали ли вы, что в процессорах Интел начиная с Core 2 есть LSD-режим?

К диэтиламиду лизергиновой кислоты он не имеет отношения.Loop Stream Detector позволяет отключить часть фронтенда и… twitter.com/i/web/status/8…

@backendsecret > Итаниум сдох
> Эльбрус не нужен
Казалось бы, можно расслабиться. Но тут внезапно
> NVIDIA Denver
> Qualcomm QDSP6

Не зря же я на госе по физике брал вопрос по выбору про алгоритм Дойча, в самом деле

Будучи стажером в московском интеле, я исследовал поведение и свойства программ

В одном из таких исследований я получил подтверждение принципа Парето: 80% времени исполнения приходится на 20% кода

Объяснение этому феномену очень простое: программы действительно проводят большую часть времени в циклах :)

Оптимизируйте вложенные циклы, друзья!

с другой стороны, преждевременная оптимизация есть зло - то, что я назвал боттлнеком, может таковым не быть

В частности, вызовы виртуальных функций (и косвенные переходы вообще) хорошо предсказываются

Всегда бомбит с постов, где пишут про их чудовищные накладные расходы

@1101_debian @backendsecret Только файловые дескрипторы. В Linux есть много интересных вещей, которые работают чере… twitter.com/i/web/status/8…

@backendsecret @Arhelmus А где-нибудь уже exactly once processing есть?

@nwalkr @Arhelmus У всех в основном "roll your own" насколько мне известно, только у них есть встроеные семантики: engineering.sendence.com/2017/03/hello-…

Доброе утро! Продолжим экскурс в Distributed Systems и Databases? Из вопросов я понял что есть интерес к теме Deutschland ещё?

В двух словах о Мюнхене: чудесный город, отличная система общественного транспорта, много велосипедных дорожек, недалёко от Альп.

Цены достаточно высокие по сравнению с остальной Германией. Работы в IT очень много и на любой вкус.

Много митапов, сегодня вечером будет Munich NoSQL на темы Graph Databases / Trending Algorithms. На прошлой был Munich Lambda по F# и F*.

Одно из местных развлечений: Eisbach Wave 🌊 где можно прокатиться прямо в городе: река выходит из-под зданий и обра… twitter.com/i/web/status/8…

В IT oчень много людей из разных стран. Много из Польши, Белоруссии, Украины и России. Многие говорят по английски, немецкий не учат.

Получение визы и постоянного вида на место жительства гораздо проще чем во многих местах. ПМЖ при желании можно сделать за 2 года.

Проект БД из Carnegie Mellon, для обучения: можно написать свои функции, Join, индексы, 15721.courses.cs.cmu.edu/spring2017/syl…
15721.courses.cs.cmu.edu/spring2016/syl…

Также мы говорили о CAP и Network Partitions. Когда речь идет о Partition Tolerance, нельзя не упомянуть Jepsen: aphyr.com/posts/281-jeps…

Jensen - toolset для симуляции и анализа поведения баз данных и message queues в условиях нестабильных сетей и network partitions.

И последняя ссылка в этом batch’e: Fallacies of Distributed Computing, или почему нужен High Availability: en.wikipedia.org/wiki/Fallacies…

Тулинг приятный, разобраться просто. Для большинства достаточно почитать посты Кайла о его тестов с помощью Jepsen.

Для тех кто пишет свою базу данных или процессор потоков (stream processing tool), конечно Jepsen очень полезная вещь.

Хотя я бы рекомендовал посмотреть также на netem чтобы проверять не только network partitions/message drops/delays а также retransmission

packet corruption и всякие другие сценарии: wiki.linuxfoundation.org/networking/net…

Например follow up по поводу тестов Cassandra с помощью Jepsen: datastax.com/dev/blog/testi…

@backendsecret btw - Вот здесь написали решения этой задачи на Go в blockchain стиле с эффективным восстановлением… twitter.com/i/web/status/8…

@backendsecret @krems5 во самая крутая книжка по базам данных( и распределенным тоже) shop.oreilly.com/product/063692…

Один из самых подробных постов тему распределенных систем: What we talk about when we talk about Distributed Systems alvaro-videla.com/2015/12/learni…

О какой части баз данных вы бы хотели узнать больше?

На Munich Lambda Meetup в @jetbrains pic.twitter.com/uk4HypYGqr

Пока что Consistency/Consensus лидирует в списке вопросов. Кто работает с "eventually consistent" базами? Что вы используете?

В eventually consistent базах важны две вещи: Replication Factor (RF), Read Consistency Level(RC), Write Consistency Level (WC).

RF - сколько копий данных будет сделано в системе.
RC/WC - сколько реплик должно ответить чтобы запрос был успешным.

RC/WC могут быть численными либо, скажем Quorum (большинство). Чем чревато устанавливать RC или WC равным RF?

Если RC равен RF, в случае если даже одна реплика не может ответить (таймаут, unavailability), то весь запрос будет отклонён.

О read/write consistency levels и replication factor можно почитать тут: teddyma.gitbooks.io/learncassandra…

Если во время записи реплика была недоступна, происходит Hinted Handoff. Координатор (нода на которую пришёл запрос) примет запись "вместо".

Когда реплика вернётся в статус UP, координаторы пришлют все сохранённые записи. Больше по этой теме: docs.datastax.com/en/cassandra/2…

Для чего нужны tombstones и gc_grace? Почему недостаточно просто удалить запись с диска и забыть?

LSM-trees (реализация sstable) immutable. Во время чтения если строка находится в нескольких sstable, происходит merge (reconciliation)

Значит sstable обязан иметь запись об удалении. Во вчерашнем пейпере Epidemic Algoritms это назвали "dormant certificates".

Вторая причина - если реплика отсутствовала, ей нужно "сообщить" о том, что запись была удалена. Для этого нужно об этом иметь запись самому

Больше информации на тему можно найти здесь: thelastpickle.com/blog/2016/07/2…

Допустим, две реплики имеют разные записи (после проблем с сетью). Каким образом узнать _какие именно_ записи нужно синхронизировать?

О том что есть конфликт можно узнать с помощью checksum данных: если суммы не совпадают, нужно синхронизировать.

Конечно хорошо бы было узнать какие именно сегменты не совпали. Для этого используют Merkle Trees: en.m.wikipedia.org/wiki/Merkle_tr…

Следующая проблема: создали таблицу. В кластере 300 нод. Каким образом сообщить всем нодам о том что была создана таблица?

@backendsecret Бомбить-то должно с того, что где виртуальный вызов -- там с большой вероятностью "прощай инлайн", если только не (D)PGO.

@backendsecret Но ведь программисты на С/С++ -- это ого-го! Они все прочитали Стандарт, глубоко знают свой тулчейн… twitter.com/i/web/status/8…

@backendsecret Я когда девиртуализацию запилил, у меня 473.astar ускорился в 1.5 раза ;) Проблема, как уже сказали… twitter.com/i/web/status/8…

Тупая железка - говорят программисты, когда что-то не работает.
Тупые программисты - говорят железячники

Про предсказание переходов, наверно, стоит поговорить отдельно. Пост на SO с очень наглядной аналогией для понимания stackoverflow.com/a/11227902

IntelのCPUの早見表…。 pic.twitter.com/jLGB1836ky

Хотя сам я долгое время был гентушником, что пришлось кстати в моей работе

Тот случай, когда часы наблюдений за компиляцией какого-то дерьма делают тебя экспертом в компиляторах

А кстати
На работе я пользуюсь

Одно интересное наблюдение: у архитекторов, которые проводят эксперименты и обрабатывают статистику, пользуется популярностью Jupyter NB

если в московском офисе я был одним из немногих, кто владел pandas'ом, то в штатах люди основательно взяли на вооружение этот инструмент

А разработчики бэкенда пользуются средствами для анализа данных?

IPC - instructions per clock. IPC зависит от приложения и микроархитектуры процессора, борьба за повышение IPC ведется с обоих фронтов

Кстати, пиковый теоретический IPC Эльбруса - 23, однако большинство задач не обладают таким параллелизмом, чтобы загрузить все устройства

Иногда в новостях пишут: “Zen is 6-wide OOO CPU”, “Denver - 7-wide in-order”. Про микроархитектуру Intel и AMD пишет Agner Fog

agner.org/optimize

Я не специалист по uncore :)

То есть IPC зависит от ILP задачи (instruction-level parallelism), ширины машины и способности машины извлекать параллелизм

IPC: Интел больше вкладывает как в оптимизацию задач под свои процессоры, так и в ширину исполнения и способность CPU извлекать параллелизм

Ширина исполнения определяется количеством инструкций, проходящих в такт по тракту конвейера

Способность извлекать параллелизм out-of-order процессоров напрямую связана с размером окна переупорядочивания (ROB, RS, Load/Store Buffer)

Хороший всеобъемлющий учебник про архитектуру и дизайн процессоров - Харрис и Харрис в русском переводе silicon-russia.com/2016/01/04/har…

Не entry-level: технионовский курс про микроархитектуру от архитекторов Core webcourse.cs.technion.ac.il/234267/Winter2…

Нашел! Запись трехдневного тренинга по архитектуре в Яндексе от моего коллеги Александра Титова (видео+слайды):
linkedin.com/pulse/3-day-cp…

@backendsecret А единственный способ реально оценить производительность - замерить на конкретной задаче, под которую железка покупается

Если честно, я так и не нашел ответа на вопрос зачем это нужно

Pentium 5, Core i9 - как каденция в музыке, которая наступает после напряженного ожидания. Теперь все расслабятся :/

Хорошая вводная статья на тему Gossip Protocols от уже упомянутого @old_sound alvaro-videla.com/2015/12/gossip…

@backendsecret Telenovela Protocol with Natalia Oreiro!

@backendsecret Никак? At least/most же. А вообще все хотят, да. Вот например medium.com/some-tldrs-ru/…

Со Storage все немного проще чем с Consistency. Cassandra использует два вида хранилищ: Commit Log и SSTable.

Во время записи данные попадают сперва в Memtable (находятся в RAM), обычно реализованы как SkipList или BTrees (для point и range queries)

Если интересно, развернутая статья по поводу SkipLists: citeseerx.ist.psu.edu/viewdoc/downlo…

После того как размер таблицы в памяти заходит за конфигурируемую отметку, таблица записывается на диск в виде SSTable(sorted string table)

Этот процесс называется memtable flush. Если нода по каким-то причинам падает до того как memtable записан на диск, при перезагрузке будет

произведена восстановка данных из CommitLog. CommitLog это sequential file, в который записываются данные без сортировки, который содержит

лог операций над данными. Он используется для того чтобы избежать потерь данных. В двух словах можно почитать тут docs.datastax.com/en/cassandra/3…

Более подробный talk (Read Path Internals) можно посмотреть здесь youtube.com/watch?v=HuDJBT…

Cassandra записывает данные в сортированные файлы прямо из памяти, то есть скоро их становится очень много (плюс в них будут tombstones).

Каким образом избавиться от tombstones (вспоминаем grace_period) со вчера? И как уменьшит количество SSTables?

Процесс называется Compaction: он читает SSTables с диска и пишет данные из них в новый SSTable, объединяя строки из нескольких файлов.

Неплохой гайд по поводу compaction strategies можно найти здесь: instaclustr.com/blog/2016/01/2…

Чтобы читать на диске только те таблицы в которых _вероятнее всего_ будет находится запись, используют Bloom Filter.

Вероятностная структура данных, которая может точно ответить отрицательно на вопрос есть ли запись в таблице,но положительный ответ не точен

То есть в результате последующего поиска на диске может оказаться что записи в таблице нет.

Более подробно (с иллюстрациями и примерами) о Bloom Filter можно почитать здесь: jasondavies.com/bloomfilter/

Отличная статья о понятии времени в распределенных системах: There’s no now queue.acm.org/detail.cfm?id=…

Не совсем по теме недели, но интересная статья: Working at Netflix: 2017 by Brendan Gregg brendangregg.com/blog/2017-05-1…

И ещё одна больше high-level идеи, Infrastructure behind the Twitter: Scale: blog.twitter.com/2017/the-infra…

По сегодняшней теме: детали реализации Cassandra 3.x Storage Engine thelastpickle.com/blog/2016/03/0…

Более интуитивная статья на тему Log Structures Merge Trees: benstopford.com/2015/02/14/log…

О конфузной формулировке CAP и ACID где слово Consitent значит разные вещи: thislongrun.blogspot.de/2015/03/the-co…

@backendsecret лучше уже "сбивающей с толку"

И напоследок, тоже не совсем в тему, но в за прошлые несколько лет пришлось много работать с оптимизацией производительности.

Было интересно разобраться с операционными системами. Нашёлся хороший курс по OS с заготовками для тестовых заданий: ops-class.org

Очень стоящий курс. После него становится легче ориентироваться в любом ядре, поскольку понимаешь toolchain, структуру и стиль кода ядер.

If you have just two takeaways from this week, let it be ops-class.org and 15721.courses.cs.cmu.edu/spring2017/pro… пройдите, останетесь довольны!

По техническим причинам я вынужден эту неделю остановить после трёх дней. Перекопал свой архив ссылок, вспомнил много интересного.

Надеюсь материал был всем полезен. Напомню что все ссылки будут структурированы и выложены в gist: gist.github.com/ifesdjeen/4af4…

Напомню, что с Вами был @ifesdjeen. Приятно было со всеми пообщаться и всего хорошего!

Доброе утро, разработчики бэкенда! Я обещал поговорить о московской школе процессорных технологий, к которой нескромно отношу и себя

Наверное, вся история начинается с института точной механики и вычислительной техники, в котором разрабатывались Эльбрусы

Наверное, будет разумно связать ранние процессорные разработки института с именем С.А. Лебедева, который разрабатывал МЭСМ в Киеве

Напомню, что МЭСМ - первая электронно-вычислительная машина в континентальной Европе (по википедии)

Лебедев в ИТМиВТ начинает работать над серией БЭСМ, на которых рассчитывают баллистику ракет и водородную бомбу (как рассказывали в ЦИАМ)

Последняя машина серии БЭСМ-6 становится первой советской суперэвм на транзисторах.

Кстати, про лампы. Бабаян рассказывал байку про ламповые машины: во время испытаний системы ПВО в ЭВМ взорвалась лампа

В системе была предусмотрена избыточность, поэтому лампу благополучно заменили, и ракета была успешно сбита

Теперь расскажите, как вы меняли диск в RAID hotswap

Так вот. БЭСМ-6 была конвейеризованной машиной с виртуальной памятью и обеспечивала 1 MIPS. В 1965 году.

Как шутил Бабаян, перенос при арифметическом сложении в тех машинах начинался в одной комнате, а заканчивался в другой

Кстати, американское слово, означающее размещение элементов процессора на чипе (floorplan) тогда носило буквальный смысл

За БЭСМ-6 последовал Эльбрус-1 и Эльбрус-2, разработанные под руководством Бурцева (про него часто вспоминал Бабаян)

Эльбрус-2 — это фантастическая машина для СССР конца 70х-начала 80х годов

Out-of-Order суперскаляр, многопроцессорность, виртуальная память, интегрированный КП, CRC-память, тегированные тип… twitter.com/i/web/status/8…

Сошлюсь на пост Бориса Мурташина на Хабре: habrahabr.ru/post/313376/

Для Эльбруса-2 под руководством Пентковского был разработан язык Эль-76. В Эль-76 были исключения, которые назывались просто: “ситуация”

Прошу прощения: Борис Муратшин

Эльбрус-2 вместе с Эль-76 (который служил ассемблером) и ОС был сдан госкомиссии в 1985 году. С тех пор он используется в ПВО Москвы

Разработка Эльбруса-3 началась в 1986 году уже под руководством Бориса Арташесовича Бабаяна

Идеи Эльбруса-3: EPIC VLIW система команд, продвинутые микроархитектурные фичи (типа асинхронного буфера префетча Array Prefetch Buffer)

Про Эльбрус издана книга (Ким, Волконский из МЦСТ): mcst.ru/vyshla-v-svet-…

Как по мне, киллер-фича Эльбруса, которая до сих пор широко не реализована - это контекстная защита (то есть ACL на уровне функций и данных)

Эльбрус-3 не взлетел отчасти из-за недофинансирования и распада СССР. Бабаян начал искать контакты с западом, который тоже был не прочь

Бабаян сконтактировался с Дейвом Дитцелом, тогда CTO в Sun Microsystems по архитектуре SPARC и основал МЦСТ как контрактора для Sun

Пентковский уехал в Америку и сделал Пентиум.

В каждой шутке доля шутки: Пентковский был архитектором Pentium 3, насколько мне известно, он работал над SSE

В то же время Бабаян рассказал Дитцелу все свои идеи про VLIW и двоичную трансляцию, и Дитцел основал Трансмету

Интервью Дитцела, в котором он говорит про свою историю работы с советскими/российскими архитекторами… twitter.com/i/web/status/8…

Но потом что-то пошло не так и Дитцел перестал контактировать с МЦСТ. В МЦСТ наступили тяжелые времена. Бабаян начал делать E2K (Elbrus2000)

Маркетинг E2K был потрясающий: в прессе его называли “убийца Merced (Itanium)”, история с Дитцелом указывала на то, что русские не блефуют

Как мы знаем, Эльбрус-2000 был выпущен и успешно работает (и даже продается за 400 тысяч). Так себе история успеха, но все же.

Потом в 2004 году Интел решил, что ему не нужно никакого убийцы Итаниума (он его убьет сам), и большая часть коллектива МЦСТ перешла в Интел

Кстати, первый офис Интел открылся в России в 1993 году, но не Москве, а в… Сарове. Да, рядом с закрытым городом ядерщиков Арзамасом-16

Что вместе с новостью о работе Sun с коллективом ИТМиВТ породило слухи, что якобы госдеп спонсирует ИТ-компании, чтобы те нанимали русских

Подтверждений этому я не нашел. Но вообще звучит разумно и дальновидно со стороны госдепа.

В Интеле коллектив продолжил работать с джавой (опыт работы с Sun оказался не лишним), компиляторами, а также делать R&D в архитектуре

На этом я закончу свой рассказ об истории московской процессорной школы, потому что здесь начинается настоящее (и будущее) :)

Спасибо за внимание!

@backendsecret Если ты про Эльбрус-4С, то уже 200К же стоит ;)

@backendsecret @alexanius За мелкосерийку нормальный ценник. Просто он в принципе нафиг он никому не нужен, тем бол… twitter.com/i/web/status/8…

Про идеи Барроуз в Эльбрусе говорил Бабаян. Про идеи Эльбруса в Трансмете говорил Дитцел :) была ли трансмета скопирована с Эльбруса? Нет

@imdefined @backendsecret И напоследок - на рынке российских разработок быстрее ничего нет и не предвидится. А я по… twitter.com/i/web/status/8…

AMD Threadripper: 16 cores, 32 threads pic.twitter.com/G8zZFRMUs2