Обзор рынка труда в области big data и data science

Хабр, привет! По релевантным поисковым запросам нашлось около 1000 вакансий, затем они были вручную отфильтрованы по заголовкам и описаниям, и для подготовки обзора мы использовали 288 активных вакансий в области big data и data science с HeadHunter.


В действительности активных вакансий больше, так как во внимание не принимались другие ресурсы (например, SuperJob, Blastim, социальные сети, сайты компаний). Кроме того, нужно понимать, что это всего лишь снимок текущей ситуации, каждый день вакансии заполняются и появляются новые.
Читать дальше →
Обзор рынка труда в области big data и data science
Source: habrahabr

Внедрение Docker для небольшого проекта в Production ч.2

image

Часть 1


В первой части мы подготовила нашу операционную систему для использования Docker контейнеров.


После того как мы выполнили перезагрузку, мы увидим приглашения к авторизации, но с консоли сервера сделать это будет не возможно, по той причине что авторизация в системе возможна лишь по ключу. А по умолчанию пользователь core не имеет пароля. Конечно его можно установить используя команду:

sudo passwd core

Читать дальше →
Внедрение Docker для небольшого проекта в Production ч.2
Source: habrahabr

Внедрение Docker для небольшого проекта в Production, часть 2

image


Часть 1


В первой части мы подготовили нашу операционную систему для использования Docker контейнеров.


После того как мы выполнили перезагрузку, мы увидим приглашения к авторизации, но с консоли сервера сделать это будет не возможно, по той причине что авторизация в системе возможна лишь по ключу. А по умолчанию пользователь core не имеет пароля. Конечно его можно установить используя команду:

sudo passwd core

Читать дальше →
Внедрение Docker для небольшого проекта в Production, часть 2
Source: habrahabr

Олимпиада МФТИ по электронике для школьников

В этом году впервые состоится Олимпиада МФТИ по электронике для школьников 5-11 классов! Что ожидает участников? Сложные задачи, практическая работа по сборке схем, призы и рекомендации для поступающих!

Задачи для примера: найти общее сопротивление участка цепи, построить таблицу истинности для схемы


Все подробности об олимпиаде вы можете найти в социальной сети для абитуриентов Abitu.Net по адресу: http://abitu.net/event/1970


Олимпиада состоит из двух этапов:

  • Онлайн-этап: 16 декабря — 1 марта 2017 года.
  • Очный этап: конец марта 2017 года

Читать дальше →
Олимпиада МФТИ по электронике для школьников
Source: habrahabr

[Перевод] Повесть о невозможном баге: big.LITTLE и кэширование

Когда кто-то произносит слово многоядерный, то мы бессознательно подразумеваем SMP. Это успешно срабатывало для нас до недавнего времени, пока ARM не объявила о big.LITTLE. Архитектура ARM big.LITTLE является первым массово производимым примером архитектуры AMP, и как мы увидим далее, она поднимает планку сложности многоядерного программирования еще выше.
Читать дальше →
[Перевод] Повесть о невозможном баге: big.LITTLE и кэширование
Source: habrahabr

Обновление JunOS на коммутаторах EX4500 в VirtualChassis — что может пойти не так? Часть 2

Итак, не откладывая дело в долгий ящик, публикую вторую часть приведенного ранее поста. Выражаю благодарность за публикацию — приятно, что статья вас заинтересовала и тема нашла продолжение.


Напомню, что в прошлой части я остановился на том, что после перезагрузки одно из устройств VC не заработало должным образом. Как было справедливо замечено в одном из комментариев, получается, что я после всего этого пошел домой. Нет, первая часть описывает примерно 20 минут моей почти пятичасовой эпопеи. Пристегнулись? Поехали!
Читать дальше →
Обновление JunOS на коммутаторах EX4500 в VirtualChassis — что может пойти не так? Часть 2
Source: habrahabr

Викимарт и “теория бОльшего дурака” в электронной коммерции

Декабрь. Скоро Новый год. Лёгкий мороз. Вечереет. В московском офисе суета сует. Не предновогодняя весёлая. Страшнее. Кто-то объясняет настойчивому раздосадованному клиенту, что офис временно не работает, и просит обратиться в понедельник. Пробежал один из многочисленных менеджеров с системным блоком под мышкой. Следом за ним ещё один — бухгалтер с офисным стулом. Оба одеты, направляются к выходу. Получили “зарплату”. На выходе сталкиваются с бывшим гендиром, как его, Максим… а впрочем неважно. Максим глядит на это безобразие и сразу понимает — всё. Ещё прохаживается по офису, заглядывает в свой бывший кабинет в надежде отыскать какой-то позитив, но возвращается домой даже без “какого-то”. Открывает Фейсбук и пишет: “Всё…”.


Знакомо? Только речь о декабре 2017-го. Или 2020-го. Не имеет значения. И это не Викимарт.


Фото с сайта atner.livejournal.com. Викимарт. Тимбилдинг уже не нужен. Усы нужны для расчёта с кредиторами
Читать дальше →
Викимарт и “теория бОльшего дурака” в электронной коммерции
Source: habrahabr

[Перевод] Семь отличных ускорителей сайтов для Linux и Unix

«Производительность веб-проектов» — это, с точки зрения пользователя, скорость, с которой страницы загружаются и отображаются браузером. Что даёт повышение скорости работы некоего сайта? На самом деле – много всего. Здесь и увеличение продаж, и повышение лояльности клиентов, и улучшение впечатлений пользователей от работы с ресурсом. Скорость, с которой веб-ресурс реагирует на запросы, особенно важна для тех пользователей, которые сидят на медленных каналах связи или занимаются веб-серфингом со смартфонов или планшетов.

Читать дальше →
[Перевод] Семь отличных ускорителей сайтов для Linux и Unix
Source: habrahabr

Firebase: прощание с иллюзиями

Маркетинг стал частью мира разработки. По количеству звездочек на GitHub определяют, какое из похожих друг на друга решений круче, а по количеству твитов можно спрогнозировать, какая технология будет развиваться в ближайшие полгода. В таких условиях мы рискуем стать жертвами хайпа. Я — стал: моё представление о Firebase расходилось с реальностью настолько сильно, что понимание области применения технологии стало для меня настоящим откровением. Я хочу поделиться этим пониманием и тем, как всё-таки использовать Firebase правильно.


Читать дальше →
Firebase: прощание с иллюзиями
Source: habrahabr

Производительность сети малой латентности InfiniBand на виртуальном кластере HPC HUB

areas


Моделирование сложных физических процессов в наши дни рассматривается как важная технологическая возможность многими современными компаниями. Широко используемым сейчас подходом для создания вычислителей, способных рассчитывать сложные модели, является создание кластерных систем, где вычислительный узел представляет собой сервер общего назначения, подключенный к сети малой латентности и управляемый своей собственной ОС (как правило, из семейства GNU/Linux).


Введение виртуализационного слоя в системное ПО вычислительных кластеров, позволяет в течение нескольких минут создавать “виртуальный кластер”. Такие виртуальные кластера в рамках одной OpenStack инфраструктуры являются абсолютно независимыми. Пользовательские программы внутри них могут изменяться так, как нужно пользователю без каких-либо согласований с кем-либо, а логические устройства, на которых находятся пользовательские данные, недоступны другим виртуальным кластерам.


Поддержка сети малой латентности виртуализационными решениями представляет собой отдельную сложную проблему. Для прикладных программ в большинстве случаев современная виртуализация на основе KVM приводит к минимальным потерям вычислительной мощности (<1%). Однако специализированные тесты сетей малой латентности показывают накладные расходы от виртуализации не более 20% на операциях синхронизации.
Читать дальше →
Производительность сети малой латентности InfiniBand на виртуальном кластере HPC HUB
Source: habrahabr