Месяц: Февраль 2017

Мы в 1cloud часто рассказываем о технологиях, например, недавно мы писали о машинном обучении и all-flash-массивах хранения данных. Сегодня мы решили поговорить о Big Data. Чаще всего основным определением больших данных считают известные «3V» (Volume, Velocity и Variety), которые ввел аналитик Gartner Дуг Лейни (Doug Laney) в 2001 году.

При этом иногда самым важным считают именно объем данных, что отчасти обусловлено самим названием. Поэтому многие задумываются только о том, данные какого размера можно считать большими. В этой статье мы решили выяснить, что на самом деле важно в больших данных помимо размера, как они появились, почему их критикуют и в каких сферах они успешно применяются.

Читать дальше →
Big Data: большие возможности или большой обман
Source: habrahabr

Мы в 1cloud часто рассказываем о технологиях, например, недавно мы писали о машинном обучении и all-flash-массивах хранения данных. Сегодня мы решили поговорить о Big Data. Чаще всего основным определением больших данных считают известные «3V» (Volume, Velocity и Variety), которые ввел аналитик Gartner Дуг Лейни (Doug Laney) в 2001 году.

При этом иногда самым важным считают именно объем данных, что отчасти обусловлено самим названием. Поэтому многие задумываются только о том, данные какого размера можно считать большими. В этой статье мы решили выяснить, что на самом деле важно в больших данных помимо размера, как они появились, почему их критикуют и в каких сферах они успешно применяются.

Читать дальше →
Big Data: Большие данные или большой обман
Source: habrahabr

Дата инженер в ожидании задачи на спарке.

За годы разработки Wrike у нас накопилось много разрозненной информации о действиях пользователя. Эта информация разбросана по нескольким базам данных, логам, и внешним сервисам, и нам, аналитикам, нужно собрать эти данные вместе, найти в них закономерности и найти ответы на вечные вопросы SaaS’а:

• Почему уходят клиенты?
• Какие пользователи приносят нам деньги?
• Как развивать продукт дальше?

Большинство задач мы решаем с помощью SQL, но запросы к логам через SQL — громоздкие и медленные. Их можно использовать для автоматики или подробной аналитики, но если нужно что-то быстро посмотреть, на подготовку данных уйдёт больше времени, чем на анализ.

Если смотреть приходится много и часто, это вызывает боль, в этой статье мы расскажем, как её преодолеть и как извлечь максимальную пользу из полученных данных.

Читать дальше →
Аналитические данные за пределами аналитики в Wrike
Source: habrahabr

Добрый день! Это второй дайджест материалов по машинному обучению и анализу данных. Несмотря на праздники на этой неделе было много интересного.

События предстоящей недели

1. Семинар СМиГО: Multi-Class Classification: How to Deal with Multi-class Huge Scale Problems Efficiently? 28 февраля.

2. Data science завтрак. 1 марта.

3. Superjob Data Science Meetup. 2 марта.

4. Open & Big Data Hackathon 2017. г. Санкт-Петербург. 3 марта.

5. Data Science Weekend. 3 марта.

6. Moscow Data Science meetup. 3 марта.

7. День открытых данных в Москве. 4 марта.

Учебные курсы, конференции

1. На Физтехе стартует курс “Дополнительные главы машинного обучения”.

2. ML-тренировка. DeepHack RL, Avito BI. Видео.

3. Диалоговые интерфейсы: проблемы и вызовы. Видео.

4. NIPS 2016 Workshop on Adversarial Training. Декабрьская конференция в Барселоне. Видео.

5. Deep Learning Summer School and Reinforcement Learning Summer School.
Читать дальше →
Обзор материалов по машинному обучению № 2 (21 — 27 февраля 2017 года)
Source: habrahabr

От экрана дизайнера к экрану игрока

Карты разрабатывались дизайнером уровней в 2D с помощью редактора Doom Editor (DoomED). LINEDEFS описывали замкнутые секторы (SECTORS в исходном коде), а третье измерение (высота) указывалась посекторно. Первый уровень Doom E1M1 выглядит так:

После завершения работы над картой она нарезается методом двоичного разбиения пространства (Binary Space Partitioning, BSP). LINEDEF рекурсивно выбирались и их плоскости превращались в секущие плоскости. То есть LINEDEF разрезались на сегменты (SEGS) до тех пор, пока не оставались только выпуклые подсектора (SSECTOR в коде).

Интересный факт: И DoomED, и iBSP писались на… Objective-C на рабочих станциях NextStep. Пятнадцать лет спустя тот же язык почти в той же операционной системе выполняет игру на мобильном устройстве! [прим. пер.: в 2010 году Doom вышел на iPhone] Я немного поработал веб-археологом и мне удалось найти исходный код idbsp. На него стоит посмотреть.
Читать дальше →
[Перевод] Анализ исходного кода движка Doom: рендеринг
Source: habrahabr

Сегодня треть компаний Соединенных Штатов использует облако в своей работе. При этом ожидается, что к 2020 году количество облачных потребителей как минимум удвоится. Согласно опросу, в котором приняли участие более 250 тыс. представителей сообщества информационной безопасности, 71% респондентов планируют переходить на облачные технологии или уже активно их используют.

Похожая ситуация наблюдается и в России. Фокус постепенно смещается в сторону облаков, поэтому компаниям приходится уделять внимание вопросам безопасности. В нашем сегодняшнем материале мы бы хотели остановиться на этом моменте поподробнее и привести несколько рекомендаций, которые позволят защитить облачную среду.

Читать дальше →
«Безопасность IaaS»: как защитить облачную инфраструктуру
Source: habrahabr