Опубликовано

Распределённый xargs, или Исполнение гетерогенных приложений на Hadoop-кластере

enter image description here

Привет, Хабр!

Меня зовут Александр Крашенинников, я руковожу DataTeam в Badoo. Сегодня я поделюсь с вами простой и элегантной утилитой для распределённого выполнения команд в стиле xargs, а заодно расскажу историю её возникновения.

Наш отдел BI работает с объёмами данных, для обработки которых требуются ресурсы более чем одной машины. В наших процессах ETL в ход идут привычные миру Big Data распределённые системы Hadoop и Spark в связке с OLAP-базой Exasol. Использование этих инструментов позволяет нам горизонтально масштабироваться как по дисковому пространству, так и по CPU/ RAM.

Безусловно, в наших процессах ETL существуют не только тяжеловесные задачи на кластере, но и машинерия попроще. Широкий пласт задач решается одиночными PHP/ Python-скриптами без привлечения гигабайтов оперативной памяти и дюжины жёстких дисков. Но в один прекрасный день нам потребовалось адаптировать одну CPU-bound задачу для выполнения в 250 параллельных инстансов. Настала пора маленькому Python-скрипту покинуть пределы родного хоста и устремиться в большой кластер!

Читать дальше →
Распределённый xargs, или Исполнение гетерогенных приложений на Hadoop-кластере
Source: habrahabr

Опубликовано

[Из песочницы] Установка MLDonkey и DC++ плагина для него

Поставил я себе недавно задачу — создать в локальной сети бота, который был бы установлен на само́м серверном компьютере, и управлялся бы, в идеале, через web-интерфейс, но можно и по SSH. Задача бота — круглосуточно сидеть на раздаче. При попытке найти такой DC++ клиент, я с огорчением обнаружил, что продуктов отвечавших моим требованиям пока нет. Ncdc и MicroDC2 так и не удалось запустить как демон, да и работали они со скрипом. В сторону MLDonkey не смотрел т.к. рассматривал его скорее как альтернативу торрент-клиенту Transmission, чем как клиент сетей DC++. А зря! Читать дальше →
[Из песочницы] Установка MLDonkey и DC++ плагина для него
Source: habrahabr

Опубликовано

Пост №2989944

Автор: sl33pyl1nx

Развернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»/post/2989944″ }, «headline»: «машина :: шакил о’нил :: Джон Сина :: маленькая», «image»: { «@type»: «ImageObject», «url»: «http://img1.joyreactor.cc/pics/post/full/%D1%88%D0%B0%D0%BA%D0%B8%D0%BB-%D0%BE%27%D0%BD%D0%B8%D0%BB-%D0%94%D0%B6%D0%BE%D0%BD-%D0%A1%D0%B8%D0%BD%D0%B0-%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%B0-%D0%BC%D0%B0%D0%BB%D0%B5%D0%BD%D1%8C%D0%BA%D0%B0%D1%8F-3665273.jpeg», «height»: 1079, «width»: 1920 }, «datePublished»: «2017-02-15T12:36:04+03:00», «dateModified»: «2017-02-15T12:36:04+03:00», «author»: { «@type»: «Person», «name»: «sl33pyl1nx» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «» }
Комментировать 
Пост №2989944
Source: Joyreactor

Опубликовано

Установка Zabbix Agent на VCSA 6.5

Не так давно VMware выпустила VCSA 6.5, которую рекомендовала к использованию, вместо традиционной инсталляции vCenter на платформу Windows. Соответственно у некоторых мог появиться вопрос, а как мониторить VCSA?


Инфа под катом: Как собрать и установить Zabbix Agent на VCSA + Немного информации об устройстве VCSA.
Читать дальше →
Установка Zabbix Agent на VCSA 6.5
Source: habrahabr

Опубликовано

Пост №2989928

Автор: Ponyzbs

Странно что не негрРазвернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»/post/2989928″ }, «headline»: «Странно что не негр / оружие :: патроны», «image»: { «@type»: «ImageObject», «url»: «http://img1.joyreactor.cc/pics/post/full/%D0%BE%D1%80%D1%83%D0%B6%D0%B8%D0%B5-%D0%BF%D0%B0%D1%82%D1%80%D0%BE%D0%BD%D1%8B-3665253.jpeg», «height»: 1080, «width»: 1080 }, «datePublished»: «2017-02-15T12:24:17+03:00», «dateModified»: «2017-02-15T12:24:17+03:00», «author»: { «@type»: «Person», «name»: «Ponyzbs» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «» }
Комментировать 
Пост №2989928
Source: Joyreactor

Опубликовано

Цитата #443549

С Geektimes:
melchermax
Я так попытался напугать мать свох детей: будучи на службе, отправил на печать с сотового текст про захват мира роботами… Думал, она прочтёт и поверит, так как про сетевые возможности принтера не знала. А она вечером флегматично так: там принтер фигню печатает, я выбрасывть не стала, погляди. Обидно
Цитата #443549
Source: bash

Опубликовано

Цитата #443548

xxx: …так и при бегстве Карла под ним двух лошадей убили. Я думаю, что это как-то связано с особенностями боя и оружия

yyy: Это связано с особенностями лошади! Она большая, поэтому в нее прилетает чаще.
Цитата #443548
Source: bash

Опубликовано

Пост №2989911

Автор: sl33pyl1nx

Развернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»/post/2989911″ }, «headline»: «длинная картинка :: гремми :: твиттер :: награда :: перевел сам», «image»: { «@type»: «ImageObject», «url»: «http://img0.joyreactor.cc/pics/post/full/%D1%82%D0%B2%D0%B8%D1%82%D1%82%D0%B5%D1%80-%D0%B3%D1%80%D0%B5%D0%BC%D0%BC%D0%B8-%D0%BD%D0%B0%D0%B3%D1%80%D0%B0%D0%B4%D0%B0-%D0%B4%D0%BB%D0%B8%D0%BD%D0%BD%D0%B0%D1%8F-%D0%BA%D0%B0%D1%80%D1%82%D0%B8%D0%BD%D0%BA%D0%B0-3665236.jpeg», «height»: 2061, «width»: 742 }, «datePublished»: «2017-02-15T12:03:02+03:00», «dateModified»: «2017-02-15T12:03:02+03:00», «author»: { «@type»: «Person», «name»: «sl33pyl1nx» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «» }
Комментировать 
Пост №2989911
Source: Joyreactor

Опубликовано

Фриланс. Четыре истории успеха: ушел из офиса и жизнь закрутилась



Слушая рассказы о фрилансе, многие могут подумать, что это всё шутки: не могут такие «подработки» являться основной работой, и ребята наверняка перебиваются от заказа к заказу. Но фриланс – это не просто работа на себя, это, скорее, образ жизни, и многим подходит именно такой формат работы. Кто-то находит новых партнеров и разрастается во что-то большее, чем просто удаленный сотрудник. Мы в Коворкинг 14 убежденные романтики и верим, что будущее за такими историями.
Читать дальше →
Фриланс. Четыре истории успеха: ушел из офиса и жизнь закрутилась
Source: geektimes

Опубликовано

Приложение VR Desktop подружит macOS с Oculus Rift

Разработчики из Cindori представили приложение VR Desktop, которое позволяет использовать шлем виртуальной реальности Oculus Rift вместе с macOS. Основная идея проекта заключается в том, чтобы пользователь […]
Приложение VR Desktop подружит macOS с Oculus Rift
Source: 4pda