Тестирование и отладка MapReduce

В «Ростелекоме» мы используем Hadoop для хранения и обработки данных, загруженных из многочисленных источников с помощью java-приложений. Сейчас мы переехали на новую версию hadoop с Kerberos Authentication. При переезде столкнулись с рядом проблем, в том числе и с использованием YARN API. Работа Hadoop с Kerberos Authentication заслуживает отдельной статьи, а в этой мы поговорим об отладке Hadoop MapReduce.


Читать дальше →
Тестирование и отладка MapReduce
Source: habrahabr

Изучаем Latency: теория массового обслуживания

Тема latency со временем становится интересной в разных системах в Яндексе и не только. Происходит это по мере того, как в этих системах появляются какие-либо гарантии по обслуживанию. Очевидно, дело в том, что важно не только пообещать какую-то возможность пользователям, но и гарантировать её получение с разумным временем отклика. «Разумность» времени отклика, конечно, сильно различается для разных систем, но базовые принципы, по которым во всех системах проявляется латентность, — общие, и их вполне можно рассматривать в отрыве от конкретики.

Меня зовут Сергей Трифонов, я работаю в команде Real-Time Map Reduce в Яндексе. Мы разрабатываем платформу для обработки потока данных в реальном времени с секундным и субсекундным временем отклика. Платформа доступна для внутренних пользователей и позволяет им выполнять прикладной код над постоянно поступающими потоками данных. Я попытаюсь сделать краткий обзор основных концепций человечества на тему анализа latency за последние сто десять лет, и сейчас мы попробуем понять, что именно про latency можно узнать, применяя теорию массового обслуживания.
Читать дальше →
Изучаем Latency: теория массового обслуживания
Source: geektimes

Пост №3750878

Автор: LC — Tale

ссылка на гифкуРазвернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»/post/3750878″ }, «headline»: «сон :: котейка :: работа :: гиф анимация (гифки — ПРИКОЛЬНЫЕ gif анимашки)», «image»: { «@type»: «ImageObject», «url»: «http://img0.joyreactor.cc/pics/post/full/%D0%B3%D0%B8%D1%84%D0%BA%D0%B8-%D1%81%D0%BE%D0%BD-%D0%BA%D0%BE%D1%82%D0%B5%D0%B9%D0%BA%D0%B0-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0-4891884.gif», «height»: 380, «width»: 304 }, «datePublished»: «2018-12-12T12:12:00+03:00», «dateModified»: «2018-12-12T12:12:00+03:00», «author»: { «@type»: «Person», «name»: «LC — Tale» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «» }
Комментировать 
Пост №3750878
Source: Joyreactor

Цитата #453632

Форум blizzard — обсуждение токсичных игроков

xxx: Т.е. ты реально считаешь, что прямые оскорбления от ноунейма в интернетике сделают из человека киберспортсмена?

yyy: Кибер-кого??? Как говорил мой физрук на первом курсе, “если шахматы это спорт, то онанизм это тяжелая атлетика”. А тут даже не шахматы…
Цитата #453632
Source: bash

Пост №3750877

Автор: PavloZlo

Развернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»/post/3750877″ }, «headline»: «Мифические существа :: Fantasy (Fantasy art) :: mansik yang :: art (арт)», «image»: { «@type»: «ImageObject», «url»: «http://img1.joyreactor.cc/pics/post/full/Fantasy-art-%D0%9C%D0%B8%D1%84%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5-%D1%81%D1%83%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%B0-mansik-yang-4891883.jpeg», «height»: 1920, «width»: 1920 }, «datePublished»: «2018-12-12T12:10:10+03:00», «dateModified»: «2018-12-12T12:10:10+03:00», «author»: { «@type»: «Person», «name»: «PavloZlo» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «» }
Комментировать 
Пост №3750877
Source: Joyreactor

[Перевод] Обзор пяти HTTP-библиотек для веб-разработки

Одна из важнейших задач, которую приходится решать программисту при разработке веб-проектов, заключается в организации обмена данными между клиентскими и серверными частями таких проектов. Это может выглядеть так: пользователь нажимает некую кнопку на странице, открытой в браузере, в ответ система выполняет запрос к серверу, после чего сервер отправляет странице запрошенные у него данные. Для того чтобы вывести такие данные, на странице, без её перезагрузки, производится их обработка, после чего страница обновляется и пользователь получает то, что ему нужно.

В основе подобного взаимодействия систем лежит технология AJAX, в рамках применения которой используется экземпляр объекта XMLHttpRequest. Для того чтобы облегчить программистам работу с AJAX и XMLHttpRequest, созданы специализированные библиотеки, которые предоставляют разработчикам удобные интерфейсы, избавляя их от необходимости пользоваться низкоуровневыми механизмами.

Материал, перевод которого мы сегодня публикуем, посвящён анализу пяти популярных инструментов для работы с HTTP: Axios, Request, Superagent, Fetch и Supertest.
Читать дальше →
[Перевод] Обзор пяти HTTP-библиотек для веб-разработки
Source: habrahabr

Сверхпроводник + ферромагнетик: изучение триплетных куперовских пар

Ранее мы с вами уже знакомились со сверхпроводниками, однако этот материал скрывает еще много интересного. Сверхпроводники играют очень важную роль в работе суперкомпьютеров. В чем конкретно, спросите вы? В решении проблемы минимизации выделяемого в процессе работы этих махин тепла. Сегодня мы будем рассматривать исследование «нестандартных» сверхпроводников, обладающих тройными парами электронов с противоположным спиновым моментом. Звучит интригующе, не так ли? Что это, как работает и как ученые до этого додумались мы узнаем из их доклада. Поехали. Читать дальше →
Сверхпроводник + ферромагнетик: изучение триплетных куперовских пар
Source: geektimes

Пост №3750870

Автор: St.P

11 декабря в Ярославле открылся всероссийский форум «ПроеКТОриЯ», который ежегодно проводится по распоряжению Путина. Раньше мероприятие называлось «Будущие интеллектуальные лидеры России».В день открытия на форуме показали робота Бориса, который якобы знает математику, умеет ходить, говорить и танцевать под «Skibidi». Борису посвятили часть сюжета журналисты «Вести Ярославль», показав его во время слов о «самых современных роботах». Других роботов в сюжете «России 24» не было.Читатели TJ быстро выяснили, что такого робота можно купить в любом магазине найти в гугле по запросу «костюм робота». Знакомьтесь: это костюм «Робот Алёша»:Нельзя заявлять, что «Россия 24» не знала о подделке и была обманута организаторами форума — на фото «Вестей» явно видна шея аниматора внутри костюма. Однако на протяжении всего сюжета журналисты не говорили, что это человек.Сегодня утром «Россия 24» удалила со своего YouTube-канала сюжет программы «Вести Ярославль» с роботом Борисом.Развернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»http://polit.reactor.cc/post/3750870″ }, «headline»: «11 декабря в Ярославле открылся всероссийский форум «ПроеКТОриЯ», который ежегодно проводится по рас / Россия :: Россия 24 :: страны :: робототехника :: политота (Приколы про политику и политиков)», «image»: { «@type»: «ImageObject», «url»: «http://img0.joyreactor.cc/pics/post/full/%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F-%D1%81%D1%82%D1%80%D0%B0%D0%BD%D1%8B-%D0%BF%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D1%82%D0%B0-%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B0-4892028.jpeg», «height»: 477, «width»: 747 }, «datePublished»: «2018-12-12T11:57:25+03:00», «dateModified»: «2018-12-12T11:57:25+03:00», «author»: { «@type»: «Person», «name»: «St.P» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «поряжению Путина. Раньше мероприятие называлось «Будущие интеллектуальные лидеры России».В день открытия на форуме показали робота Бориса, который якобы знает математику, умеет ходить, говорить и танцевать под «Skibidi». Борису посвятили часть сюжета журналисты «Вести Ярославль», показав его во врем» }
Комментировать 
Пост №3750870
Source: Joyreactor

Пост №3750863

Автор: Critical Failure

За три месяца до выхода Fallout 76 компания Silver Screen Bottling Co. объявила о планах по выпуску рома Nuka Dark для поклонников сериала Fallout по лицензии Bethesda.На официальных промо-изображениях с артом Fallout 76 пользователям показывали выполненную в форме ракеты бутылку, предлагая оформить предварительный заказ крепкого спиртного напитка за $80.Изначально ром планировали выпустить в ноябре, ближе к появлению Fallout 76, но в результате старт задержался, поскольку продукт «не соответствовал стандартам Fallout», о чем аудитории сообщили в электронном письме.Спустя несколько дней после этого пользователи получили еще одно послание, уже с роликом, снятым на заводе, где ром и разливают. Предзаказчики обратили внимание на тот факт, что никакой бутылки в виде ракеты им не светит.Демонстрировавшееся в рекланых целях на картинке оказалось пластиковым макетом, внутри которого находится самая обычная стеклянная бутылка. Покупатели начали занижать видео рейтинг на YouTube, а минувшим вечером на Reddit разгорелся очередной скандал, собравший на момент написания данной новости сотни комментариев.Пользователи пишут, что за $80 хотели получить настоящую стеклянную бутылку в виде ракеты, достойную места в коллекции алкогольных напитков.»А в итоге мы получили дешевый пластиковый кейс и ничем не примечательную бутылку обычной формы. Реклама оказалась фейком. Это что-то на уровне истории с холщовыми сумкам», — отметил один из геймеров.После анонса представители Silver Screen Bottling Co. действительно не говорили, что объект в виде ракеты является лишь пластиковым контейнером для бутылки простой формы. Не упоминала об этом и Bethesda, которой принадлежит торговая марка Nuka Dark Rum. Производителей начали обвинять в мошенничестве.Комментариев от них пока не поступало.Развернуть { «@context»: «http://schema.org», «@type»: «BlogPosting», «mainEntityOfPage»:{ «@type»:»WebPage», «@id»:»http://Fallout.reactor.cc/post/3750863″ }, «headline»: «Fallout 76 :: Fallout (Фоллаут,) :: фэндомы», «image»: { «@type»: «ImageObject», «url»: «http://img0.joyreactor.cc/pics/post/full/Fallout-76-Fallout-%D1%84%D1%8D%D0%BD%D0%B4%D0%BE%D0%BC%D1%8B-4891852.jpeg», «height»: 90, «width»: 120 }, «datePublished»: «2018-12-12T11:47:06+03:00», «dateModified»: «2018-12-12T11:47:06+03:00», «author»: { «@type»: «Person», «name»: «Critical Failure» }, «publisher»: { «@type»: «Organization», «name»: «JoyReactor.cc», «logo»: { «@type»: «ImageObject», «url»: «http://joyreactor.cc/images/joyreactor_ie6.png», «width»: 207, «height»: 54 } }, «description»: «За три месяца до выхода Fallout 76 компания Silver Screen Bottling Co. объявила о планах по выпуску рома Nuka Dark для поклонников сериала Fallout по лицензии Bethesda. На официальных промо-изображениях с артом Fallout 76 пользователям показывали выполненную в форме ракеты бутылку, предлагая оформи» }
Комментировать 
Пост №3750863
Source: Joyreactor