Сегодня мы дадим ответ на простой вопрос: «Как работает распределённое обучение (в контексте MXNet)?»
Все примеры кода протестированные на MXNet v0.10.0 и могут не работать (или работать по-другому) в других версиях, однако полагаю, что общие концепции будут неизменимы еще долго.
Ну и последнее перед тем, как мы перейдем к основной части, я хочу выразить благодарность за помощь в написании статьи моим коллегам, без которых эта статья не была бы возможной:
- Madan Jampani;
- Suneel Marthi;
Еще хотел бы порекомендовать поднять машинку с DLAMI и выполнить все примеры из статьи самостоятельно, тем более, что они достаточно простые. Для выполнения кода вполне себе подойдет бесплатная машинка на AWS.
С преамбулой окончено, лезем под кат…
Читать дальше →
[Перевод] Распределенное обучение нейронных сетей с MXNet. Часть 1
Source: habrahabr