В декабре этого года я еду в Ванкувер на конференцию NeurIPS — ежегодную конференцию для исследователей искусственного интеллекта. Мне предстоял сверхдальний перелет из Хошимина после 3-х дневной бега после супертайфуна со скоростью ветра до 168 км/ч на Филиппинах 12 марта.

Тем не менее, жаркость NeuRIPS может быть сравнима с суровой экстремальной погодой. В прошлом году я посетил конференцию, на которой присутствовало 10 000 человек. Билеты были распроданы за 10 минут — это было даже быстрее рок-концерта. Из-за очень большого количества людей организаторы решили продавать билеты как лотерею для всех, кроме ЭКСПО (мне повезло).

Для отрасли это возможность для ведущих технологических компаний, особенно из Силиконовой долины, продемонстрировать свою работу. На однодневной выставке состоится 9 семинаров с 14 докладами и панелями, представленными первоклассными представителями отрасли.

Одним из основных событий этого года является внимание к машинному обучению для здравоохранения с сильным намерением обеспечить конфиденциальность. В частности, федеративное обучение представлено Doc.ai для рабочего процесса машинного обучения с двумя приложениями федеративного мобильного обучения — обучение предикторов работоспособности на устройствах и федеративное облачное обучение — с использованием внутренних данных компаний без ограничений политиками.

Несмотря на некоторые проблемы в управлении задачами, ограничения аппаратного обеспечения и проблемы с сетью, федеративное обучение в настоящее время рассматривается как решение для политик конфиденциальности с дифференциальной конфиденциальностью (добавление шума к данным для предотвращения утечки информации), гомоморфным шифрованием и теорией информации.

С практической точки зрения, при наличии данных хорошего качества, федеративное обучение призвано обеспечить более высокую производительность за счет коллективного разнообразия децентрализованных наборов данных.

Наряду с этим растут сообщества, поддерживающие эти методы обучения алгоритмов, особенно сообщество Pytorch — инфраструктура искусственного интеллекта, поддерживаемая Facebook.

  • CrypTen: зашифрованная структура, созданная на основе Pytorch для сохранения конфиденциальности с помощью машинного обучения. Для сборки текущей версии требуется PyTorch Nightly. Он работает только на Mac и Linux и не поддерживает графические процессоры. эта структура была запущена около двух месяцев назад. Документация проста с одним учебным пособием с использованием вычислительной платформы AWS.
  • PySyft: еще один фреймворк, активно поддерживаемый Openmined и насчитывающий более 5000 участников по всему миру. Месяц назад я случайно посетил и кратко записал в блог об их первой местной встрече в Таиланде.

Несколько пар обновлений для Pytorch.

  • Pytorch hub:коллекция предварительно обученной модели для результатов тестирования.
  • Pytorch Lightning: ярлыки для быстрой реализации/настройки с минимальными усилиями, но с максимальным эффектом. Он сосредоточен на некоторых важных шагах, а не на реконструкции всего процесса с множеством избыточных задач.

Если вас больше интересует федеративное обучение, будет еще несколько презентаций по этой области и прямая трансляция на фан-странице конференции.

Некоторые другие полезные ресурсы, чтобы узнать о федеративном обучении.

  • Длинный блог 2017 года от Google о его потенциале.
  • Комплексный обзор федеративного обучения 2019 года о проблемах, методах и направлениях.

Эмма

www.blueskin.tech