Подпишитесь на нашу рассылку новостей

4. Основные архитектуры глубоких сетей

Мать искусства — это архитектура. Без собственной архитектуры у нас нет души нашей цивилизации.

Фрэнк Ллойд Райт

Теперь, когда мы рассмотрели некоторые компоненты глубоких сетей, давайте взглянем на четыре основные архитектуры глубоких сетей и то, как мы используем меньшие сети для их построения.Ранее в книге мы представили четыре основных сетевых архитектуры:

• Неконтролируемые предварительно обученные сети (UPN)
• Сверточные нейронные сети (CNN)
• Рекуррентные нейронные сети
• Рекурсивные нейронные сети

В этой главе мы более подробно рассмотрим каждую из этих архитектур. В главе 2 мы дали вам более глубокое понимание алгоритмов и математики, лежащих в основе нейронных сетей в целом. В этой главе мы уделяем больше внимания высокоуровневой архитектуре различных глубоких сетей, чтобы выработать понимание, подходящее для применения этих сетей на практике.

Некоторые сети мы рассмотрим более легко, чем другие, но в основном мы сосредоточимся на двух основных архитектурах, которые вы увидите в реальных условиях: CNN для моделирования изображений и сети с долгосрочной краткосрочной памятью (LSTM) (рекуррентные сети) для последовательное моделирование.

В этой группе мы рассматриваем три конкретных архитектуры:

• Автоэнкодеры
• Сети глубокого убеждения (DBN)
• Генеративные состязательные сети (GAN)

Как мы уже говорили в главе 3, автоэнкодер определяет фундаментальные структуры глубоких сетей, потому что они часто используются как часть более крупных сетей.Как и многие другие сети, они выполняют эту роль, а затем также используются как автономная сеть.

Поскольку мы уже подробно рассмотрели автоэнкодеры, мы перейдем к более подробному рассмотрению DBN и GAN.

Deep Belief Networks

DBN состоят из уровней ограниченных машин Больцмана (RBM) для фазы предварительного обучения, а затем сети с прямой связью для фазы точной настройки. На рисунке 4-1 показана сетевая архитектура DBN.

Рисунок 4-1. Архитектура ДБН

В следующих разделах мы более подробно объясним, как DBN используют преимущества RBM для лучшего моделирования обучающих данных.

Извлечение признаков с помощью слоев RBM

Мы используем RBM для извлечения высокоуровневых функций из исходных входных векторов. Для этого мы хотим установить скрытые состояния и веса модулей таким образом, чтобы, когда мы показываем RBM входную запись и просим RBM восстановить запись, он генерировал что-то довольно близкое к исходному входному вектору. Хинтон говорит об этом эффекте в терминах того, как машины «мечтают о данных».

Основная цель RBM в контексте глубокого обучения и DBN — изучить эти высокоуровневые функции набора данных в режиме обучения без учителя.Было обнаружено, что мы можем обучать нейронные сети лучше, позволяя RBM постепенно изучать функции более высокого уровня, используя изученные функции из уровня предварительного обучения RBM более низкого уровня в качестве входных данных для уровня предварительного обучения RBM более высокого уровня.

Автоматическое изучение функций высшего порядка

Изучение этих функций без учителя считается подготовительной фазой DBN. Каждый скрытый уровень RBM на этапе предварительной подготовки постепенно изучает более сложные функции из распределения данных.Эти функции высшего порядка постепенно комбинируются нелинейными способами для создания элегантной автоматизированной разработки функций.

Чтобы наглядно понять построение признаков со слоями RRBM, взгляните на рисунки 4-2, 4-3 и 4-4, которые показывают прогрессию рендеринга активации на RBM по мере того, как он изучает цифры MNIST.

Рисунок 4-2. Активация рендера в начале тренировки

Рисунок 4-3. Функции появятся в более поздней активации рендера

Рисунок 4-4. Части цифр MNIST появляются к концу обучения

В главе 6 более подробно рассказывается о том, как создаются эти рендеры.Мы можем видеть, как слой RBM извлекает фрагменты цифр в процессе обучения. Затем эти функции объединяются в слои более высокого уровня для построения все более сложных (и нелинейных) функций.

Поскольку эти необработанные данные моделируются в процессе генеративного моделирования с каждым слоем RBM, система может извлекать все более высокоуровневые характеристики из необработанных входных данных, созданных нашим базовым процессом векторизации входных данных. Эти функции продвигаются через эти уровни RBM в одном направлении, создавая более сложные функции на верхнем уровне.

Инициализация сети прямой связи

Затем мы используем эти уровни функций в качестве начальных весов в традиционной нейронной сети с прямой связью, основанной на обратном распространении.

Эти значения инициализации помогают алгоритму обучения направлять параметры традиционной нейронной сети к лучшим областям пространства поиска параметров. Эта фаза известна как фаза точной настройки DBN.

Тонкая настройка DBN с помощью многослойной нейронной сети с прямой связью

На этапе точной настройки DBN мы используем нормальное обратное распространение с более низкой скоростью обучения, чтобы выполнить «мягкое» обратное распространение.Мы рассматриваем этап предварительного обучения как общий поиск в пространстве параметров без учителя на основе необработанных данных. Напротив, этап точной настройки — это специализация сети и ее функций для решения задачи, которая нас действительно волнует (например, классификации).

Нежное обратное распространение

Фаза предварительного обучения с RBM изучает функции более высокого порядка из данных, которые мы используем в качестве хороших начальных начальных значений для нашей сети с прямой связью. Мы хотим взять эти веса и еще немного их настроить, чтобы найти подходящие значения для нашей окончательной модели нейронной сети.

Выходной слой

Обычная цель глубокой сети — изучить набор функций. Первый уровень глубокой сети учится восстанавливать исходный набор данных. Последующие слои учатся восстанавливать распределения вероятностей активаций предыдущего слоя. Выходной слой нейронной сети привязан к общей цели. Обычно это логистическая регрессия, в которой количество функций равно количеству входов последнего слоя, а количество выходов равно количеству классов.

Текущее состояние ДБН

В этой книге мы не рассматриваем DBN так подробно, как другие сетевые архитектуры. Это связано с тем, что в этой области в основном CNN захватили пространство моделирования изображений, и поэтому мы решили сделать больший акцент на этой архитектуре, как вы увидите в следующем разделе.

Хотя в этой книге мы не уделяем особого внимания DBN, эта сеть сыграла нетривиальную роль в развитии глубокого обучения. Команда Джеффа Хинтона из Университета Торонто в течение долгого времени упорно развивала методы в области моделирования изображений, чтобы добиться больших успехов.Мы сочли важным отметить роль, которую DBN сыграли в эволюции глубоких сетей.

Генеративные состязательные сети

Следует отметить сеть GAN. ¹ GAN показали свою способность синтезировать новые новые изображения на основе других обучающих изображений. Мы можем расширить эту концепцию для моделирования других областей, таких как:

• Звук
• Видео ²
• Создание изображений из текстовых описаний ³

GAN — это пример сети, которая использует обучение без учителя для параллельного обучения двух моделей.Ключевым аспектом GAN (и генеративных моделей в целом) является то, как они используют количество параметров, которое значительно меньше обычного по сравнению с объемом данных, на которых мы обучаем сеть. Сеть вынуждена эффективно представлять обучающие данные, что делает ее более эффективной при генерации данных, аналогичных обучающим данным.

Обучение генеративных моделей, обучение без учителя и GAN

Если бы у нас был большой корпус обучающих изображений (например, набор данных ImageNet), мы могли бы построить генеративную нейронную сеть, которая выводит изображения (в отличие от классификаций).Мы будем рассматривать эти сгенерированные выходные изображения как образцы модели. Генеративная модель в GAN генерирует такие изображения, в то время как вторичная сеть «дискриминаторов» пытается классифицировать эти сгенерированные изображения.

Эта вторичная дискриминаторная сеть пытается классифицировать выходные изображения как реальные или синтетические. При обучении GAN мы хотим обновить параметры, чтобы сеть генерировала более правдоподобные выходные изображения на основе данных обучения. Цель здесь — сделать изображения достаточно реалистичными, чтобы сеть дискриминатора была обманута до такой степени, что она не могла различить разницу между реальными и синтетическими входными данными.

Примером эффективного представления модели в сетях GAN является то, как они обычно имеют около 100 миллионов параметров при моделировании набора данных, такого как ImageNet. В процессе обучения входной набор данных, такой как ImageNet (200 ГБ), приближается к 100 МБ параметров. Этот процесс обучения пытается найти наиболее эффективный способ представления функций в данных, таких как похожие группы пикселей, края и другие шаблоны (как мы увидим более подробно в «Сверточных нейронных сетях (CNN)»).

Дискриминатор сетевой

При моделировании изображений дискриминаторная сеть обычно представляет собой стандартную CNN. Использование вторичной нейронной сети в качестве дискриминаторной сети позволяет GAN обучать обе сети параллельно без присмотра. Эти дискриминаторные сети принимают изображения в качестве входных данных, а затем выводят классификацию.

Градиент выхода сети дискриминатора по отношению к синтетическим входным данным указывает, как внести небольшие изменения в синтетические данные, чтобы сделать их более реалистичными.

Генеративная сеть

Генеративная сеть в GAN генерирует данные (или изображения) с особым типом слоя, который называется деконволюционным слоем (подробнее о деконволюционных сетях и слоях на следующей боковой панели).

Во время обучения мы используем обратное распространение в обеих сетях, чтобы обновить параметры генерирующей сети для создания более реалистичных выходных изображений. Здесь цель состоит в том, чтобы обновить параметры генерирующей сети до точки, в которой различающая сеть будет достаточно «обманута» генерирующей сетью, потому что выходные данные настолько реалистичны по сравнению с реальными изображениями обучающих данных.

Построение генеративных моделей и глубоких сверточных генеративных состязательных сетей

Одним из вариантов GAN является Deep Convolutional Generative Adversarial Network (DCGAN). На рис. 4-6 показаны изображения спален, созданные с помощью DCGAN.

Рисунок 4-6. Сгенерированные образы спален из сети DCGAN

Эта сеть принимает случайные числа (из равномерного распределения) и генерирует изображение из сетевой модели в качестве выходных данных. По мере изменения входных случайных чисел мы видим, что DCGAN генерирует различные типы изображений.

Условные GAN

Условные GAN ⁵ также могут использовать информацию о метках классов, что позволяет им условно генерировать данные определенного класса.

Сравнение GAN и вариационных автокодировщиков

GAN сосредоточены на попытке классифицировать записи обучения как полученные из модельного или реального распределения. Когда модель дискриминатора делает прогноз, в котором есть разница между двумя распределениями, генераторная сеть корректирует свои параметры.В конце концов генератор сходится на параметрах, которые воспроизводят реальное распределение данных, и дискриминатор не может обнаружить разницу.

С помощью вариационных автокодировщиков (VAE) мы решаем ту же проблему с вероятностными графическими моделями для восстановления ввода неконтролируемым образом, как было показано ранее в главе 3. VAE пытаются максимизировать нижнюю границу логарифмической вероятности данных, таких как что сгенерированные изображения выглядят все более и более реальными.

Еще одно интересное различие между GAN и VAE заключается в том, как создаются изображения.В базовых сетях GAN изображение создается с помощью произвольного кода, и у нас нет способа создать изображение с конкретными функциями. VAE, напротив, имеют особую схему кодирования / декодирования, с помощью которой мы можем сравнивать сгенерированное изображение с исходным изображением. Это дает нам побочный эффект, заключающийся в возможности кодирования для создания определенных типов изображений.

Иногда со сгенерированными изображениями мы также получаем другой тип шума в сгенерированном выходном изображении. Обратной стороной изображений, генерируемых VAE, является то, что из-за того, как они генерируются, изображения иногда бывают слегка размытыми.Сгенерированные GAN изображения, как правило, отражают стиль входных данных, но иногда не создают связную сцену (например, это изображение собаки, но собака выглядит не совсем правильно).

Целью CNN является изучение функций более высокого порядка в данных с помощью сверток. Они хорошо подходят для распознавания объектов с изображениями и неизменно лучших соревнований по классификации изображений. Они могут идентифицировать лица, людей, уличные знаки, утконоса и многие другие аспекты визуальных данных.CNN перекрываются с анализом текста посредством оптического распознавания символов, но они также полезны при анализе слов ⁶ как дискретных текстовых единиц. Они также хорошо разбираются в звуках.

Эффективность CNN в распознавании изображений — одна из основных причин, почему мир признает силу глубокого обучения. Как показано на рис. 4-7, CNN хороши в построении характеристик, инвариантных к положению и (отчасти) повороту, из необработанных данных изображения.

Рисунок 4-7. CNN и компьютерное зрение

CNN являются двигателем значительных достижений в области машинного зрения, которое, очевидно, находит применение в беспилотных автомобилях, робототехнике, дронах и в лечении людей с ослабленным зрением.

обычно наиболее полезны, когда есть некоторая структура входных данных. Примером может служить то, как изображения и аудиоданные, которые имеют определенный набор повторяющихся шаблонов и входных значений рядом друг с другом, связаны пространственно. И наоборот, столбчатые данные, экспортированные из системы управления реляционными базами данных (СУБД), как правило, не имеют пространственных структурных отношений. Столбцы рядом друг с другом просто материализовались таким образом в экспортированном материализованном представлении базы данных.

также использовались в других задачах, таких как перевод / генерация естественного языка ⁷ и анализ тональности. ⁸ Свертка — это мощная концепция, помогающая создать более надежное пространство функций на основе сигнала.

Биологическое вдохновение

Биологическим источником CNN является зрительная кора головного мозга животных. ⁹ Клетки зрительной коры чувствительны к небольшим частям входного сигнала. Мы называем это полем зрения (или рецептивным полем ).Эти более мелкие подобласти соединены вместе, чтобы покрыть все поле зрения. Клетки хорошо подходят для использования сильной пространственно-локальной корреляции, обнаруженной в типах изображений, которые обрабатывает наш мозг, и действуют как локальные фильтры во входном пространстве. В этой области мозга есть два класса клеток. Простые клетки активируются, когда они обнаруживают краевые паттерны, а более сложные клетки активируются, когда они имеют большее рецептивное поле и инвариантны к положению паттерна.

Интуиция

Многослойные нейронные сети с прямой связью принимают входные данные как один одномерный вектор и преобразуют данные с помощью одного или нескольких скрытых слоев (полностью связанных).Затем сеть выдает результат из выходного слоя. Проблема, с которой мы сталкиваемся с традиционными многослойными нейронными сетями и данными изображений, заключается в том, что эти сети плохо масштабируются с данными изображения в качестве входных данных. Примером может служить моделирование набора данных CIFAR-10 (см. Следующую боковую панель). Изображения для обучения имеют ширину всего 32 пикселя и высоту 32 пикселя с 3 каналами информации RGB. Однако это создает 3072 веса на нейрон в первом скрытом слое, и нам, вероятно, понадобится более одного нейрона в этом скрытом слое.Во многих случаях нам понадобится несколько скрытых слоев в нашей многослойной нейронной сети, которые также умножат эти веса.

Нормальное изображение может легко иметь размер 300 пикселей в ширину на 300 пикселей в высоту с 3 каналами информации RGB. Это создаст 270 000 весов соединений на каждый скрытый нейрон. Это показывает, как быстро полносвязная многоуровневая сеть создает огромное количество подключений при моделировании данных изображения. Структура данных изображения позволяет нам изменить архитектуру нейронной сети таким образом, чтобы мы могли воспользоваться преимуществами этой структуры.С помощью CNN мы можем упорядочить нейроны в трехмерной структуре, для которой у нас есть следующее:

Эти атрибуты входных данных соответствуют структуре изображения, для которой мы имеем:

• Ширина изображения в пикселях
• Высота изображения в пикселях
• канала RGB как глубина

Мы можем рассматривать эту структуру как трехмерный объем нейронов. Важным аспектом того, как CNN развивались из предыдущих вариантов с прямой связью, является то, как они достигли вычислительной эффективности с новыми типами слоев.Сейчас мы рассмотрим эту схему более подробно. Давайте теперь посмотрим на общую архитектуру CNN высокого уровня.

Обзор архитектуры CNN

CNN преобразуют входные данные из входного слоя через все подключенные уровни в набор оценок класса, заданных выходным слоем. Существует множество вариантов архитектуры CNN, но они основаны на структуре слоев, как показано на рисунке 4-9.

Рисунок 4-9. Общая архитектура CNN высокого уровня

На рисунке 4-9 показаны три основные группы:

1. Входной слой
2. Слои извлечения (обучения) признаков
3. Классификационные слои

Входной слой принимает трехмерный ввод, как правило, в пространственной форме размера (ширина × высота) изображения и имеет глубину, представляющую цветовые каналы (обычно три для цветовых каналов RGB).

Когда мы объединяем примеры в мини-пакет для обучения, мы получаем четыре измерения — еще одно измерение для индексации примера в мини-пакете. Таким образом, в DL4J массивы данных для обучения изображений имеют четыре измерения, а не только три.

Слои выделения признаков имеют общий повторяющийся образец последовательности:

1. Слой свертки

   Мы выражаем функцию активации выпрямленного линейного модуля (ReLU) как слой на диаграмме, чтобы соответствовать другим литературным источникам.

2. Слой объединения

Эти слои находят ряд функций на изображениях и постепенно создают элементы более высокого порядка. Это напрямую соответствует текущей теме глубокого обучения, при которой функции изучаются автоматически, а не вручную.

Наконец, у нас есть классификационные слои, в которых у нас есть один или несколько полностью связанных слоев, чтобы взять признаки более высокого порядка и произвести вероятности или оценки классов.Эти слои полностью связаны со всеми нейронами предыдущего слоя, как следует из их названия. Вывод этих слоев обычно дает двумерный вывод размеров [ b × N ], где b — это количество примеров в мини-партии, а N — количество классов, которые мы ‘ заинтересованы в подсчете очков.

Пространственное устройство нейронов

Вспомните, как в традиционных многослойных нейронных сетях слои полностью связаны, и каждый нейрон в слое связан с каждым нейроном следующего слоя.Нейроны в слоях CNN расположены в трех измерениях, чтобы соответствовать входным объемам. Здесь глубина означает третье измерение объема активации, а не количество слоев, как в многослойной нейронной сети.

Развитие связей между слоями

Еще одно изменение заключается в том, как мы соединяем слои в сверточной архитектуре. Нейроны в слое связаны только с небольшой областью нейронов в слое перед ним. CNN сохраняют многоуровневую архитектуру, как в традиционных многоуровневых сетях, но имеют разные типы уровней.Каждый слой преобразует трехмерный входной объем из предыдущего слоя в трехмерный выходной объем активаций нейронов с некоторой дифференцируемой функцией, которая может иметь или не иметь параметров, как показано на рисунке 4-10.

Входные слои

Входные слои — это то место, где мы загружаем и сохраняем необработанные входные данные изображения для обработки в сети. Эти входные данные определяют ширину, высоту и количество каналов. Обычно количество каналов равно трем для значений RGB для каждого пикселя.

Рисунок 4-10. Входной слой 3D-объем

Сверточные слои

Сверточные уровни считаются основными строительными блоками архитектур CNN. Как показано на рис. 4-11, сверточные слои преобразуют входные данные с помощью участка, локально соединяющего нейроны из предыдущего слоя. Слой будет вычислять скалярное произведение между областью нейронов во входном слое и весами, с которыми они локально связаны в выходном слое.

Рисунок 4-11.Слой свертки с объемами ввода и вывода

Результирующий результат обычно имеет те же пространственные измерения (или меньшие пространственные измерения), но иногда увеличивает количество элементов в третьем измерении вывода (измерение глубины). Давайте подробнее рассмотрим ключевую концепцию этих слоев, называемую сверткой .

Свертка

Свертка определяется как математическая операция, описывающая правило объединения двух наборов информации.Это важно как для физики, так и для математики и определяет мост между пространственно-временной областью и частотной областью посредством использования преобразований Фурье. Он принимает входные данные, применяет ядро ​​свертки и дает нам карту функций в качестве выходных данных.

Операция свертки, показанная на рисунке 4-12, известна как детектор признаков CNN. Входными данными свертки могут быть необработанные данные или выходные данные карты признаков из другой свертки. Его часто интерпретируют как фильтр, в котором ядро ​​фильтрует входные данные для определенных видов информации; например, краевое ядро ​​позволяет пропускать информацию только с края изображения.

Рисунок 4-12. Операция свертки

На рисунке показано, как ядро ​​перемещается по входным данным для получения свернутых (выходных) данных функции. На каждом шаге ядро ​​умножается на значения входных данных в пределах его границ, создавая единственную запись в выходной карте функций. На практике результат будет большим, если во входных данных будет обнаружена функция, которую мы ищем.

Обычно мы называем наборы весов в сверточном слое фильтром (или ядром).Этот фильтр связывается с входными данными, и в результате получается карта функций (или карта активации). Сверточные слои выполняют преобразования в объеме входных данных, которые являются функцией активаций во входном объеме и параметров (весов и смещений нейронов). Карта активации для каждого фильтра складывается вместе по измерению глубины для построения трехмерного выходного объема.

Сверточные слои имеют параметры слоя и дополнительные гиперпараметры. Градиентный спуск используется для обучения параметров в этом слое таким образом, чтобы оценки классов согласовывались с метками в обучающем наборе.Ниже приведены основные компоненты сверточных слоев:

• Фильтры
• Карты активации
• Совместное использование параметров
• Гиперпараметры, специфичные для слоя

Давайте посмотрим на особенности каждого компонента.

Фильтры

Параметры сверточного слоя настраивают набор фильтров слоя. Фильтры — это функция, ширина и высота которой меньше ширины и высоты входного объема.

У нас может быть размер фильтра, равный входному объему, но обычно только в одном измерении, а не в обоих.Об этом следует помнить в тех случаях, когда мы применяем CNN для использования в обработке естественного языка (NLP).

Фильтры (например, свертки) применяются по ширине и высоте входного объема в виде скользящего окна, как показано на рисунке 4-12. Фильтры также применяются для каждой глубины входного объема. Мы вычисляем выходной сигнал фильтра, производя скалярное произведение фильтра и входной области.

Результат применения фильтра к входному объему известен как карта активации (иногда называемая картой характеристик ) этого фильтра.На многих диаграммах CNN мы часто видим множество маленьких карт активации; то, как они производятся, иногда может сбивать с толку.

Счетчик фильтра — это значение гиперпараметра для каждого сверточного слоя. Этот гиперпараметр также контролирует, сколько карт активации создается из сверточного слоя в качестве входных данных для следующего слоя, и считается третьим измерением (количество карт активации) в выходном объеме активации 3D-слоя. Гиперпараметр количества фильтров можно выбрать произвольно, но некоторые значения будут работать лучше, чем другие.

Архитектура CNN настроена так, что изученные фильтры производят самую сильную активацию пространственно локальных входных шаблонов. Это означает, что изучаются фильтры, которые активируются в шаблонах (или функциях) только тогда, когда шаблоны встречаются в обучающих данных в соответствующем поле. По мере того, как мы продвигаемся дальше по слоям в CNN, мы сталкиваемся с фильтрами, которые могут распознавать нелинейные комбинации функций и становятся все более глобальными в том, как они могут обнаруживать шаблоны. Высокопроизводительные сверточные архитектуры (которые мы увидим позже в этом разделе) показали, что глубина сети является важным фактором в CNN.

Карты активации

Вспомните из главы 1, что активация — это числовой результат, если нейрон решил пропустить информацию. Это функция входов для функции активации, весов на соединениях (для входов и типа самой функции активации). Когда мы говорим, что фильтр «активируется», мы имеем в виду, что фильтр позволяет информации проходить через него из входного объема в выходной объем.

Мы перемещаем каждый фильтр по пространственным измерениям (ширине, высоте) входного объема во время прямого прохождения информации через CNN.Это создает двумерный вывод, называемый картой активации для этого конкретного фильтра. На рис. 4-13 показано, как эта карта активации соотносится с ранее представленной концепцией запутанной функции.

Рисунок 4-13. Свертки и карты активации

Карта активации справа на рис. 4-13 представлена ​​по-другому, чтобы проиллюстрировать, как карты сверточной активации обычно отображаются в литературе.

В некоторой литературе выходные данные карты активации называются картой функций , но в этом тексте мы будем называть ее картой активации.

Чтобы вычислить карту активации, мы перемещаем фильтр по глубине среза входного объема. Мы вычисляем скалярное произведение между записями в фильтре и входным объемом. Фильтр представляет собой веса, которые умножаются на скользящее окно (подмножество) активаций входа. Сети изучают фильтры, которые активируются, когда они видят определенные типы объектов во входных данных в определенной пространственной позиции.

Мы создаем трехмерный выходной объем для сверточного слоя, складывая эти карты активации по измерению глубины в выходных данных, как показано на рисунке 4-14.Выходной объем будет иметь записи, которые мы рассматриваем как выход нейрона, которые смотрят только на небольшое окно входного объема.

Рисунок 4-14. Выход активационного объема сверточного слоя

В некоторых случаях этот вывод будет результатом параметров, совместно используемых нейронами в одной и той же карте активации. Каждый нейрон, генерирующий выходной объем, подключен только к локальной области входного объема, как показано на рисунке 4-15.

Рисунок 4-15. Создание выходного тома активации

Мы контролируем локальную связность этого процесса с помощью гиперпараметра, называемого восприимчивым полем , который контролирует, какая часть ширины и высоты входного объема сопоставлена ​​с нашим фильтром.

Фильтры определяют меньшую ограниченную область для создания карт активации из входных объемов. Они подключены только к подмножеству входного объема через динамику локального подключения, описанную ранее. Это позволяет нам по-прежнему иметь качественное извлечение функций, сокращая при этом количество параметров на слой, которые нам нужно обучить. Сверточные уровни дополнительно сокращают количество параметров с помощью метода, называемого совместное использование параметров .

Совместное использование параметров

CNN используют схему совместного использования параметров для управления общим количеством параметров.Это сокращает время обучения, поскольку мы будем использовать меньше ресурсов для изучения набора данных для обучения. Чтобы реализовать совместное использование параметров в CNN, мы сначала обозначаем один двумерный срез глубины как «срез глубины». Затем мы ограничиваем нейроны в каждом глубинном срезе, чтобы использовать одинаковые веса и смещение. Это дает нам значительно меньше параметров (или весов) для данного сверточного слоя.

Мы не можем воспользоваться преимуществами совместного использования параметров, если входные изображения, на которых мы обучаем, имеют определенную центрированную структуру.Мы видим этот эффект на лицах, когда всегда ожидаем, что определенная функция появится в определенном месте (для лиц по центру). В этом случае мы, вероятно, не будем использовать совместное использование параметров. Совместное использование параметров — это то, что также дает CNN инвариантность к переводу / положению.

Выученные фильтры и рендеры

На рис. 4-16 представлен пример изученных 96 фильтров размером 11 × 11 × 3. При использовании схемы разделения параметров мы видим, что обнаружение горизонтального края полезно во многих местах изображения из-за трансляционно-инвариантной природы изображений.Это означает, что мы можем изучить горизонтальный край в одном месте, а затем не беспокоиться о его изучении как функции во всех положениях изображения.

Рисунок 4-16. Примеры фильтров, изученные Крижевским и др.

Немного разбив это, давайте подумаем о 2D-изображении. Если мы разделим изображение на четыре части, нейронная сеть будет изучать позиционно-инвариантные особенности изображения. Причина, по которой они инвариантны к положению, заключается в том, как сеть разделяет данные на квадранты.Затем он изучает части изображения за один раз и объединяет результаты. Это позволяет нейронной сети изучать общее представление, которое не является локальным для какого-либо конкретного набора функций. Подробнее о создании рендеринга фильтров мы поговорим в главе 6.

Изученные функции изначально инвариантны к положению, но (в общем случае) не инвариантны к вращению. Однако вы можете достичь некоторого уровня инвариантности вращения с соответствующим увеличением данных.

Активация ReLU функционирует как слои

В CNN часто используются уровни ReLU.Слой ReLU будет применять поэлементную функцию активации к пороговому значению входных данных — например, max (0, x) — на ноль, давая нам тот же выходной размер, что и входной для слоя.

В DL4J мы идентифицируем слои по их типу функции активации нейронов (но это не всегда отражается в именах классов слоев). DL4J имеет функции активации, встроенные в сами слои. Другие библиотеки, такие как Caffe, используют отдельные слои активации.

Запуск этой функции над входным объемом изменит значения пикселей, но не изменит пространственные размеры входных данных в выходных.Слои ReLU не имеют параметров или дополнительных гиперпараметров.

Гиперпараметры сверточного слоя

Ниже приведены гиперпараметры ¹¹ , которые определяют пространственное расположение и размер выходного объема сверточного слоя:

• Размер фильтра (или ядра) (размер поля)
• Глубина вывода
• шаг
• Нулевое заполнение

В этом разделе мы объясняем, как работают эти гиперпараметры.В главе 7 мы излагаем механизм настройки для слоев CNN.

Размер фильтра

Каждый фильтр мал в пространстве относительно ширины и высоты размера фильтра. Примером этого является то, как первый сверточный слой может иметь фильтр размером 5 × 5 × 3. Это будет означать, что фильтр имеет ширину 5 пикселей и высоту 5 пикселей, где 3 представляют собой цветовые каналы, при условии, что входное изображение было в 3-канальном цвете RGB.

Глубина вывода

Мы можем вручную выбрать глубину выходного объема.Гиперпараметр глубины контролирует количество нейронов в сверточном слое, подключенном к той же области входного объема.

Различные нейроны по измерению глубины учатся активироваться при стимуляции созданными входными данными (например, цветом или краями).

Мы рассматриваем набор нейронов, которые все смотрят на одну и ту же область входного объема как на столбец глубины.

шаг

Stride определяет, насколько далеко будет перемещаться наше скользящее окно фильтра для каждого применения функции фильтрации.Каждый раз, когда мы применяем функцию фильтра к входному столбцу, мы создаем новый столбец глубины в выходном объеме. Более низкие настройки шага (например, 1 указывает только один шаг единицы) выделят больше столбцов глубины в выходном объеме. Это также приведет к более сильному перекрытию принимающих полей между столбцами, что приведет к увеличению объемов вывода. Обратное верно, когда мы указываем более высокие значения шага. Эти более высокие значения шага дают нам меньшее перекрытие и меньшие объемы вывода в пространстве.

Нулевое заполнение

Последний гиперпараметр — это заполнение нулями, с помощью которого мы можем контролировать пространственный размер выходных томов. Мы хотели бы сделать это для случаев, когда мы хотим сохранить пространственный размер входного объема в выходном объеме.

Пакетная нормализация и слои

Для ускорения обучения в CNN мы можем нормализовать активации предыдущего уровня в каждом пакете. ¹² Этот метод применяет преобразование, которое сохраняет среднее значение активации близким к 0.0 при сохранении стандартного отклонения активации близким к 1,0.

Пакетная нормализация в CNN ускоряет обучение, делая нормализацию частью сетевой архитектуры. Применяя нормализацию для каждого обучающего мини-пакета входных записей, мы можем использовать гораздо более высокие скорости обучения. Пакетная нормализация также снижает чувствительность тренировки к инициализации веса и действует как регуляризатор (уменьшая потребность в других типах регуляризации). Пакетная нормализация также была применена к сетям LSTM, ¹³ , которые являются еще одним типом глубокой сети, которую мы обсудим позже в этой главе.

Слои пула

Слои объединения обычно вставляются между последовательными сверточными слоями. Мы хотим следовать сверточным слоям с объединением слоев, чтобы постепенно уменьшать пространственный размер (ширину и высоту) представления данных. Уровни пула постепенно уменьшают представление данных по сети и помогают контролировать переоборудование. Слой объединения работает независимо на каждом срезе глубины ввода.

Наиболее распространенной операцией понижающей дискретизации является операция max .Следующая по частоте операция — , средний пул .

Слой объединения использует операцию max () для изменения размера входных данных в пространстве (ширина, высота). Эта операция называется max pooling . При размере фильтра 2 × 2 операция max () принимает наибольшее из четырех чисел в области фильтра. Эта операция не влияет на размер глубины.

Слои объединения используют фильтры для выполнения процесса понижающей дискретизации входного объема.Эти слои выполняют операции понижающей дискретизации по пространственному измерению входных данных. Это означает, что если бы входное изображение было 32 пикселя в ширину на 32 пикселя в высоту, выходное изображение было бы меньше по ширине и высоте (например, 16 пикселей в ширину на 16 пикселей в высоту). Наиболее распространенная настройка для слоя объединения — применение фильтров 2 × 2 с шагом 2. Это приведет к понижению дискретизации каждого среза глубины во входном объеме в два раза по пространственным размерам (ширине и высоте). Эта операция понижающей дискретизации приведет к отмене 75 процентов активаций.

Слои объединения не имеют параметров для слоя, но имеют дополнительные гиперпараметры. Этот уровень не включает параметры, потому что он вычисляет фиксированную функцию входного объема. Использование нулевого заполнения для объединения слоев не является обычным явлением.

Полностью подключенные слои

Мы используем этот слой для вычисления оценок класса, которые мы будем использовать в качестве выходных данных сети (например, выходной слой в конце сети). Размер выходного тома составляет [1 × 1 × N], где N — количество классов вывода, которые мы оцениваем.В случае набора данных CIFAR, который мы обсуждали выше, N будет 10 для 10 классов объектов в наборе данных. Этот слой имеет связь между всеми своими нейронами и каждым нейроном предыдущего слоя.

Полностью связанные слои имеют обычные параметры слоя и гиперпараметры. Полностью связанные слои выполняют преобразования в объеме входных данных, которые являются функцией активаций во входном объеме и параметров (весов и смещений нейронов).

Есть несколько архитектур CNN, которые будут использовать несколько полносвязных уровней в конце сети. AlexNet является примером этого; он имеет два полностью связанных слоя, за которыми следует слой softmax в конце.

Другие приложения CNN

Помимо обычных данных двухмерного изображения, мы также видим применение CNN к трехмерным наборам данных. Вот несколько примеров этих альтернативных вариантов использования:

• Данные МРТ ¹⁴
• Данные 3D-формы ¹⁵
• Данные графика ¹⁶
• Заявки на НЛП ¹⁷

Позиционно-инвариантная природа CNN оказалась полезной в этих областях, потому что мы не ограничены ручным кодированием наших функций, чтобы они появлялись в определенных «точках» в векторе признаков.

CNN ноты

Ниже приводится список некоторых наиболее популярных архитектур CNN.

• LeNet ¹⁸

  • Одна из первых успешных архитектур CNN
  • Разработал Ян Лекун
  • Первоначально использовался для чтения цифр на изображениях

• AlexNet ¹⁹

  • Помог популяризовать CNN в области компьютерного зрения
  • Разработано Алексом Крижевским, Ильей Суцкевер и Джеффом Хинтоном
  • Выиграл ILSVRC 2012

• Сеть ZF ²⁰

  • Выиграл ILSVRC 2013
  • Разработано Мэтью Цейлером и Робом Фергусом
  • Представил концепцию визуализации деконволюционной сети

• GoogLeNet ²¹

  • Выиграл ILSVRC 2014
  • Разработано Кристианом Сегеди и его командой в Google
  • Один вариант под кодовым названием «Начало» состоит из 22 слоев.

• VGGNet ²²

  • Второе место в ILSVRC 2014
  • Разработано Карен Симонян и Андрей Зиссерман
  • Показал, что глубина сети является критическим фактором хорошей производительности

• ResNet ²³

  • Обучено в очень глубоких сетях (до 1200 уровней)
  • Выиграл первое место в задании классификации ILSVRC 2015

Сводка

CNN развились из-за необходимости выделения специализированных функций из данных изображения.Мы видели слои, которые хорошо умеют находить объекты независимо от того, где они «блуждают» по столбцам. Мы увидели, как сверточные слои, объединяющие слои и обычные полносвязные слои работают вместе для классификации изображений. Теперь перейдем к архитектуре нейронной сети, ориентированной на моделирование временной области: рекуррентные нейронные сети.

Рекуррентные нейронные сети относятся к семейству нейронных сетей с прямой связью. Они отличаются от других сетей с прямой связью своей способностью посылать информацию с определенными временными интервалами.Вот интересное объяснение рекуррентных нейронных сетей от ведущего исследователя Юргена Шмидхубера:

[Рекуррентные нейронные сети] позволяют выполнять как параллельные, так и последовательные вычисления и, в принципе, могут вычислять все, что может вычислить традиционный компьютер. Однако, в отличие от традиционных компьютеров, рекуррентные нейронные сети похожи на человеческий мозг, который представляет собой большую сеть обратной связи из связанных нейронов, которые каким-то образом могут научиться преобразовывать поток сенсорных входных сигналов, поступающий на протяжении всей жизни, в последовательность полезных моторных выходов.Мозг — замечательный образец для подражания, поскольку он может решить многие проблемы, которые современные машины еще не могут решить.

Исторически эти сети было трудно обучить, но в последнее время достижения в исследованиях (оптимизация, сетевая архитектура, параллелизм и графические процессоры [GPU]) сделали их более доступными для практиков.

Рекуррентные нейронные сети берут каждый вектор из последовательности входных векторов и моделируют их по одному. Это позволяет сети сохранять состояние при моделировании каждого входного вектора в окне входных векторов.Моделирование измерения времени — отличительная черта рекуррентных нейронных сетей.

Моделирование измерения времени

Рекуррентные нейронные сети считаются полными по Тьюрингу и могут моделировать произвольные программы (с весами). Если мы рассматриваем нейронные сети как оптимизацию по функциям, мы можем рассматривать рекуррентные нейронные сети как «оптимизацию по программам». Рекуррентные нейронные сети хорошо подходят для функций моделирования, для которых вход и / или выход состоят из векторов, которые включают временную зависимость между значениями.Рекуррентные нейронные сети моделируют временной аспект данных, создавая циклы в сети (отсюда «повторяющаяся» часть имени).

Затрудненное время

Многие инструменты классификации (машины опорных векторов, логистическая регрессия и регулярные сети с прямой связью) успешно применялись без моделирования временного измерения, предполагая независимость. Другие варианты этих инструментов фиксируют динамику времени, моделируя скользящее окно ввода (например, предыдущий, текущий и следующий ввод вместе как один вектор ввода).

Недостатком этих инструментов является то, что предположение о независимости во временной связи между входными данными модели не позволяет нашей модели фиксировать долгосрочные временные зависимости. Методы скользящего окна имеют ограниченную ширину окна и не позволяют улавливать какие-либо эффекты, превышающие фиксированный размер окна. Прекрасным примером этого является моделирование того, как работают разговоры, и то, что машины понимают, как правильно отвечать, когда разговор развивается с течением времени. Хорошо обученная рекуррентная нейронная сеть могла бы посоревноваться, например, в знаменитом тесте Тьюринга Алана Тьюринга, который пытается заставить человека думать, что он разговаривает с реальным человеком.

Временная обратная связь и петли в соединениях

Рекуррентные нейронные сети могут иметь петли в соединениях. Это позволяет им моделировать временное поведение с большей точностью в таких областях, как временные ряды, язык, аудио и текст.

На практике мы видим эту схему подключения реже, чем другие. DL4J также не использует эту схему. Однако мы сочли важным отметить этот вариант для контекста материала. Чаще всего мы видим связи между нейронами на одном временном шаге к следующему в каждом повторяющемся слое.

Данные в этих доменах по своей природе упорядочены и зависят от контекста, тогда как более поздние значения зависят от предыдущих. Подключение к рекуррентной нейронной сети позволяет осуществлять обратную связь таким образом, чтобы улавливать эти временные эффекты. В первую очередь мы видим, что архитектуры рекуррентных нейронных сетей применяются в областях временных рядов для приложений.

Рекуррентная нейронная сеть включает в себя цикл обратной связи, который она использует для обучения на основе последовательностей, включая последовательности различной длины.Рекуррентные нейронные сети содержат дополнительную матрицу параметров для связей между временными шагами, которые используются / обучаются для захвата временных отношений в данных.

Рекуррентные нейронные сети обучены генерировать последовательности, в которых выходные данные на каждом временном шаге основаны как на текущем входе, так и на входе на всех предыдущих временных шагах. Обычные рекуррентные нейронные сети вычисляют градиент с помощью алгоритма, называемого обратным распространением во времени (BPTT). Подробнее о BPTT мы поговорим позже в этой главе.

Последовательности и данные временных рядов

Мы находим последовательные данные во многих проблемных областях в промышленности, для которых наша модель должна выводить последовательность векторов:

В других доменах нам нужна последовательность входных векторов:

• Прогнозирование временных рядов
• Анализ видео
• Поиск музыкальной информации

И затем у нас есть домены, для которых требуется набор векторов ввода и вывода:

• Перевод на естественный язык ²⁶
• Вступление в диалог
• Управление роботом

Рекуррентные нейронные сети отличаются от других глубоких сетей тем, какой тип ввода они могут моделировать (нефиксированный ввод):

• Нефиксированные шаги вычислений
• Нефиксированный размер вывода
• Он может работать с последовательностями векторов, такими как кадры видео

Важным аспектом рекуррентных нейронных сетей является то, как мы можем работать с вводом и выводом уникальными способами.

Общие сведения о вводе и выводе модели

Традиционное машинное обучение основывается на концепции единого входного вектора фиксированного размера. В традиционных действиях по моделированию мы обычно видим отношение ввода-вывода фиксированного размера ввода к фиксированному размеру вывода.

Это обычно шаблон для моделирования в классификаторах зданий для классификации изображений или классификации столбчатых данных.

Рекуррентные нейронные сети изменяют эту динамику ввода, чтобы включить несколько входных векторов, по одному для каждого временного шага, и каждый вектор может иметь много столбцов.В следующем списке приведены примеры того, как рекуррентные нейронные сети работают с последовательностями входных и выходных векторов:

• «Один ко многим»: вывод последовательности. Например, заголовок изображения берет изображение и выводит последовательность слов.
• Многие-к-одному: ввод последовательности. Например, анализ тональности, когда вводится данное предложение.
• Многие-ко-многим: например, классификация видео: пометьте каждый кадр.

Теперь, когда мы рассмотрели варианты входных и выходных данных, давайте посмотрим, как эти входные данные представлены.

Ввод объема 3D

Входные данные в рекуррентные нейронные сети включают больше измерений, чем стандартные входные данные моделирования машинного обучения. Концептуально это похоже на CNN. У нас есть три измерения для ввода:

1. Размер мини-партии
2. Количество столбцов в нашем векторе на временной шаг
3. Количество временных шагов

Рисунок 4-17. Нормальные входные векторы по сравнению с рекуррентными входными данными нейронной сети

Размер мини-пакета — это количество входных записей (наборов точек временного ряда для одного исходного объекта), которые мы хотим моделировать для каждого пакета.Количество столбцов совпадает с обычным количеством столбцов функции, найденным в нормальном входном векторе. Количество временных шагов — это то, как мы представляем изменение входного вектора с течением времени. Это аспект временных рядов входных данных. Используя терминологию из предыдущего раздела, мы будем рассматривать любое количество временных шагов, превышающее 1, как «многие ко -» с точки зрения архитектуры ввода и вывода.

Неравномерные временные ряды и маскировка

Ранее мы описали, как с вводом рекуррентной нейронной сети у нас есть концепция временных шагов в дополнение к функциям в нашем векторе ввода.Рисунок 4-18 дает визуальное представление.

Рисунок 4-18. Аспект временного шага входных данных рекуррентной нейронной сети

Значение каждого столбца, вероятно, не будет встречаться на каждом временном шаге, особенно в случае, когда мы смешиваем данные дескриптора (например, столбцы из статической таблицы базы данных) с данными временного ряда (например, измерениями пульса пациента в отделении интенсивной терапии. каждую минуту). Для случаев, когда у нас есть «зубчатые» значения временного шага, нам нужно использовать , маскирование , чтобы DL4J знал, где наши реальные данные расположены в векторе.Мы делаем это, предоставляя дополнительную матрицу для маски, указывающую временные шаги, которые имеют входные данные по крайней мере для одного столбца, как показано на рисунке 4-19.

Рисунок 4-19. Маскирование определенных временных шагов

Глава 3 предоставляет реальные примеры кода, которые показывают, как мы устанавливаем эти маски.

Почему не марковские модели?

Имея дело с временным измерением в наших моделях, мы, естественно, могли бы рассмотреть марковские модели как вариант. Марковские модели — это еще один класс моделей машинного обучения, которые широко используются для моделирования последовательностей.Ограничивающим фактором с марковскими моделями является то, что по мере увеличения размера их контекстного окна в конечном итоге эти модели становятся непрактичными с вычислительной точки зрения для моделирования дальнодействующих зависимостей.

Рекуррентные нейронные сети (модели коннекционистов) лучше, чем модели Маркова (и другие модели с ограниченным временным окном), потому что они могут фиксировать долгосрочные временные зависимости во входных данных. Рекуррентные нейронные сети достигают этого, потому что их скрытое состояние захватывает информацию из произвольно длинного окна контекста и не имеет ограничений других методов.Более того, количество состояний, которые они могут моделировать, представлено скрытым слоем узлов, и эти состояния растут экспоненциально с количеством узлов в слое. Это делает рекуррентные нейронные сети исключительными для сбора большого количества важной информации во времени по множеству входных векторов.

Общая архитектура рекуррентной нейронной сети

Рекуррентные нейронные сети — это надмножество нейронных сетей с прямой связью, но они добавляют концепцию повторяющихся соединений.Эти соединения (или повторяющиеся ребра) охватывают смежные временные шаги (например, предыдущий временной шаг), придавая модели понятие времени. Обычные связи не содержат циклов в рекуррентных нейронных сетях. Однако повторяющиеся соединения могут образовывать циклы, включая соединения с самими исходными нейронами на будущих временных шагах.

Архитектура рекуррентных нейронных сетей и временные шаги

На каждом временном шаге отправки ввода через повторяющуюся сеть узлы, получающие ввод вдоль повторяющихся ребер, получают активации ввода от текущего вектора ввода и от скрытых узлов в предыдущем состоянии сети.

Выход вычисляется из скрытого состояния на заданном временном шаге. Предыдущий вектор ввода на предыдущем временном шаге может влиять на текущий вывод на текущем временном шаге через повторяющиеся соединения.

Мы можем связать слои этих специализированных рекуррентных нейронов вместе, чтобы построить лучшие модели. Мы соединяем выход предыдущего слоя со входом следующего слоя аналогично тому, как мы подключаем многослойные нейронные сети с прямой связью.

Сети LSTM

LSTM — это наиболее часто используемый вариант рекуррентных нейронных сетей.Сети LSTM были введены в 1997 году Хохрайтером и Шмидхубером. ²⁷

Критическим компонентом LSTM ²⁸ является ячейка памяти и вентили (включая вентиль забывания, ²⁹ , но также входной вентиль). Содержимое ячейки памяти модулируется входными воротами и воротами забвения. ³⁰ Предполагая, что оба эти шлюза закрыты, содержимое ячейки памяти останется неизменным между одним временным шагом и следующим. Стробирующая структура позволяет сохранять информацию на многих временных шагах и, следовательно, также позволяет градиентам течь через многие временные шаги.Это позволяет модели LSTM преодолеть проблему исчезающего градиента, которая возникает в большинстве моделей рекуррентных нейронных сетей.

Свойства сетей LSTM

LSTM известны следующим образом:

• Уравнения лучшего обновления
• Лучшее обратное распространение

Вот несколько примеров использования LSTM:

• Создание предложений (например, языковые модели на уровне символов)
• Классифицирующий временной ряд
• Распознавание речи
• Распознавание рукописного ввода
• Полифоническое музыкальное моделирование

Архитектура LSTM и двунаправленных рекуррентных нейронных сетей (BRNN) за последние годы продемонстрировала ведущие в отрасли тесты для выполнения следующих задач:

• Подписи к изображению
• Языковой перевод
• Распознавание рукописного ввода

Сети LSTM состоят из множества связанных ячеек LSTM и хорошо работают с точки зрения эффективности во время обучения.

Вычислительная сложность операций прямого и обратного прохода линейно масштабируется с количеством временных шагов во входной последовательности.

В следующих разделах мы даем обзор архитектуры и компонентов LSTM.

Архитектура сети LSTM

Чтобы лучше понять сложную организацию соединений между модулями и уровнями в сетях LSTM, давайте опираемся на некоторые более ранние концепции.

Ранее в этой книге мы разработали концепцию многослойной нейронной сети с прямой связью, как показано на рис. 4-20.

Рисунок 4-20. Архитектура многослойной нейронной сети с прямой связью

Если бы мы показали каждый уровень сети, показанной на рис. 4-20, как отдельный узел в уплощенном представлении, это выглядело бы, как на рис. 4-21.

Рисунок 4-21. Визуально прямая многослойная сеть

В рамках рекуррентных нейронных сетей мы представляем идею типа соединения, которое соединяет выход нейрона скрытого слоя в качестве входа в тот же нейрон скрытого слоя. С помощью этого повторяющегося соединения мы можем принимать входные данные из предыдущего временного шага в нейрон как часть входящей информации.

Рисунок 4-22 демонстрирует, что сглаживая сеть, показанную на рисунке 4-21, мы можем более легко визуализировать повторяющиеся соединения в LSTM.

Рисунок 4-22. Отображение повторяющихся соединений на узлах скрытого слоя

На рис. 4-23 показано, как мы можем визуально понять это, «развернув» схему сети на рис. 4-22, чтобы показать, как информация «течет» по сети с прямой связью и «во времени».

Рисунок 4-23. Рекуррентная нейронная сеть, развернутая по оси времени

LSTM передают больше информации через повторяющееся соединение, чем традиционные рекуррентные нейронные сети, как мы увидим в следующем разделе.

Агрегаты LSTM

Модули в слоях рекуррентных нейронных сетей представляют собой разновидность классического искусственного нейрона.

Каждый модуль LSTM имеет два типа подключений:

• Подключения из предыдущего временного шага (выходы этих модулей)
• Соединения из предыдущего слоя

Ячейка памяти в сети LSTM является центральной концепцией, которая позволяет сети поддерживать состояние во времени. Основной корпус модуля LSTM называется блоком LSTM , как показано на рисунке 4-24.

Рисунок 4-24. Блок-схема LSTM

Вот компоненты в модуле LSTM:

• Три ворот
  • входной вентиль (входной вентиль модуляции)
  • ворота забыть
  • выходной вентиль
• Вход блока
• Ячейка памяти (карусель постоянных ошибок)
• Функция активации выхода
• Глазковые штуцеры

Есть три блока затворов, которые учатся защищать линейный блок от вводящих в заблуждение сигналов:

• Входной вентиль защищает устройство от несущественных событий входа.
• Шлюз забывания помогает устройству забыть предыдущее содержимое памяти.
• Выходной вентиль показывает содержимое ячейки памяти (или нет) на выходе модуля LSTM.

Выход блока LSTM рекуррентно подключается обратно к входу блока и всем воротам для блока LSTM. Шлюзы ввода, забвения и вывода в модуле LSTM имеют сигмоидальные функции активации для ограничения [0, 1]. Функция активации входа и выхода блока LSTM (обычно) является функцией активации tanh.

Выход активации 1.0 означает «все запомнить», а выход активации 0,0 означает «забыть все». С другой стороны, лучшим названием для ворот забвения могло бы быть «ворота воспоминания»!

Имея это в виду, мы обычно инициализируем смещение шлюза забывания большим значением, чтобы позволить изучение долгосрочных зависимостей (где большое значение == 1.0 по умолчанию в DL4J).

Используя обозначения Греффа и др., ³¹ На рисунке 4-25 представлены векторные формулы для прямого прохода слоя LSTM.

Рисунок 4-25. Векторные формулы для прямого прохода слоя LSTM

В Таблице 4-1 перечислены отдельные переменные в уравнениях на Рисунке 4-25.

Самовоспроизводящееся соединение имеет фиксированный вес 1.0 (кроме случаев модуляции), чтобы преодолеть проблемы с исчезающими градиентами. Этот базовый модуль позволяет модулям LSTM обнаруживать события более дальнего действия в последовательностях. Эти события могут охватывать до 1000 дискретных временных шагов по сравнению с более старыми повторяющимися архитектурами, которые могли моделировать события всего за 10 временных шагов.

Слои LSTM

Базовый слой принимает входной вектор x (нефиксированный) и выдает выходные данные y . Выход y зависит от входа x и истории всех входов.На уровень влияет история входов через повторяющиеся соединения. RNN имеет некоторое внутреннее состояние, которое обновляется каждый раз, когда мы вводим вектор в слой. Состояние состоит из одного скрытого вектора.

Обучение

LSTM используют контролируемое обучение для обновления весов в сети. Они обучаются по одному входному вектору за раз в последовательности векторов. Векторы являются действительными и становятся последовательностями активаций входных узлов. Каждая невходная единица вычисляет свою текущую активацию на любом заданном временном шаге.Это значение активации вычисляется как нелинейная функция взвешенной суммы активаций всех устройств, от которых он получает соединения.

Для каждого вектора ввода в последовательности ввода ошибка равна сумме отклонений всех целевых сигналов от соответствующих активаций, вычисленных сетью. Теперь давайте посмотрим на вариант обратного распространения ошибки BPTT, используемый с рекуррентными нейронными сетями, включая LSTM.

BPTT и усеченный BPTT

Рекуррентное обучение нейронной сети может быть дорогостоящим в вычислительном отношении.Традиционный вариант — использовать BPTT.

Примечание

BPTT в основном аналогичен стандартному обратному распространению: мы применяем цепное правило для определения производных (градиентов) на основе структуры соединений в сети. Это через время в том смысле, что некоторые из этих сигналов градиентов / ошибок также будут течь в обратном направлении от будущих временных шагов к текущим временным шагам, а не только от уровня выше (как это происходит при стандартном обратном распространении).

Когда наша рекуррентная сеть имеет дело с длинными последовательностями с большим количеством временных шагов, мы рекомендуем альтернативно использовать усеченный BPTT.Усеченный BPTT снижает вычислительную сложность каждого обновления параметра в рекуррентной нейронной сети.

Выполнение более частого обновления параметров ускоряет повторное обучение нейронной сети. Мы рекомендуем усеченный BPTT, если входные последовательности превышают несколько сотен временных шагов.

Чтобы лучше понять концепции, связанные с усеченным BPTT, давайте рассмотрим, что происходит, когда мы обучаем сеть с вводом временного ряда длиной 12 (временные шаги). В этом сценарии нам нужно выполнить прямой проход из 12 шагов, а затем вычислить ошибку сети.Затем сделайте обратный проход из 12 временных шагов, как показано на рисунке 4-26.

Рисунок 4-26. Стандартный BPTT

На рисунке 12 временных шагов не так уж и сложны для тренировочного процесса. Когда мы переходим к моделям, которые обучаются на данных временных рядов из нескольких сотен шагов или более, мы обнаруживаем, что обучение становится все труднее. Если бы количество шагов во входных данных временного ряда составляло 1000 шагов, стандартное обучение обратному распространению потребовало бы 1000 временных шагов для каждого прямого и обратного прохода (для каждого отдельного обновления параметра).Это быстро становится дорогостоящим с точки зрения вычислений, поэтому мы рассматриваем альтернативные методы обучения, такие как BPTT и усеченный BPTT.

Усеченный BPTT разделяет прямой и обратный проходы на более мелкие операции. Усеченный BPTT, показанный на рис. 4-27, принимает меньший прямой проход, делает такой же небольшой обратный проход, а затем обновляет предполагаемый параметр. Этот меньший размер прохода является гиперпараметром, настраиваемым пользователем. На рисунке видно, что размер усеченного прохода BPTT составляет четыре временных шага.

Рисунок 4-27. Усеченный BPTT

Усеченный BPTT в настоящее время считается наиболее практичным методом обучения рекуррентных нейронных сетей. С усеченным BPTT мы можем фиксировать долгосрочные зависимости с меньшими вычислительными затратами, чем обычный BPTT.

Общая сложность стандартного BPTT и усеченного BPTT аналогична и требует одинакового количества временных шагов во время обучения. Однако мы получаем больше обновлений параметров примерно с таким же объемом вычислений (хотя есть некоторые накладные расходы для каждого обновления параметра).Как и во всех приближениях, мы видим небольшой недостаток при использовании усеченного BPTT; длина зависимостей, полученных в усеченном BPTT, может оказаться короче, чем результаты полного алгоритма BPTT. На практике этот компромисс скорости обычно стоит того, если усеченная длина BPTT установлена ​​правильно.

Приложения для конкретных доменов и смешанные сети

Как упоминалось ранее, рекуррентные нейронные сети выполняют множество приложений, зависящих от предметной области, таких как преобразование речи в текст, машинный перевод и создание рукописного текста.Рекуррентные нейронные сети доказали свою пригодность в мире компьютерного зрения и могут делать следующее:

• Анализ видео на уровне кадра ³³
• Подписи к изображению
• Субтитры к видео ³⁴
• Визуальный ответ на вопрос ³⁵

Еще одна развивающаяся область исследований компьютерного зрения с рекуррентными нейронными сетями — это сеть, которая может извлекать информацию из изображения, обрабатывая только небольшую область за раз, и называется рекуррентными моделями визуального внимания. ³⁶ Эти модели эффективны при работе с изображениями, которые загромождены множеством объектов и которые сложнее классифицировать CNN. Эти сети объединяют CNN для первичного восприятия и рекуррентные нейронные сети для моделирования во временной области.

Другой примечательной гибридной сетью CNN + RNN является работа Андрея Карпати и Ли Фей-Фея, в которой сеть генерирует описания изображений и их регионов на естественном языке. ³⁷ Модель может генерировать подписи к изображениям, используя наборы данных изображений и соответствующие им предложения, как показано на рисунке 4-28.

Рисунок 4-28. Маркировка изображений с помощью смешанной CNN / рекуррентной нейронной сети

Этот тип сети представляет собой комбинацию CNN и BRNN.

, как и рекуррентные нейронные сети, могут работать с входными данными переменной длины. Основное отличие состоит в том, что рекуррентные нейронные сети могут моделировать иерархические структуры в обучающем наборе данных. Изображения обычно представляют собой сцену, состоящую из множества объектов. Деконструкция сцен часто представляет собой интересную проблемную область, но это нетривиально.Рекурсивный характер этой деконструкции заставляет нас не только идентифицировать объекты в сцене, но также и то, как объекты соотносятся с формированием сцены.

Сетевая архитектура

Архитектура рекурсивной нейронной сети состоит из матрицы общих весов и бинарной древовидной структуры, которая позволяет рекурсивной сети изучать различные последовательности слов или частей изображения. Это полезно в качестве парсера предложений и сцен. Рекурсивные нейронные сети используют вариант обратного распространения, называемый обратным распространением через структуру (BPTS).Прямое распространение происходит снизу вверх, а обратное распространение — сверху вниз. Думайте о цели как о вершине дерева, а входные данные — как о нижней части.

Разновидности рекурсивных нейронных сетей

Рекурсивные нейронные сети бывают нескольких разновидностей. Один из них — рекурсивный автоэнкодер. Как и его кузен с прямой связью, рекурсивные автоэнкодеры учатся восстанавливать ввод. В случае НЛП он учится реконструировать контексты. Полууправляемый рекурсивный автоэнкодер изучает вероятность появления определенных меток в каждом контексте.

Другой вариант этого — контролируемая нейронная сеть, называемая рекурсивной нейронной тензорной сетью, которая вычисляет контролируемую цель в каждом узле дерева. Тензорная часть этого означает, что он вычисляет градиент немного по-другому, учитывая больше информации в каждом узле, используя преимущества другого измерения информации с помощью тензора (матрицы из трех или более измерений).

Приложения рекурсивных нейронных сетей

И рекурсивные, и рекуррентные нейронные сети имеют много общих вариантов использования.Рекуррентные нейронные сети традиционно используются в НЛП из-за их связи с бинарными деревьями, контекстами и синтаксическими анализаторами на основе естественного языка. Например, анализаторы избирательного округа могут разбить предложение на двоичное дерево, сегментируя его по лингвистическим свойствам предложения. В случае рекурсивных нейронных сетей ограничением является то, что мы используем синтаксический анализатор, который строит древовидную структуру (обычно синтаксический анализ избирательного округа).

могут восстанавливать как детализированную структуру, так и иерархическую структуру более высокого уровня в наборах данных, таких как изображения или предложения.Приложения для рекурсивных нейронных сетей включают следующее:

• Декомпозиция сцены изображения
• НЛП
• Преобразование аудио в текст

Две специфические конфигурации сети, которые мы видим на практике, — это рекурсивные автоэнкодеры и рекурсивные нейронные тензоры. Мы используем рекурсивные автоэнкодеры, чтобы разбивать предложения на сегменты для НЛП. Мы используем рекурсивные нейронные тензоры, чтобы разбить изображение на составляющие его объекты и семантически пометить объекты в сцене.

, как правило, быстрее обучаются, поэтому мы обычно используем их в более временных приложениях, но было показано, что они хорошо работают и в областях, основанных на НЛП, таких как анализ настроений.

В этой главе мы рассмотрели самые последние основные архитектуры глубокого обучения. Таким образом, чтобы сгруппировать и резюмировать эти архитектуры, отметим следующее:

• Для создания данных (например, изображений, аудио или текста) мы будем использовать:
  • GAN
  • VAE
  • Рекуррентные нейронные сети
• Для моделирования изображений мы, вероятно, будем использовать:
• Для моделирования данных последовательности мы, вероятно, будем использовать:
  • Рекуррентные нейронные сети / LSTM

В следующих главах мы представляем реальные примеры кода для большинства этих сетей и рассматриваем вопросы обучения и настройки для различных типов нейронных сетей.В главе 5 мы увидим, как эти концепции объединяются в примерах API, в которых мы видим библиотеку глубокого обучения DL4J в действии. Прежде чем перейти к другим примерам, давайте обсудим несколько тем, которые часто возникают в контексте глубокого обучения.

Сделает ли глубокое обучение устаревшими другие алгоритмы?

Споры о том, что глубокое обучение делает другие алгоритмы моделирования устаревшими, много раз всплывают на досках сообщений в Интернете. Сегодня ответ — «нет», потому что мы видим, что для многих более простых приложений машинного обучения гораздо более простые алгоритмы отлично работают для обеспечения требуемой точности модели.С такими моделями, как логистическая регрессия, также легче работать, поэтому при принятии этого решения нам необходимо сопоставить уровень усилий с требуемой точностью в предметной области. Однако алгоритмы глубокого обучения, как правило, работают хорошо, когда мы мало разбираемся в прикладной области и изо всех сил пытаемся выполнить расширенное ручное построение функций.

У разных проблем разные лучшие методы

Машинное обучение в целом — это применение правильного подхода в соответствующей ситуации.Мы еще не дошли до того момента, когда единая техника будет доминировать в ландшафте, поэтому нам нужно оценивать проблемное пространство и данные каждый раз, когда мы ищем лучшую модель для применения. Это основано на «теореме об отсутствии бесплатного обеда».

Теорема «нет бесплатного обеда» утверждает, что не существует единой модели, которая бы подходила для каждой задачи. Допущения для отличной модели для одной проблемы могут не подходить для другой проблемы. В машинном обучении принято пробовать несколько моделей и находить ту, которая лучше всего подходит для конкретной задачи.

Каждый метод машинного обучения имеет некоторую предвзятость и вариативность. Чем ближе наша модель к истинной базовой модели, тем лучше мы в среднем можем справиться с нашим алгоритмом обучения.

Другой способ понять это — рассмотреть это с точки зрения практического примера. Если данные явно линейны, как видно на визуализациях, попытаетесь ли вы сопоставить данные с нелинейной моделью (например, многослойным персептроном)? Нет, вы, вероятно, подойдете к проблеме с помощью чего-то более простого, например, логистической регрессии.В соревнованиях Kaggle наиболее эффективный метод варьируется от соревнования к соревнованию. Однако случайные леса и ансамблевые методы, как правило, выигрывают, когда глубокое обучение не помогает.

Размер входного набора данных может быть еще одним фактором, определяющим, насколько глубокое обучение может быть подходящим для данной проблемы. Эмпирические результаты за последние несколько лет показали, что глубокое обучение обеспечивает лучшую предсказательную силу, когда набор данных достаточно велик. Это означает, что результаты глубокого обучения улучшаются по мере увеличения размера набора данных.Нейронные сети обладают большей репрезентативной способностью, чем линейные модели, и могут лучше использовать данные. Хорошее практическое правило состоит в том, что практикующий должен уметь обучать нейронную сеть, используя не менее 5000 примеров, помеченных как вводимые данные.

Когда мне нужно глубокое обучение?

В заключение этой главы мы хотим дать вам простой набор правил, которые помогут ответить на вопрос: нужно ли в этом проекте использовать глубокое обучение?

Когда использовать глубокое обучение

Вам следует использовать глубокое обучение, когда…

• Более простые модели (логистическая регрессия) не обеспечивают необходимый уровень точности
• У вас есть сложное сопоставление с образцом в изображениях, НЛП или аудио, с которыми нужно иметь дело.
• У вас есть данные высокой размерности
• В ваших векторах (последовательностях) есть измерение времени

Когда лучше использовать традиционное машинное обучение

Вам следует использовать традиционную модель машинного обучения, когда …

• У вас есть высококачественные низкоразмерные данные; например, столбчатые данные из экспорта базы данных
• Вы не пытаетесь найти сложные закономерности в данных изображения

Вы получите плохие результаты от обоих методов, если данные будут неполными и / или плохого качества.

¹ Goodfellow et al. 2014. «Генеративные состязательные сети».

² Вондрик, Пирсиаваш и Торральба. 2016. «Создание видео с динамикой сцены».

³ Zhang et al. 2016. «StackGAN: синтез текста в фотореалистичное изображение с помощью составных генеративных состязательных сетей».

⁴ Изображение из репозитория авторов DCGAN на GitHub.

⁵ Мирза и Осиндеро. 2014. «Условно порождающие состязательные сети.”

⁶ Kalchbrenner et al. 2016. «Нейронный машинный перевод в линейном времени».

⁷ Gehring et al. 2016. «Модель сверточного кодировщика для нейронного машинного перевода».

⁸ Ногейра душ Сантуш и Гатти. 2014. «Глубокие сверточные нейронные сети для анализа тональности коротких текстов».

⁹ Eickenberg et al. 2017. «Увидеть все: слои сверточной сети отображают функции зрительной системы человека».

¹⁰ Крижевский и др.2012. «Классификация ImageNet с глубокими сверточными нейронными сетями».

¹¹ Другой гиперпараметр, обычно встречающийся в CNN, называется дилатацией. DL4J в настоящее время не поддерживает расширение, начиная с версии 0.7.

¹² Иоффе и Сегеди. 2015. «Пакетная нормализация: ускорение глубокого обучения сети за счет уменьшения внутреннего ковариантного сдвига».

¹³ Cooijmans et al. 2016. «Рекуррентная пакетная нормализация».

¹⁴ Миллетари, Наваб и Ахмади.2016. «V-Net: Полностью сверточные нейронные сети для объемной сегментации медицинских изображений».

¹⁵ Матурана и Шерер. 2015. «VoxNet: трехмерная сверточная нейронная сеть для распознавания объектов в реальном времени».

¹⁶ Хенафф, Бруна и ЛеКун. 2015. «Глубокие сверточные сети на графических данных».

¹⁷ Conneau et al. 2016. «Очень глубокие сверточные сети для классификации текста».

¹⁸ LeCun et al.1998. «Градиентное обучение применительно к распознаванию документов».

¹⁹ Крижевский, Суцкевер и Хинтон. 2012. «Классификация ImageNet с глубокими сверточными нейронными сетями».

²⁰ Цайлер и Фергус. 2013. «Визуализация и понимание сверточных сетей».

²¹ Szegedy et al. 2015. «Углубляясь в свертки».

²² Симонян и Зиссерман. 2015. «Очень глубокие сверточные сети для распознавания крупномасштабных изображений.”

²³ He et al. 2015. «Глубокое остаточное обучение для распознавания изображений».

²⁴ Грейвс и Джайтли. 2014. «На пути к сквозному распознаванию речи с рекуррентной нейронной сетью».

²⁵ Найеби и Вителли. 2015. «ГРУВ: алгоритмическое создание музыки с использованием рекуррентных нейронных сетей».

²⁶ Суцкевер, Виньялс и Ле. 2014. «Последовательность для последовательного обучения с помощью нейронных сетей».

²⁷ Хохрайтер и Шмидхубер.1997. «Долговременная кратковременная память».

²⁸ Могилы. 2012. «Контролируемое маркирование последовательностей с помощью рекуррентных нейронных сетей».

²⁹ Герс, Шмидхубер и Камминс. 1999. «Учимся забывать: постоянное прогнозирование с помощью LSTM».

³⁰ Могилы. 2012. «Контролируемое маркирование последовательностей с помощью рекуррентных нейронных сетей».

³¹ Greff et al. 2015. «LSTM: космическая одиссея поиска».

³² Cho et al. 2014. «Изучение представлений фраз с использованием кодировщика-декодера RNN для статистического машинного перевода.”

³³ Шривастава, Мансимов и Салахутдинов. 2015. «Неконтролируемое обучение видеопредставлений с использованием LSTM».

³⁴ Venugopalan et al. 2014. «Перевод видео на естественный язык с помощью глубоких рекуррентных нейронных сетей».

³⁵ Wu et al. 2016. «Подписи к изображениям и визуальные ответы на вопросы на основе атрибутов и внешних знаний».

³⁶ Mnih et al. 2014. «Рекуррентные модели визуального внимания».

³⁷ Карпаты и Фей-Фей.2014. «Глубокие визуально-семантические согласования для создания описаний изображений».

³⁸ Изображение из Карпат и Фей-Фей. 2014. «Глубокие визуально-семантические согласования для создания описаний изображений».

(PDF) Передача обучения через глубокие нейронные сети для классификации системы фиксации имплантата с использованием периапикальных рентгенограмм

J. Clin. Med. 2020,9, 1117 10 из 11

11.

Swierkot, K .; Lottholz, P .; Флорес-де-Жакоби, Л .; Менгель, Р. Мукозит, периимплантит, успех имплантата,

и выживаемость имплантатов у пациентов с пролеченным генерализованным агрессивным пародонтитом: результаты проспективного долгосрочного когортного исследования

за 3–16 лет.J. Periodontol. 2012 г., 83, 1213–1225. [CrossRef] [PubMed]

12.

Pjetursson, B.E .; Thoma, D .; Jung, R .; Zwahlen, M .; Zembic, A. Систематический обзор выживаемости и частоты осложнений

фиксированных зубных протезов (FDP) с опорой на имплантаты после среднего периода наблюдения

не менее 5 лет. Clin. Оральный имплант. Res. 2012 г., 23, 22–38. [CrossRef] [PubMed]

13.

Al-Johany, S.S .; Аль Амри, доктор медицины; Alsaeed, S .; Алалола, Б. Длина и диаметр зубного имплантата: предлагаемая схема классификации

.J. Prosthodont. 2017 г., 26, 252–260. [CrossRef] [PubMed]

14.

Michelinakis, G .; Sharrock, A .; Барклай, К.В. Идентификация дентальных имплантатов с помощью программного обеспечения для распознавания Implant

(IRS). Int. Вмятина. J. 2006,56, 203–208. [CrossRef]

15.

Jokstad, A .; Braegger, U .; Brunski, J.B .; Carr, A.B .; Naert, I .; Веннерберг, А. Качество дентальных имплантатов.

Внутр. Вмятина. J. 2003, 53, 409–443. [CrossRef]

16.

Лаззара, Р.J. Критерии выбора имплантата: хирургические и ортопедические аспекты. Практик. Пародонтология эстетическая

Дент. PPAD 1994,6, 55–62.

17.

Деменко, В .; Линецкий, И .; Несвит, К .; Шевченко, А. Предельная жевательная сила как критерий при выборе имплантата

. J. Dent. Res. 2011,90, 1211–1215. [CrossRef]

18. Palmer, R.M .; Howe, L.C .; Палмер П.Дж. Имплантаты в клинической стоматологии; CRC Press: Бока-Ратон, Флорида, США, 2011.

19.

Джаарда, М.J .; Razzoog, M.E .; Граттон, Д. Геометрическое сравнение пяти сменных протезных имплантатов

фиксирующих винтов. J. Prosthet. Вмятина. 1995,74, 373–379. [CrossRef]

20.

Al-Wahadni, A .; Barakat, M.S .; Abu Affeh, K .; Хадер Ю. Наиболее распространенные практики стоматологов при выборе системы имплантатов

. J. Prosthodont. 2018 г., 27, 250–259. [CrossRef]

21.

Голден, J.A. Алгоритмы глубокого обучения для обнаружения метастазов в лимфатические узлы от рака груди: помощь

искусственному интеллекту.JAMA 2017, 318, 2184–2186. [CrossRef]

22.

Ghosh, R .; Ghosh, K .; Майтра, С. Автоматическое обнаружение и классификация стадий диабетической ретинопатии с использованием

CNN. В материалах 4-й Международной конференции 2017 г. по обработке сигналов и интегрированным сетям,

Нойда, Индия, 2–3 февраля 2017 г .; С. 550–554.

23.

Pham, T.-C .; Luong, C.-M .; Visani, M .; Хоанг, В.-Д. Глубокая CNN и увеличение данных для поражения кожи

классификация.В материалах Азиатской конференции по интеллектуальной информации и системам баз данных,

, город Донгхой, Вьетнам, 19–21 марта 2018 г .; С. 573–582. [CrossRef]

24.

Hwang, J.J .; Jung, Y.H .; Cho, B.H .; Хео, М.С. Обзор глубокого обучения в области стоматологии.

Imaging Sci. Вмятина. 2019,49, 1–7. [CrossRef]

25.

Casalegno, F .; Ньютон, Т .; Daher, R .; Абдельазиз, М .; Лоди-Риццини, А .; Schurmann, F .; Krejci, I .; Маркрам, Х.

Обнаружение кариеса с просвечиванием в ближнем инфракрасном диапазоне с использованием глубокого обучения.J. Dent. Res.

2019

, 98, 1227–1233.

[CrossRef]

26.

Lee, J.H .; Kim, D.H .; Jeong, S.N .; Чой, С. Обнаружение и диагностика кариеса зубов с использованием алгоритма сверточной нейронной сети, основанного на глубоком обучении

. J. Dent. 2018,77, 106–111. [CrossRef]

27.

Krois, J .; Ekert, T .; Meinhold, L .; Golla, T .; Харбот, Б .; Виттемайер, А .; Dorfer, C .; Schwendicke, F. Deep

Обучение радиографическому обнаружению потери пародонтальной кости.Sci. Rep. 2019,9, 8495. [CrossRef]

28.

Kim, J .; Lee, H.S .; Песня, I.S .; Юнг, К. DeNTNet: Deep Neural Transfer Network для обнаружения

пародонтальной потери костной массы с помощью панорамных стоматологических рентгенограмм. Sci. Rep. 2019,9, 17615. [CrossRef]

29.

Canziani, A .; Paszke, A .; Кулурсьелло, Э. Анализ моделей глубоких нейронных сетей для практических приложений.

arXiv 2016, arXiv: 1605.07678.

30.

Bianco, S .; Каден, Р.; Celona, ​​L .; Наполетано П. Сравнительный анализ репрезентативных сетевых архитектур глубоких нейронных сетей

. IEEE Access 2018,6, 64270–64277. [CrossRef]

31.

Русаковский, О .; Deng, J .; Вс, ч .; Krause, J .; Satheesh, S .; Ma, S .; Хуанг, З .; Карпаты, А .; Хосла, А .; Бернштейн, М .;

и др. ImageNet — крупномасштабная задача визуального распознавания. Int. J. Comput. Vis. 2015, 115, 211–252. [CrossRef]

32.

Iandola, F .; Han, S .; Москевич, М .; Ашраф, К.; Dally, W .; Койцер, К. SqueezeNet: точность на уровне AlexNet

с в 50 раз меньшим количеством параметров и размером модели <0,5 МБ. arXiv 2016, arXiv: 1602.07360.

33.

Zeng, P.Y .; Rane, N .; Du, W .; Chintapalli, J .; Прендергаст, Г. Роль RhoB и PRK в подавлении трансформации эпителиальных клеток

ингибиторами фарнезилтрансферазы. Онкоген 2003,22, 1124–1134. [CrossRef]

34.

Szegedy, C .; Wei, L .; Yangqing, J .; Sermanet, P .; Рид, С.; Ангуелов, Д .; Erhan, D .; Vanhoucke, V .; Рабинович, А.

Углубляем извилины. В материалах конференции IEEE 2015 г. по компьютерному зрению и

распознаванию образов, Бостон, Массачусетс, США, 7–12 июня 2015 г .; С. 1–9.

Улучшение речи на основе нейронных сетей улучшает разборчивость речи в шуме для пользователей кохлеарных имплантатов

Основные моменты

•

Алгоритм для оценивается улучшение разборчивости речи в шуме для пользователей кохлеарных имплантатов.

•

Значительные улучшения были обнаружены для стационарных и нестационарных типов шума.

•

Он подходит для новых динамиков и работает в широком диапазоне отношений сигнал / шум.

•

Малая алгоритмическая задержка делает его пригодным для приложений в реальном времени.

Abstract

Понимание речи в шумной обстановке по-прежнему остается одной из основных проблем для пользователей кохлеарных имплантатов (КИ) в повседневной жизни.Мы оценили алгоритм улучшения речи на основе нейронных сетей (NNSE) для улучшения разборчивости речи в шуме для пользователей CI. Алгоритм разлагает зашумленный речевой сигнал на частотно-временные единицы, выделяет набор слуховых характеристик и передает их в нейронную сеть, чтобы произвести оценку того, какие частотные каналы содержат более важную для восприятия информацию (более высокое отношение сигнал / шум, SNR). Эта оценка используется для ослабления с преобладанием шума и сохранения каналов CI с преобладанием речи для электрической стимуляции, как в традиционных стратегиях кодирования n -of- m CI.Предложенный алгоритм был оценен путем измерения характеристик «речь в шуме» 14 пользователей CI с использованием трех типов фонового шума. Сравнивались два алгоритма NNSE: зависимый от говорящего алгоритм, который был обучен на целевом говорящем, используемом для тестирования, и независимый от говорящего алгоритм, который был обучен на разных говорящих. Значительные улучшения разборчивости речи в стационарных и флуктуирующих шумах были обнаружены по сравнению с необработанным условием для алгоритма, зависящего от говорящего, для всех типов шума и для независимого от говорящего алгоритма в 2 из 3 типов шума.В алгоритмах NNSE использовались нейронные сети, зависящие от шума, которые обобщались на новые сегменты того же типа шума и работали в диапазоне SNR. Предлагаемый алгоритм может улучшить разборчивость речи в шуме для пользователей CI, одновременно отвечая требованиям низкой вычислительной сложности и задержки обработки для применения в устройствах CI.

Ключевые слова

Кохлеарные имплантаты

Снижение шума

Улучшение речи

Машинное обучение

Нейронные сети

Рекомендуемые статьиЦитирующие статьи (0)

© 2016 Авторы.Опубликовано Elsevier B.V.

Рекомендуемые статьи

Цитирование статей

Поможет ли этот имплантат мозга «нейронное кружево» конкурировать с ИИ? — Такие романтические факты

Беспилотные автомобили на солнечных батареях, многоразовые космические корабли, транспорт Hyperloop, миссия по колонизации Марса: Илон Маск одержим идеей воплотить эти когда-то надуманные фантазии в реальность. Но ни одна из этих технологий не сделала его таким подозрительным, как искусственный интеллект.Ранее этим летом на Code Conference 2016 Маск публично заявил, что с учетом текущего уровня ИИ. прогресс, люди могли в конечном итоге ожидать, что они останутся позади — когнитивно, интеллектуально — «по многим». Его решение этой неприятной судьбы — новый интерфейс мозг-компьютер, похожий на имплантируемое «нейронное кружево», описанное шотландским писателем Иэном М. Бэнксом в книге Look to Windward , входящей в его книги «Культурная серия». Помимо того, что он служит обрядом посвящения, он улучшает человеческий мозг, делая его более конкурентоспособным по сравнению с A.I. с человеческим или более высоким интеллектом.

Умный искусственный интеллект, безусловно, разрабатывается, но как далеко мы продвинулись в создании нейронного кружева? На конференции Маск сказал, что не знает ни одной компании, которая работала бы над одной из них. Но в прошлом году группа исследователей под руководством Чарльза Либера, профессора химии Марка Хаймана в Гарвардском университете, описала в Nature Nanotechnology кружевообразную электронную сетку, которую «можно буквально ввести» в трехмерные синтетические и биологические структуры. как мозг.Это был серьезный шаг.

Статья его команды, опубликованная 29 августа в Nature Methods , расширяет эту более раннюю работу, чтобы показать, что имплантаты сетчатого мозга легко интегрируются в мозг мыши и позволяют регистрировать нейроны в течение как минимум восьми месяцев. «В науке я временами разочаровывался, и это тот случай, когда мы были более чем приятно удивлены», — говорит Либер. Что на самом деле означает это развитие для тех из нас, кто надеется обзавестись нейронным шнурком?

Недавно я разговаривал с Либером, возможно, одним из ученых, способных воплотить в жизнь это научно-фантастическое предсказание.

Цель вашей лаборатории — создать что-то вроде нейронного кружева, о котором Илон Маск упомянул этим летом?

Не думаю, что это так нереально. Кто-то может сказать: «Ну, мы уже можем многое сделать с интерфейсами мозг-машина», и это правда. Но я думаю, что фактический интерфейс с мозгом сегодня настолько груб, и он во многом зависит от мощности вычислений или анализа сигналов вне мозга.Что мы пытаемся сделать, так это создать электронную схему, которая может взаимодействовать нейронно — или, как его назвал Илон Маск, нейронное кружево — и, хотя это искусственная структура, смотрит на биологическую систему так же, как на естественную сеть. .

Вначале никто, и многие рецензенты этой первой статьи , не верили, что мы можем даже ввести электронику через иглу, а затем не разрушить электронику. На самом деле многое из этого не было связано ни с чем биологическим. Это было действительно о материаловедении, а также о демонстрации того, что это можно буквально внедрить в другие виды структур.Кроме того, другая имплантированная электроника в мозг всегда вызывает какой-то иммунный ответ и повреждение, вероятно, из-за комбинации помещения чего-то действительно жесткого в эту мягкую ткань: всякий раз, когда вы двигаетесь, и ваш мозг движется, он движется иначе, чем эта вещь. Он может разрушать клетки; но также, поскольку он намного больше, очевидно, что клеткам или биологической системе легче распознать его как нечто чужеродное и попытаться атаковать.

Но наша философия, похоже, будет действительно полезной, потому что она решает проблему иммунного ответа, а затем позволяет нам проводить измерения и модулировать нейронные цепи.Это в основном на всю жизнь грызунов, с которыми мы работали, что беспрецедентно.

Правильно ли говорить, как Иэн М. Бэнкс описывает в своих романах, что нейронные кружева формируют мозг, который затем растет вокруг него и включает его?

Мозг буквально разрастается по нервным волокнам. Когда его вводят, эта двумерная сетка становится похожей на цилиндр, который все еще остается сеткой, и заполняется тканью. В каком-то процессе мы не понимаем всех деталей, очевидно, что есть некоторый отросток, и некоторое ремоделирование ткани заполняет это пространство, где игла первоначально перемещала всю ткань в сторону.Затем вы остаетесь с чем-то, что пересекается между этой примерно цилиндрической структурой меша. Вы можете представить себе совместную инъекцию этой сети, сетки или шнурка, со стволовыми клетками и буквально повторного роста поврежденной ткани. Используя некоторую стимуляцию и прочее, вы могли бы помочь перестроить это так, как вы хотите — что-то вроде научной фантастики, но не совсем безумное. Это определенно из области физических возможностей.

Что вы думаете о заявлении Илона Маска о том, что нам нужно нейронное кружево, чтобы конкурировать со сверхразумным ИИ?

Ага.Я думаю, что это хорошо, но я вижу два пути. Во-первых, он может помочь людям, у которых есть недостатки или какое-либо заболевание, но также, очевидная вещь с другой стороны, — это улучшение. Очевидно, что по этому поводу всегда будут возникать этические проблемы, но, в конце концов, это возможно. Наш интерес — делать что-то на благо человечества, и, возможно, я звучу как идеалист. Я думаю, что наша цель — что-то сделать, и я думаю, что это возможно, во-первых, исправить недостатки. И я бы не прочь добавить терабайт памяти.

Как может нейронное кружево сравняться с когнитивным игровым полем?

Он мог бы следовать на уровне отдельных нейронов за изменениями, которые связаны со старением в нервной цепи. У нас действительно есть возможность вводить стимуляцию в эти замедляющиеся контуры. Фактически, вы могли бы стимулировать его снова и попытаться вернуть поведение к тому, каким оно было, когда вам было 30 или 50, а не какому-либо другому.

Я думаю, это даст представление о том, что происходит на очень подробном, биологическом уровне, с точки зрения старения или нейродегенеративных заболеваний.Вероятно, именно в этом моя собственная лаборатория в настоящее время представляет больший интерес, потому что я думаю, что это гораздо более решаемая проблема. Большинство исследований данного животного или человека с течением времени проводится с помощью МРТ или чего-то подобного. Но МРТ имеет очень низкое разрешение, и с точки зрения того, что мы называем лонгитюдными исследованиями, все меняется слишком сильно. Он говорит вам: «Ну, в общем, что-то происходит в этой области», но если вы действительно хотите начать разбирать или действительно относиться к чему-то более точным образом, вам понадобится вид на более клеточном уровне, и это мощность, в принципе, этих электрических измерений.

Когда вы начали работать над нейронным шнурком?

Эта работа ведется с начала 2000 года и действительно мотивирована нашей ранней работой по разработке новых классов наноэлектронных устройств на основе наноразмерных проводов на платформе на основе микросхем. Но в конечном итоге биология во многом трехмерна. В то время как можно вставить что-то более или менее плоское в ткань в трех измерениях, на самом деле это не так, как ведет себя биология — большая часть взаимосвязи в трех измерениях важна.

Что позволило вам начать работать в трех измерениях?

Первое, что мы сделали, — это создали первый трехмерный транзистор: трехмерный в том смысле, что наноразмерное устройство было полностью удалено с подложки и затем могло быть помещено внутри ячейки. Идея заключалась в том, чтобы вывести предметы из субстрата в трехмерное свободное пространство, чтобы их можно было интегрировать по всей ткани. Это показало, что мы можем на самом деле поместить фундаментальный строительный блок компьютерной индустрии внутрь ячейки и впервые связаться с ней.

Потом были все эти работы в тканевой инженерии. Люди делают эти каркасы для регенеративной медицины для выращивания клеток с идеей имплантации. Что, если бы мы могли сделать что-то похожее на эти трехмерные открытые леса? Он должен быть действительно открытым, чтобы клетки могли проникать внутрь и затем развиваться, чтобы электронные устройства были переплетены повсюду. Мы называем это электронной сеткой или каркасом. Мы использовали это в начале 2011-2012 годов, чтобы создать первую ткань киборга как с нервной, так и с сердечной тканью, в которой мы могли бы создать трехмерный взаимосвязанный электронный массив и выращивать клетки внутри него, а затем фактически отслеживать поведение ткань.Он действительно выглядел очень похоже на настоящий кусок ткани.

Как вы придумали сделать это кружево, напоминающее ткань?

Мы сказали: «Ну, вы знаете, лекарства доставляются с помощью шприцев». Существует множество терапевтических полимеров для замены поврежденных тканей в организме или просто для улучшения и тому подобного. «Что, если мы сделаем неслыханное?» Люди скажут: «Это невозможно». Можем ли мы просто ввести электронные схемы через иглу в мозг или другую ткань, а затем подключить их, а затем контролировать? Да, можем, и вот где мы находимся сегодня.

Это действительно очень простой процесс. Это не похоже на обычный электронный зонд, который вы вставляете в мозг для глубокой стимуляции мозга. Он сделан на обычной кремниевой пластине, но мы просто берем эту пластину и наносим слой, который в конечном итоге растворяется, а затем просто делаем три слоя литографии, где у нас есть полимерный слой, затем помещаем несколько металлических линий, которые находятся внутри этой сетки. полимерный слой, а затем нанесите второй слой полимера поверх, который герметизирует металл — за исключением тех мест, где у вас есть записывающие устройства — а затем растворяется с этим разделительным слоем, и у вас есть свой материал.Затем вы можете набрать его в шприц. Это буквально почти так просто.

Оказалось, что это работает намного, намного лучше, чем мы первоначально думали, и некоторые причины изложены в нашей исходной статье год назад, а затем гораздо больше в этой статье: эта сетчатая структура, которая может быть введенный, поскольку он имеет размер, масштаб и механические свойства, очень похожие на нейронную сеть или нервную ткань, оказывается, что у него нет иммунного ответа, что неслыханно.

Помимо имплантации мозга, какие еще приложения вы видите?

Нам удалось показать, и эта работа еще ведется, что вы можете ввести эту сетку через угол глаза под линзу, а затем развернуть ее прямо на слой клеток сетчатки и записать с Это.Мыши могут продолжать работать с этим месяцами, и это не влияет на их зрение, потому что это в основном открытое пространство. Он открыт более чем на 90 процентов.

Еще одна вещь, по которой у нас есть действительно отличные результаты, — это то, что вы можете вводить это непосредственно между позвонками через спинной мозг, не повреждая спинной мозг. Очевидно, что вы могли бы использовать это в качестве интерфейса в случаях травматического повреждения. Затем, когда он там, он становится чрезвычайно гибким.Это никак не влияет на то, что происходит, потому что оно более гибкое, чем все, кроме нейронов, заключенных в него. Весь ваш позвоночник может сгибаться и делать все, что угодно.

Что касается интерфейса с машинами или интерфейса с протезом, это может быть то, что вы можете буквально подключиться к правильной цепи и постоянно взаимодействовать на уровне нейронов туда и обратно с течением времени. С течением времени вы не занимаетесь тяжелой компьютерной обработкой. Я думаю, что у парализованных людей будет много возможностей для лечения.

Получите информационный бюллетень Nautilus

Самые свежие и популярные статьи доставляются прямо на ваш почтовый ящик!

Доктор Кики Сэнфорд имеет докторскую степень. по молекулярной, клеточной и интегративной физиологии от U.C. Дэвис, и является специалистом в области обучения и памяти. Она также является основателем и ведущей радиошоу This Week in Science.

Как ИИ и нейробиология продвигают друг друга вперед

Кредит: Сэм Фальконер

Четан Пандаринат хочет, чтобы люди с парализованными конечностями могли тянуться и хвататься с помощью роботизированной руки так же естественно, как и своей собственной.Чтобы помочь ему достичь этой цели, он собрал записи мозговой активности людей с параличом. Его надежда, которую разделяют многие другие исследователи, заключается в том, что он сможет идентифицировать паттерны электрической активности в нейронах, которые соответствуют попыткам человека двигать рукой определенным образом, чтобы затем инструкции можно было передать в протез. По сути, он хочет читать их мысли.

«Оказывается, это действительно сложная проблема, — говорит Пандаринат, биомедицинский инженер из Университета Эмори и Технологического института Джорджии в Атланте.«Эти сигналы из мозга — они действительно сложные». В поисках помощи он обратился к искусственному интеллекту (ИИ). Он отправил записи своей мозговой активности в искусственную нейронную сеть, компьютерную архитектуру, вдохновленную мозгом, и поручил ей научиться воспроизводить данные.

Записи поступали от небольшого подмножества нейронов в головном мозге — около 200 из 10–100 миллионов нейронов, которые необходимы для движения рук у людей. Чтобы разобраться в такой небольшой выборке, компьютеру нужно было найти основную структуру данных.Это можно описать паттернами, которые исследователи называют скрытыми факторами, которые контролируют общее поведение записываемой активности. Эти усилия позволили выявить временную динамику мозга — способ, которым его структура нейронной активности меняется от одного момента к другому, — тем самым предоставив более подробный набор инструкций для движения руки, чем предыдущие методы. «Теперь мы можем очень точно сказать, с точностью до миллисекунды на миллисекунду, прямо сейчас животное пытается двигаться под этим точным углом», — объясняет Пандаринат.«Это именно то, что нам нужно знать, чтобы управлять роботизированной рукой».

Его работа — лишь один пример растущего взаимодействия между ИИ и когнитивной наукой. ИИ, с его способностью выявлять закономерности в больших и сложных наборах данных, добился замечательных успехов за последнее десятилетие, отчасти за счет имитации того, как мозг выполняет определенные вычисления. Искусственные нейронные сети, аналогичные сетям нейронов, составляющих мозг, дали компьютерам возможность отличать изображение кошки от изображения кокоса, обнаруживать пешеходов с достаточной точностью, чтобы управлять беспилотным автомобилем, и распознавать и отвечать на сказанное слово.Теперь когнитивная наука начинает извлекать выгоду из возможностей ИИ как в качестве модели для разработки и тестирования идей о том, как мозг выполняет вычисления, так и в качестве инструмента для обработки сложных наборов данных, которые производят такие исследователи, как Pandarinath. «Технология возвращается на круги своя и снова применяется для понимания работы мозга», — говорит он. Этот цикл взаимного подкрепления, вероятно, продолжится. Поскольку ИИ позволяет нейробиологам получить более глубокое представление о том, как вычисления работают в мозге, усилия могут привести к созданию машин, которые могут использовать более человеческий интеллект.

Вполне естественно, что эти две дисциплины подходят друг другу, — говорит Маниш Сахани, нейробиолог-теоретик и исследователь машинного обучения из Отделения вычислительной нейробиологии Гэтсби Университетского колледжа Лондона. «Мы фактически изучаем то же самое. В одном случае мы спрашиваем, как решить эту проблему обучения математически, чтобы ее можно было эффективно реализовать на машине. В другом случае мы смотрим на единственное существующее доказательство того, что эта проблема может быть решена, — это мозг.”

Аналог мозга

Успехи ИИ во многом обусловлены появлением более мощных процессоров и постоянно растущим объемом обучающих данных. Но концепция, лежащая в основе этих достижений, — это искусственная нейронная сеть. Эти сети состоят из слоев узлов, аналогичных нейронам. Узлы входного слоя связаны с узлами скрытого слоя с помощью ряда математических весов, которые действуют как синапсы между нейронами. Скрытый слой аналогично связан с выходным слоем.Входные данные для такой задачи, как распознавание лиц, могут быть массивом чисел, которые описывают каждый пиксель изображения лица с точки зрения того, где он попадает по 100-балльной шкале от белого к черному, или является ли он красным, зеленым или синий. Данные вводятся, затем скрытый слой умножает эти значения на веса соединений, и выдается ответ. Чтобы научить систему давать правильный ответ, этот результат сравнивается с тем, что он должен был бы быть, если бы выход был точным совпадением с входом, и разница используется для корректировки весов между узлами.Более сложная версия этого процесса, называемая глубокой нейронной сетью, имеет множество скрытых слоев. Именно такую ​​систему лондонская исследовательская компания DeepMind Technologies, принадлежащая Alphabet, материнской компании Google, использовала для создания компьютера, который победил профессионального игрока в настольной игре Go в 2015 году — победа, широко известная как триумф машинного интеллекта.

Искусственная нейронная сеть — это лишь приблизительная аналогия того, как работает мозг, говорит Дэвид Сусилло, вычислительный нейробиолог из команды Google Brain Team из Сан-Франциско, Калифорния, который сотрудничал с Пандаринатом в его работе над латентными факторами.Например, он моделирует синапсы как числа в матрице, хотя на самом деле они представляют собой сложные части биологического механизма, которые используют как химическую, так и электрическую активность для отправки или прекращения сигналов и которые взаимодействуют со своими соседями в динамических паттернах. «Вы не могли бы уйти дальше от истины о том, что на самом деле представляет собой синапс, чем одно число в матрице», — говорит Сусилло.

Тем не менее искусственные нейронные сети оказались полезными для изучения мозга. Если такая система может создавать образец нейронной активности, напоминающий образец, записанный в мозге, ученые могут изучить, как система генерирует свои выходные данные, а затем сделать выводы о том, как мозг делает то же самое.Этот подход может быть применен к любой познавательной задаче, интересующей нейробиологов, включая обработку изображения. «Если вы можете обучить нейронную сеть делать это, — говорит Сусилло, — то, возможно, вы сможете понять, как эта сеть функционирует, а затем использовать это для понимания биологических данных».

Работа с данными

Методы искусственного интеллекта пригодятся не только для создания моделей и генерации идей, но и как инструмент для обработки данных. «Нейронные данные ужасно сложны, и поэтому часто мы будем использовать методы машинного обучения просто для поиска структуры», — говорит Сахани.Основная сила машинного обучения заключается в распознавании шаблонов, которые могут быть слишком тонкими или слишком скрытыми в огромных наборах данных, чтобы люди могли их заметить.

Вычислительный нейробиолог Дэниел Яминс разрабатывает нейронные сети, которые могут имитировать активность мозга. Фото: Сэм Фонтейон / Стэнфордский университет.

Функциональная магнитно-резонансная томография, например, генерирует моментальные снимки активности всего мозга с разрешением 1-2 миллиметра каждую секунду или около того, возможно, в течение нескольких часов.«Задача когнитивной нейробиологии заключается в том, как найти сигнал в изображениях, которые очень и очень большие», — говорит Николас Терк-Браун, когнитивный нейробиолог из Йельского университета в Нью-Хейвене, штат Коннектикут. Терк-Браун возглавляет один из нескольких проектов, направленных на поиск свежих идей на стыке науки о данных и нейробиологии.

Использование машины для анализа этих данных ускоряет исследования. «Это огромное изменение в том, как делается нейробиология», — говорит Сусилло. «Аспирантам не нужно выполнять столько бездумной работы — они могут сосредоточиться на более серьезных вопросах.Вы можете автоматизировать многие из них, и вы можете получить более точные результаты ».

Воспроизведение чувств

Создание искусственной системы, которая воспроизводила бы данные мозга, было подходом Дэниела Яминса, компьютерного нейробиолога из Института неврологии Ву Цай при Стэнфордском университете в Калифорнии. В 2014 году, когда Яминс был научным сотрудником Массачусетского технологического института в Кембридже, он и его коллеги обучили глубокую нейронную сеть предсказывать активность мозга обезьяны, когда она распознавала определенные объекты ¹ .Распознавание объектов у людей и обезьян осуществляется системой мозга, называемой вентральным зрительным потоком, которая имеет две основные архитектурные особенности. Во-первых, это ретинотопия, что означает, что пути обработки изображений в мозгу организованы таким образом, чтобы отражать то, как глаз воспринимает визуальную информацию. Во-вторых, система иерархическая; определенные области коры головного мозга выполняют все более сложные задачи, от уровня, который идентифицирует только очертания объектов, до более высокого уровня, который распознает весь объект, такой как автомобиль или лицо.Детали того, как работают верхние слои, плохо изучены, но в результате мозг может распознавать объект в различных положениях и в разных условиях освещения, когда он кажется больше или меньше в зависимости от расстояния до него, и даже когда он частично скрыт. Компьютеры часто сталкиваются с такими препятствиями.

Яминс и его коллеги построили свою глубокую нейронную сеть в соответствии с той же ретинотопной иерархической архитектурой, что и мозг, и показали ей тысячи изображений 64 объектов, которые различались по характеристикам, таким как их размер и положение.Когда сеть научилась распознавать объекты, она произвела несколько возможных паттернов нейронной активности. Затем исследователи сравнили эти сгенерированные компьютером шаблоны с шаблонами, записанными в нейронах обезьян, когда они выполняли аналогичную задачу. Оказалось, что версии сети, которые лучше всего распознавали объекты, имели паттерны активности, наиболее точно соответствующие таковым из мозга обезьяны. «Вы обнаружите, что структура нейронов имитирует структуру сети», — говорит Яминь.Исследователи смогли сопоставить области своей сети с областями мозга с точностью около 70%.

Результаты подтвердили, что архитектура вентрального визуального потока важна для его обрабатывающей способности. В 2018 году Яминь и его коллеги совершили аналогичный подвиг, используя слуховую кору, в которой они создали глубокую нейронную сеть, которая смогла определять слова и жанры музыки из 2-секундных клипов с той же точностью, что и человек ² . Это помогло исследователям определить, какие области коры головного мозга выполняют распознавание речи, а какие — музыку — небольшой шаг к пониманию слуховой системы.

Нейробиологи еще далеки от понимания того, как мозг выполняет такую ​​задачу, как различение джаза от рок-музыки, но машинное обучение действительно дает им способ конструировать модели, с помощью которых можно исследовать такие вопросы. По словам Яминса, если исследователи смогут разработать системы, которые работают аналогично мозгу, их конструкция может дать представление о том, как мозг решает такие задачи. Это важно, потому что у ученых часто нет рабочей гипотезы о том, как работает мозг.Заставив машину выполнить определенную задачу, они получат по крайней мере одно возможное объяснение того, как мозг достигает того же.

Следующим шагом после того, как исследователи построили гипотезу, является ее проверка. И снова модели искусственного интеллекта могут помочь, предоставляя представление об активности мозга, которое можно настроить, чтобы увидеть, какие факторы могут быть важны для выполнения конкретной задачи. Исследователи ограничены этическими соображениями с точки зрения того, насколько они могут вмешиваться в процессы в здоровом человеческом мозге, поэтому многие записи нейронной активности у людей поступают из мозга людей с эпилепсией, которым необходимо удалить ткань мозга.Это потому, что электроды можно вживлять в ткани мозга, которые в любом случае будут иссечены. Модели на животных позволяют исследователям использовать более инвазивные процедуры, но есть человеческое поведение, особенно речь, которое нельзя воспроизвести у других видов. Системы искусственного интеллекта, которые могут имитировать человеческое поведение и нарушаться без этических проблем, предоставят ученым дополнительные инструменты для изучения того, как работает мозг: исследователи могут научить сеть воспроизводить речь, а затем, например, нарушать эту речь, чтобы наблюдать за происходящим.

Общие проблемы

Информатика и когнитивная наука решают некоторые важные вопросы, и разработка того, как ответить на них в любой из этих областей, может продвинуть вперед обе стороны. Один из таких вопросов — как именно происходит обучение. Нейронные сети в основном выполняют контролируемое обучение. Например, чтобы освоить распознавание изображений, им могут быть показаны изображения из ImageNet, базы данных, содержащей более 14 миллионов фотографий объектов, которые были классифицированы и аннотированы людьми. Сети развивают статистическое понимание того, что общего у изображений с одним и тем же ярлыком — например, «кошка».Когда отображается новое изображение, сети проверяют его на наличие аналогичных числовых атрибутов; если они найдут совпадение, они объявят, что это изображение кошки.

Очевидно, младенцы учатся не так, — говорит Томасо Поджио, компьютерный нейробиолог из Центра мозга, разума и машин, который является частью Массачусетского технологического института. «В первые два года жизни ребенок видит что-то порядка миллиарда изображений», — говорит он. Но лишь немногие из этих изображений помечены — только небольшая часть объектов будет активно отмечена и названа.«Мы не знаем, как с этим бороться, — говорит Поджио. «Мы не знаем, как сделать так, чтобы машины учились на данных, в основном не маркированных».

Его лаборатория находится на начальной стадии проекта, который позволил бы нейронной сети выполнять обучение без учителя, выводя шаблоны из немаркированных видео. «Мы знаем, что это может сделать биология», — говорит Поджио. «Вопрос в том, как».

Яминь решает проблему обучения без учителя, разрабатывая программы, которые ведут себя как младенцы в игре, которые опрашивают свое окружение посредством случайных взаимодействий и постепенно развивают понимание того, как устроен мир.По сути, он кодирует из любопытства, чтобы побудить компьютер к исследованиям в надежде, что появятся новые модели поведения.

Другой нерешенный вопрос заключается в том, были ли некоторые аспекты интеллекта «установлены» эволюцией. Например, кажется, что люди предрасположены узнавать лицо как лицо; младенцы могут это делать с первых часов жизни. Возможно, предполагает Поджио, наши гены кодируют механизм для быстрого и раннего обучения этой задаче. Расшифровка правильности этой идеи может позволить ученым-программистам разработать один из способов помочь машинам учиться.И другие исследователи изучают нейронные основы морали. «Люди боятся« злых »машин, — говорит Поджио. «Вероятно, нам лучше знать, как возникает наше моральное поведение, если мы хотим создавать хорошие машины, этические машины».

Яминь говорит, что трудно понять, как только нейробиология сможет раскрыть, как работает обучение без учителя. «Если у вас нет искусственного интеллекта, если у вас нет ничего, что работает искусственно, у вас не может быть модели мозга», — говорит он. По его мнению, более вероятно, что компьютерные ученые предложат одно или несколько решений, которые затем нейробиологи смогут проверить.«Может оказаться, что они ошибаются, — говорит он, — но именно поэтому вы их проверяете».

Отвечая на эти загадки, можно создать более интеллектуальные машины, способные учиться в своей среде, и которые могут сочетать скорость и вычислительную мощность компьютеров с более человеческими способностями. Возможности компьютеров обрабатывать данные и моделировать уже привели к достижениям в области науки о мозге, которые, по мнению исследователей, будут расти. «ИИ окажет огромное влияние на неврологию, — говорит Сусилло, — и я хочу быть частью этого.”

fast.ai · Делаем нейронные сети снова неохлаждаемыми

Наши онлайн-курсы (все бесплатные и без рекламы):

Прочие полезные ресурсы

fast.ai в новостях:

Резюме : Используя более качественные маски, отслеживая и улучшая качество воздуха в помещениях, а также внедряя экспресс-тесты, мы могли бы быстро остановить нынешние вспышки в австралийских штатах Новый Южный Уэльс (NSW) и Виктория.Если мы этого не сделаем и откроем до 80% из , что все австралийцев вакцинированы, у нас могут быть десятки тысяч смертей и сотни тысяч детей с хроническими заболеваниями, которые могут длиться годами.

Содержание

Мы можем получить R под 1.0

Пандемии либо растут по экспоненте, либо исчезают по экспоненте. Они не просто остаются на каком-то постоянном уровне. Если репродуктивное число R, то есть тому количеству людей, которым передается каждый инфицированный, больше 1.0 в регионе, то пандемия растет экспоненциально и выходит из-под контроля (как мы видим сейчас в Новом Южном Уэльсе), или она меньше 1,0, и в этом случае вирус вымирает.

Ни один австралийский штат или территория в настоящее время не использует какие-либо из трех наиболее эффективных мер общественного здравоохранения: лучшие маски, лучшую вентиляцию или быстрое тестирование. Любого из них самого по себе (в сочетании с существующими мерами, используемыми в Vic), вероятно, будет достаточно, чтобы получить R <1. Их комбинация, вероятно, быстро убьет вспышки.В этот момент жизнь может вернуться в нормальное русло.

Остановка дельты невозможна. Это сделали и в других юрисдикциях, включая Тайвань и Китай. Новая Зеландия, похоже, тоже продвигается вперед. Нет причин, по которым Австралия не может присоединиться к ним.

Лучшие маски

Ученые обнаружили, что использование лучших масок — единственный лучший способ уменьшить передачу вируса в тесном помещении. Они показали, что если все учителя и ученики носят маски с хорошей посадкой и фильтрацией, передача инфекции снижается примерно в 300 раз.CDC обнаружил, что два бесплатных и простых метода улучшения подгонки хирургических масок, «двойная маскировка» и «завязывание и складывание», уменьшают воздействие вируса более чем в десять раз по сравнению с ношением только ткани или хирургической маски. Для получения дополнительной информации см. Мою статью (с Зейнеп Туфекчи) в The Atlantic.

Вентиляция

Теперь мы знаем, что covid передается по воздуху. Значит, нам нужен чистый воздух. Недавнее исследование показало, что ключом к решению этой проблемы является мониторинг уровня CO2 в помещениях.Это потому, что уровень CO2 является хорошим показателем того, насколько хорошо циркулирует воздух. Без надлежащей вентиляции уровень CO2 повышается, а если вокруг есть инфицированные люди, уровень вируса тоже повышается.

можно купить оптом примерно за 50 долларов. Следует сообщать стандарты относительно того, какие допустимые максимальные уровни CO2 для классов, рабочих мест и общественных помещений, а также проводить обучение о том, как улучшить качество воздуха. Там, где невозможно контролировать уровень CO2, необходимы очистители воздуха с фильтрацией HEPA.

Лучшая вентиляция может снизить вероятность заражения в 5-10 раз по сравнению с внутренними помещениями, которые не имеют хорошей вентиляции.

Экспресс-тесты

Быстрые тесты на латеральный поток антигена дешевы и предоставляют результаты в течение 15-30 минут. У них очень мало ложных срабатываний. Компания Ellume из Брисбена имеет одобренный FDA экспресс-тест и экспортирует его по всему миру. Но мы не используем его здесь, в Австралии.

Если бы на каждом рабочем месте и в школе требовались ежедневные экспресс-тесты, было бы выявлено около 75% случаев в этих местах.Положительные случаи будут изолироваться до тех пор, пока не будут получены результаты повторного ПЦР-теста. Используя этот подход, передача в школах и на рабочих местах будет сокращена почти на три четверти, в результате чего R будет значительно ниже 1.0.

В Великобритании каждый ребенок проходил тестирование два раза в неделю в последнем семестре. Недавние исследования показывают, что ежедневные экспресс-тесты могут позволить большему количеству учеников оставаться в школе.

Достижение цели вакцинации

Институт Граттана обнаружил, что нам необходимо вакцинировать не менее 80% из от общего числа населения (включая детей) в этом году и продолжить развертывание вакцинации до 90% в течение 2022 года.В этом месяце завершаются клинические испытания вакцины у детей. Если мы сможем быстро развернуть вакцинацию среди детей и сохранить нынешнюю динамику вакцинации взрослых, возможно, мы сможем достичь цели 80% к концу года.

Однако важно понимать, что никакое отдельное вмешательство (включая вакцинацию) не поможет контролировать covid. Во многих странах с высокими показателями вакцинации сегодня высокий уровень смертности от вирусов из-за ослабления иммунитета и невакцинированных групп. Смысл всех этих вмешательств — уменьшить R.Когда R меньше 1 и случаи находятся под контролем, ограничения не нужны; в противном случае они необходимы.

Мы должны получить R меньше 1.0

Более 200 000 детей заболеют хроническими заболеваниями

Отчет Доэрти предсказывает, что более трехсот тысяч детей заразятся симптомами коронавируса и более . 1,4 миллиона детей будут инфицированы , в течение следующих 6 месяцев, если ограничения будут снижены после вакцинации 70% взрослых. Это может быть значительной заниженной оценкой: недавнее исследование CDC предсказывает, что 75% школьников заразятся через три месяца без вакцин и масок.

Новое исследование показало, что у каждого седьмого инфицированного ребенка может развиться «длительный ковид» — изнурительное заболевание, которое может поражать пациентов в течение многих лет. Основываясь на этих данных, мы рассматриваем двести тысяч детей (или, возможно, намного больше) с хроническими заболеваниями. Реальность может быть даже хуже, поскольку в этом исследовании для поиска инфицированных детей используются тесты ПЦР, но было показано, что стратегии тестирования ПЦР не выявляют covid у детей примерно в половине случаев. Кроме того, в этом исследовании рассматривался альфа-вариант.Вариант дельты примерно вдвое тяжелее .

Еще рано говорить, выздоровеют ли эти дети и выздоровеют они. Некоторые вирусы, такие как полиомиелит, приводили к пожизненным заболеваниям, которые были обнаружены только спустя годы. Long covid имеет много общего с миалгическим энцефаломиелитом, который для многих людей является полностью изнурительным заболеванием на всю жизнь.

В регионах, которые открылись, например, во Флориде, школы «тонули» в течение одной недели после начала семестра.В Великобритании сейчас подаются судебные иски, основанные на рисках, которым подвергаются дети.

Дельта разрывает невакцинированное население. Например, в мае 2021 года в Англии закрепилась дельта. Английские школы проявили осторожность, поместив школьников в «пузыри», которые не смешивались. После школы дети должны были идти прямо домой и ни с кем не общаться. Тем не менее, за три месяца заразилось больше детей, чем когда-либо прежде. Заболеваемость в июле 2021 года была примерно вдвое выше, чем в предыдущем худшем месяце декабря 2020 года.

Модель Доэрти сильно недооценивает риски

Модель Доэрти, которая используется в качестве основы для политики повторного открытия в Австралии, имеет множество проблем с моделированием и отчетностью, в результате чего в отчете Доэрти риски сильно недооцениваются. (Эти проблемы, как правило, являются результатом того, как отчет был заказан, а не ошибками, сделанными теми, кто занимался моделированием.)

Модель Доэрти должна работать с неполными данными, такими как очень ограниченная информация, которая у нас есть о поведении дельта-варианта.Рекомендуемая практика в такой ситуации — не делать единственного предположения о предпосылках в модели, а вместо этого моделировать неопределенность, включая диапазон возможных значений для каждой неопределенной предпосылки. Модель Доэрти этого не делает. Вместо этого используются «точечные оценки», то есть одно предположение для каждой предпосылки. И для каждого сценария модель выдает один результат.

Это критический недостаток. Не учитывая неопределенность входных данных или неопределенность будущих изменений (таких как новые варианты), модель также не может учитывать неопределенность выходных данных.Какова вероятность того, что госпитализации будут происходить намного быстрее, чем при их единственном смоделированном исходе, так что австралийские отделения интенсивной терапии будут перегружены? Мы не знаем, потому что эта работа не была сделана.

Модель Доэрти делает критическую ошибку в том, как она обрабатывает вариант Дельта: «мы будем предполагать, что серьезность деформаций Дельта приблизительно соответствует деформации Альфа». Теперь мы знаем, что это неверно: по последним оценкам, «вероятность госпитализации у людей, инфицированных высоко заразным вариантом Delta, на в два раза выше , чем у тех, кто инфицирован вариантом Alpha».

Модель также не может правильно оценить эффективность тестов, отслеживания, изоляции и карантина (TTIQ). Предполагается, что TTIQ будет «оптимальным» для «сотен ежедневных случаев» и «частичным» для тысяч случаев. Однако в Новом Южном Уэльсе оптимальный TTIQ уже не поддерживался всего после 50 случаев, и в большинстве случаев больше не выделялось после 100 ежедневных случаев.

Модель Доэрти предполагает, что вакцины равномерно распределены по всей стране.Это упоминается в отчете, а также было подтверждено в ходе непосредственного разговора с теми, кто занимается моделированием. Однако есть группы, в которых это неправда. Например, коренные общины вакцинированы только около. В этой группе, если ограничения будут сняты, то R вернется к 5,0 (число воспроизводства дельты без вакцин или ограничений). В результате почти все население будет инфицировано в течение нескольких месяцев.

То же самое и с детьми. Модель Доэрти не может смоделировать смешение в школах, но вместо этого делает упрощающее предположение, что у детей есть некоторый случайный шанс встретить случайных других детей каждый день.Однако на практике у них есть 100% шанс общаться с одними и теми же детьми каждый день в школе.

Модель Доэрти не учитывает подавляющее большинство случаев. Это потому, что он полностью игнорирует все случаи по прошествии 180 дней (когда происходит большинство случаев). Другая модель оценила полное влияние covid без такого ограничения по времени. Было установлено, что без ограничений в Австралии погибло бы около 25000 человек.

Основная проблема Национального плана, основанного на отчете Доэрти, заключается в том, что он напрямую переходит от уровня вакцинации к действиям и учитывает все допущения модели.Он не может принимать во внимание непредвиденные изменения, такие как более передающиеся варианты или массовые заражения персонала больниц.

Было бы гораздо лучше принимать решения о действиях с точки зрения измерений, отражающих меняющиеся текущие условия, то есть R и оставшийся потенциал здравоохранения. Модели Института Догерти могут быть представлены как оценочные R и емкость при 70% и 80% вакцинации взрослых, что составляет 56% и 64% всего населения.

Снижение ограничений передачи при R> 1 или недостаточной остаточной мощности было бы безумием независимо от уровня вакцинации.

«Живите с covid» — это массовые госпитализации и продолжающиеся вспышки.

Согласно текущим прогнозам, в лучшем случае через месяц в Новом Южном Уэльсе будет госпитализировано более 2000 человек с коронавирусом, а более 350 — в отделении интенсивной терапии. Это будет большой перегрузкой ресурсов государства. То же самое произойдет и в других штатах, которые не в состоянии контролировать вспышки до достижения по крайней мере 80% показателей вакцинации всего населения, включая детей и коренные народы.

Даже после вакцинации большинства взрослых коронавирус не проходит.Через несколько месяцев иммунитет ослабевает, и останутся группы, в которые вакцинировано меньше людей. Мы можем оценить долгосрочные последствия covid, посмотрев на другие страны. В Великобритании вакцинированы 75% жителей старше 16 лет. В настоящее время в Великобритании регистрируется 700 случаев смерти от коронавируса и 250 000 случаев заболевания в неделю. Если наша смертность будет пропорциональной, это будет означать, что 266 австралийцев умирают в неделю даже после того, как мы доведем до 75% вакцинацию (наряду с тысячами длительных случаев заражения коронавирусом с их огромными экономическими и социальными издержками).Для сравнения, в 2019 году в Австралии от гриппа регистрировалось 9 еженедельных смертей от гриппа.

Заключение

Сейчас мы слышим, как политические лидеры Виктории и Нового Южного Уэльса отказываются взять под контроль вспышки. Но мы еще не внедрили три самых простых и эффективных вмешательства в области общественного здравоохранения, которыми мы располагаем: лучшие маски, лучшую вентиляцию и быстрые тесты. Любая из этих мер (наряду с существующими мерами) может нейтрализовать вспышки; их удары вместе будут мощным оружием.

Если мы этого не сделаем, covid оставит сотни тысяч австралийских детей с хроническими заболеваниями и убьет тысячи австралийцев. Этого вполне можно избежать.

Благодарности: Спасибо доктору Рэйчел Томас за многочисленные обсуждения этой темы и за черновой вариант обзора. Спасибо также многим австралийским ученым, с которыми я консультировался при написании этой статьи.

Я сделал плейлист из 11 коротких видеороликов (большинство из которых длится 6-13 минут) по этике в машинном обучении.Это из моей лекции по этике в Практическом глубоком обучении для программистов v4. Я думал, что эти короткие видео будет легче смотреть, делиться или пропускать.

Что такое этика и почему они имеют значение? Машинное обучение, выпуск . В трех основных тематических исследованиях я рассказываю, как люди могут пострадать из-за того, что машинное обучение пошло не так, почему нам, специалистам по машинному обучению, следует заботиться и что такое техническая этика.

Всем системам машинного обучения нужны способы выявления и устранения ошибок .Крайне важно, чтобы все системы машинного обучения были реализованы таким образом, чтобы правильно выявлять и исправлять ошибки, а также предоставлять помощь пострадавшим.

Проблема с метриками, циклами обратной связи и Hypergrowth : Чрезмерное доверие к метрикам — ключевая проблема как в области машинного обучения, так и в технологической индустрии в целом. Как гласит закон Гудхарта, когда мера становится целью, она перестает быть хорошей мерой, однако стимулы венчурного капитала подталкивают компании в этом направлении.Мы видим неконтролируемые петли обратной связи, повсеместное искажение показателей и в результате пострадавшие люди.

Не все типы систематической ошибки можно устранить путем диверсификации набора данных . Идея предвзятости часто слишком общая, чтобы быть полезной. Существует несколько различных типов предвзятости, и разные типы требуют разных вмешательств, чтобы попытаться устранить их. Посредством серии тематических исследований мы углубимся в некоторые из различных причин предвзятости.

Люди тоже предвзяты, так почему же предвзятость машинного обучения имеет значение? Распространенное возражение против предвзятости в моделях машинного обучения состоит в том, что люди тоже действительно предвзяты.Это правильно, но предвзятость машинного обучения отличается от предвзятости человека по нескольким ключевым причинам, которые нам необходимо понять и которые могут усилить воздействие.

7 вопросов о вашем проекте машинного обучения

Что нужно знать о дезинформации : С особым акцентом на то, как достижения машинного обучения могут способствовать дезинформации, здесь рассматриваются некоторые фундаментальные вещи, которые необходимо понять.

Основы этики : Мы рассматриваем разные точки зрения, через которые можно оценивать этику, и какие вопросы задавать.

Практики технической этики, которые необходимо применять на рабочем месте : Практические приемы технической этики, которые вы можете применять на своем рабочем месте.

Как справиться с кризисом разнообразия машинного обучения : Только 12% исследователей машинного обучения — женщины. Основываясь на исследованиях, я намечаю некоторые основанные на фактах шаги, которые необходимо предпринять для преодоления этого кризиса разнообразия.

Передовые технологии не заменяют надлежащую политику : Мы рассмотрим несколько примеров того, какие стимулы побуждают компании менять свое поведение или нет (например,грамм. вас годами предупреждали о вашей роли в эскалации геноцида по сравнению с угрозой огромного штрафа), сколько проблем этики ИИ на самом деле связано с правами человека, а также тематические исследования того, что произошло, когда стандарты регулирования и безопасности пришли в другие отрасли.

Вы можете найти полный список воспроизведения здесь.

Термин «искусственный интеллект» — это широкий кругозор, относящийся к множеству методов, применяемых к ряду задач. Такая широта может вызвать замешательство.Успех в использовании ИИ для выявления опухолей на рентгеновских снимках легких, например, может не указывать на то, можно ли использовать ИИ для точного прогнозирования того, кто совершит другое преступление или какие сотрудники добьются успеха, или эти последние задачи даже являются подходящими кандидатами на выполнение использование ИИ. Вводящая в заблуждение маркетинговая шумиха часто затуманивает различия между разными типами задач и предполагает, что прорывы в узких исследовательских проблемах применимы более широко, чем есть на самом деле. Кроме того, природа рисков, связанных с различными категориями задач ИИ, различается, и очень важно, чтобы мы понимали различия.

Один из источников путаницы заключается в том, что в художественной литературе и в популярном воображении ИИ часто ссылается на компьютеры, обретающие человеческое сознание: широкий общий интеллект. Люди могут представить себе сверхразумного робота, разбирающегося в различных областях и способного выполнять множество задач. На самом деле, текущие достижения, происходящие в искусственном интеллекте прямо сейчас, ограничены: компьютерная программа, которая может хорошо выполнять одну задачу или класс задач. Например, программа анализирует маммограммы, чтобы определить вероятный рак груди, или совершенно другая программа выставляет баллы за сочинения, написанные студентами, хотя и обманывается тарабарщиной с использованием сложных слов.Это отдельные программы, которые принципиально отличаются от изображений человеческого искусственного интеллекта в научно-фантастических фильмах и книгах.

Понятно, что общественность часто может предполагать, что, поскольку компании и правительства внедряют ИИ для решения важных задач, таких как прогнозирование полицейского надзора, определение льгот для здравоохранения, проверка резюме и анализ видео-собеседований, это должно быть связано с превосходной производительностью ИИ. Однако печальная реальность заключается в том, что часто ИИ внедряется в качестве меры по сокращению затрат: компьютеры дешевле, чем использование людей, и это может заставить руководителей упускать из виду вред, причиненный переключением, включая предвзятость, ошибки и неспособность проверить точность. претензии.

В своем докладе под названием «Как распознать змеиное масло ИИ» профессор Арвинд Нараянан создал полезную систематизацию трех типов задач, к которым ИИ обычно применяется прямо сейчас:

• Восприятие: распознавание лиц, обратный поиск изображений, преобразование речи в текст, медицинский диагноз на основе рентгеновских снимков или компьютерной томографии
• Автоматизация оценки: обнаружение спама, автоматическая оценка эссе, обнаружение языка ненависти, рекомендации по содержанию
• Прогнозирование социальных результатов: прогнозирование успешной работы, прогнозирование рецидивов уголовных преступлений, прогнозирование детей из групп риска

Вышеупомянутые 3 категории не исчерпывают всех видов использования ИИ, и, безусловно, в них есть инновации.Однако эта таксономия является полезной эвристикой для рассмотрения различий в точности и различий в характере рисков, с которыми мы сталкиваемся. Что касается задач восприятия, некоторые из самых больших этических проблем связаны с тем, насколько точным может быть ИИ (например, точное наблюдение со стороны государства за протестующими имеет пугающие последствия для наших гражданских прав), но, напротив, для прогнозирования социальных результатов многие из продуктов являются сплошной мусор, вредный по-разному.

Первая область, восприятие, которое включает преобразование речи в текст и распознавание изображений, — это область, в которой исследователи добиваются действительно впечатляющих быстрых успехов.Однако даже в этой области это не означает, что технология всегда готова к использованию или что нет никаких этических проблем. Например, при распознавании лиц у темнокожих женщин часто бывает гораздо больше ошибок из-за нерепрезентативных наборов тренировок. Даже когда точность повышена для устранения этой предвзятости, использование распознавания лиц полицией для идентификации протестующих (что неоднократно случалось в США) представляет собой серьезную угрозу гражданским правам. Более того, то, как компьютерный алгоритм работает в контролируемой академической среде, может сильно отличаться от того, как он работает в реальном мире.Например, Google Health разработала компьютерную программу, которая определяет диабетическую ретинопатию с точностью 90% при использовании для высококачественного сканирования глаз. Однако, когда он был развернут в клиниках Таиланда, многие из сканирований были сделаны в условиях плохого освещения, и более 20% всех сканирований были отклонены алгоритмом как низкое качество, создавая большие неудобства для многих пациентов, которым приходилось делать еще один снимок. выходной для поездки в другую клинику для повторного обследования.

В то время как улучшения делаются в области категории 2 (автоматизация суждений), технология все еще неисправна, и есть пределы тому, что здесь возможно, из-за того, что культура и использование языка постоянно развиваются.Широко используемое программное обеспечение для оценки эссе вознаграждает «бессмысленные эссе с изощренным словарным запасом» и предвзято относится к афроамериканским учащимся, выставляя их эссе более низкие оценки, чем это делают эксперты-люди. Программа способна измерять длину предложения, словарный запас и орфографию, но не распознает творческий подход или нюансы. Контент от создателей ЛГБТ на YouTube был неправильно обозначен как «откровенно сексуальный» и демонетизирован, что нанесло ущерб их средствам к существованию. Как написал Али Алхатиб: «Алгоритм всегда отстает от графика, он выполняется сегодня на основе вчерашних данных … Этот случай [YouTube демонетизирует создателей ЛГБТК] подчеркивает недостаток широко предлагаемого решения такого рода проблем, которое можно было бы устранить с помощью дополнительных данных обучения. ошибки такого характера: культура всегда меняется.Это фундаментальное ограничение данной категории: язык постоянно развивается, появляются новые оскорбления и формы языка ненависти, как и новые формы творческого выражения.

Нараянан называет третью категорию попыток прогнозирования социальных результатов «принципиально сомнительной». ИИ не может предсказывать будущее, и навешивание ярлыков на потенциал человека вызывает глубокую озабоченность. Часто эти подходы не более точны, чем простая линейная регрессия. Социологи потратили 15 лет на кропотливый сбор обширного набора продольных данных по семьям, содержащего 12 942 переменных.Когда 160 команд создали модели машинного обучения, чтобы предсказать, какие дети в наборе данных будут иметь неблагоприятные результаты, наиболее точная отправка была лишь немного лучше, чем простая эталонная модель с использованием всего 4 переменных, а многие из представленных результатов оказались хуже, чем простой эталонный тест. В США существует программа «черный ящик» со 137 входными данными, используемая в системе уголовного правосудия для прогнозирования вероятного повторного ареста, но она не более точна, чем линейный классификатор всего по 2 переменным.Не только неясно, что в этой категории был достигнут значительный прогресс в области ИИ, но, что более важно, основная предпосылка таких усилий поднимает важные вопросы о том, должны ли мы вообще пытаться использовать алгоритмы для прогнозирования будущего потенциала кого-либо. Вместе с Мэттом Салгаником Нараянан развил эти идеи в курсе «Пределы предсказания» (посмотрите предварительное чтение курса, это фантастика).

Нараянана является полезным напоминанием о том, что достижения в одной категории не обязательно имеют большое значение для другой категории, и он предлагает важную информацию о том, что разные приложения ИИ создают разные фундаментальные риски.Чрезмерно общий термин «искусственный интеллект», вводящая в заблуждение шумиха со стороны компаний, продвигающих свои продукты, и запутанное освещение в СМИ часто затуманивают различия между различными типами задач и предполагают, что прорывы в узких проблемах применимы более широко, чем они есть. Понимание типов доступных технологий, а также явных рисков, которые они создают, имеет решающее значение для устранения и предотвращения вредоносных злоупотреблений.

Прочтите статью Нараянана «Как распознать искусственный интеллект змеиного масла» и примечания для более подробной информации.

Этот пост был первоначально опубликован в блоге Центра прикладной этики данных (CADE) USF.

Сводка : Сегодня мы запускаем fastdownload, новую библиотеку, которая упрощает пользователям загрузку, проверку и извлечение архивов.

Фон

В fast.ai мы сосредоточились на том, чтобы сделать важные технические темы более доступными. Это означает, что библиотеки, которые мы создаем, делают все возможное для пользователя, не ограничивая возможности.

fastai известен тем, что для получения результатов глубокого обучения мирового класса с данными визуальной, текстовой, табличной или рекомендательной системы требуется всего четыре строки кода:

  путь = untar_data (URLs.PETS)
dls = ImageDataLoaders.from_name_func (путь, get_image_files (путь / "изображения"),
    label_func, item_tfms = Изменить размер (224))
learn = cnn_learner (dls, resnet34, metrics = error_rate)
learn.fine_tune (1)
  

О большинстве из них было написано много страниц: гибкость API блока данных, мощность cnn_learner и современное обучение передачи, обеспечиваемое fine_tune .

А как насчет untar_data ? Эта первая строка кода, хотя и редко обсуждается, на самом деле является важной частью головоломки. Вот что он делает:

1. При необходимости загрузите URL в специальную папку (по умолчанию ~ / .fastai / archive ). Если он уже был загружен ранее, пропустите этот шаг
2. Проверьте, соответствуют ли размер и хэш загруженного (или кэшированного) архива ожидаемым fastai. Если этого не произошло, попробуйте снова загрузить
3. При необходимости распакуйте загруженный файл в другую специальную папку (по умолчанию ~ /.fastai / архив ). Если он уже был извлечен ранее, пропустите этот шаг
4. Вернуть объект Path , указывающий на расположение извлеченного архива.

Благодаря этому пользователям не нужно беспокоиться о том, где можно хранить их архивы и данные, загружали ли они URL раньше или нет, и правильная ли версия загруженного файла. fastai выполняет все это за пользователя, позволяя ему тратить больше времени на сам процесс моделирования.

быстрая загрузка

fastdownload позволяет обеспечить такое же удобство для ваших пользователей. Это поможет вам сделать наборы данных или другие архивы доступными для ваших пользователей, обеспечивая при этом их правильную загрузку с последней версией.

Ваш пользователь просто вызывает единственный метод, FastDownload.get , передавая требуемый URL-адрес, и этот URL-адрес будет загружен и извлечен в выбранные вами каталоги. Возвращается путь к извлеченному файлу.Если этот URL-адрес уже был загружен, кешированный архив или содержимое будут использоваться автоматически. Однако, если этот размер или хэш архива отличается от того, что должно быть, пользователь будет проинформирован, и будет загружена новая версия.

В будущем вы можете захотеть обновить один или несколько ваших архивов. Когда вы это сделаете, fastdownload будет гарантировать, что у ваших пользователей установлена ​​последняя версия, путем проверки их загруженных архивов на соответствие вашему обновленному размеру файла и хеш-информации.

fastdownload добавит файл download_checks.py в ваш модуль Python, который содержит размеры файлов и хэши для ваших архивов. Поскольку это обычный файл Python, он будет автоматически включен в ваш пакет, если вы загрузите его на канал pypi или conda.

Вот все, что вам нужно, чтобы предоставить функцию, которая работает так же, как untar_data :

  из fastdownload import FastDownload
def untar_data (url): вернуть FastDownload (base = '~ / .myapp').получить (URL)
  

Вы можете изменить места, в которые загружаются файлы, создав файл конфигурации ~ / .myapp / config.ini (если у вас его нет, он будет создан для вас). Значения в этом файле могут быть абсолютными или относительными путями (относительные пути разрешаются относительно местоположения ini-файла).

Если вы хотите попробовать fastdownload, перейдите к документации и следуйте инструкциям.

Фон

GitHub Copilot — это новый сервис от GitHub и OpenAI, описанный как «Ваш программист пары ИИ».Это плагин для Visual Studio Code, который автоматически генерирует код на основе содержимого текущего файла и вашего текущего местоположения курсора.

Это действительно волшебно в использовании. Например, здесь я ввел имя и строку документации функции, которая должна « Записать текст в файл fname »:

Серое тело функции полностью написано для меня Copilot! Я просто нажимаю Tab на клавиатуре, и предложение принимается и вставляется в мой код.

Это, конечно, не первый инструмент для синтеза программ на базе искусственного интеллекта. Поиск семантического кода на естественном языке на GitHub в 2018 году продемонстрировал поиск примеров кода с использованием простых описаний на английском языке. Tabnine уже несколько лет обеспечивает автозавершение кода с использованием искусственного интеллекта. Отличие Copilot в том, что он может генерировать целые многострочные функции и даже документацию и тесты на основе полного контекста файла кода.

Это особенно интересно для нас в fast.ai, потому что обещает снизить барьер для кодирования, что очень поможет нам в нашей миссии.Поэтому мне особенно хотелось погрузиться в Copilot. Однако, как мы увидим, я еще не уверен, что Copilot на самом деле является благословением. Может даже оказаться проклятием.

Copilot работает на глубокой языковой модели нейронной сети под названием Codex, которая была обучена в публичных репозиториях кода на GitHub. Это представляет для меня особый интерес, поскольку еще в 2017 году я был первым человеком, продемонстрировавшим, что языковая модель общего назначения может быть настроена для получения современных результатов по широкому кругу проблем НЛП.Я разработал и показал это на уроке fast.ai. Затем мы с Себастьяном Рудером конкретизировали подход и написали статью, которая была опубликована в 2018 году Ассоциацией компьютерной лингвистики (ACL). Алек Рэдфорд из OpenAI сказал мне, что эта статья вдохновила его на создание GPT, на котором основан Кодекс. Вот момент из того урока, где я впервые показал, что тонкая настройка языковой модели дает современный результат в классификации настроений IMDB:

Языковая модель обучается угадывать пропущенные слова в фрагменте текста.Традиционный подход «ngram», использовавшийся в предыдущие годы, не может хорошо справиться с этим, поскольку для правильного предположения требуется контекст. Например, подумайте, как бы вы восполнили пропущенные слова в каждом из этих примеров:

Знание того, что в одном случае «жаркий день» правильно, а в другом — «хот-дог», требует прочтения и (до некоторой степени) понимания всего предложения. Модель языка Codex учится угадывать недостающие символы в программном коде, поэтому ей нужно много узнать о структуре и значении компьютерного кода.Как мы обсудим позже, языковые модели действительно имеют некоторые существенные ограничения, которые в основном связаны с тем, как они создаются.

Тот факт, что Copilot обучается общедоступному коду под различными лицензиями, привел к многочисленным дискуссиям об этических и юридических последствиях. Поскольку это широко обсуждалось, я не буду вдаваться в подробности здесь, кроме как указать на одну четкую юридическую проблему для пользователей Copilot, которую обсуждала адвокат по интеллектуальной собственности Кейт Даунинг, а именно, что в некоторых случаях использование предложений Copilot может быть нарушением лицензия (или требовать перелицензирования вашей собственной работы под лицензией, совместимой с GPL):

“ Чем сложнее и длиннее предложение, тем больше вероятность, что в нем есть выражение, защищенное авторским правом. ”

Обзор

Прежде чем мы углубимся в Copilot, давайте рассмотрим еще несколько примеров его использования на практике.

Чтобы узнать, действительно ли работает автоматически сгенерированная функция write_text , нам нужен тест. Пусть это тоже напишет Copilot! В этом случае я просто ввел имя своей тестовой функции, и Copilot заполнил для меня строку документации:

Приняв это предложение, Copilot немного запутался и предложил бессмысленную функцию, содержащую много строк почти повторяющегося кода:

Нет проблем — Copilot может показать нам другие предлагаемые варианты, нажав Ctrl-Enter .Первый из перечисленных на самом деле выглядит довольно разумно (за исключением лишнего символа табуляции в первой строке):

Здесь Copilot предполагает, что есть функция под названием read_text , которой на самом деле не существует. Но для нас достаточно легко попросить Copilot написать и протестировать это для нас тоже.

Я также попросил Copilot создать для меня функцию, которая будет « Tar и дополнительно сжимать каталог dir до dest в формате bz2, xz или gzip », в результате получилось:

  def tar_dir (dir, dest):
    "Tar и, при желании, сжать каталог` dir` в `dest` в формате bz2, xz или gzip"
    если дест.заканчивается на ('. bz2'):
        с tarfile.open (dest, 'w: bz2') как f: f.add (dir, arcname = os.path.basename (dir))
    elif dest.endswith ('. xz'):
        с tarfile.open (dest, 'w: xz') как f: f.add (dir, arcname = os.path.basename (dir))
    elif dest.endswith ('. gz'):
        с tarfile.open (dest, 'w: gz') как f: f.add (dir, arcname = os.path.basename (dir))
    else: поднять ValueError ('bad dest: {}'. format (dest))
  

Я также попросил Copilot создать тест, используя тот же базовый подход, что и выше, и он написал:

  с TemporaryDirectory () как tmp:
    write_text (ОС.path.join (tmp, 'a.txt'), 'привет')
    write_text (os.path.join (tmp, 'b.txt'), 'мир')
    tar_dir (tmp, 'out.tar.bz2')
    утверждать os.path.exists ('out.tar.bz2')
    с tarfile.open ('out.tar.bz2') как f:
        assert f.getnames () == ['a.txt', 'b.txt']
  

Этот тест на самом деле не проходит, поскольку getnames в последней строке включает родительский каталог, но оттуда это достаточно легко исправить. Copilot даже умно решил использовать функцию write_text , которую я создал ранее, чего я не ожидал.

Вы даже можете использовать Copilot для написания прозы. Я пишу это сообщение в блоге в vscode прямо сейчас и просто нажал кнопку «включить Copilot». После того, как я напечатал предыдущее предложение, вот что Copilot порекомендовал в качестве завершения:

« Теперь я могу написать свое сообщение в блоге в одной строке текста, а Copilot создаст для меня остальную часть сообщения »

Очевидно, что Copilot имеет довольно раздутое представление о собственных возможностях генерации прозы!

Проблемы с кодом

Код, который пишет Copilot, не очень хороший код.Например, рассмотрим приведенную выше функцию tar_dir . Там много повторяющегося кода, а это значит, что в будущем нужно поддерживать больше кода, а читателю — понять, что это за код. Кроме того, в строке документации указано «необязательно сжимать», но сгенерированный код всегда сжимает . Мы могли бы исправить эти проблемы, написав вместо этого так:

  def tar_dir (dir, dest):
    "Tar и, при желании, сжать каталог` dir` в `dest` в формате bz2, xz или gzip"
    suf = ':' + Путь (назначение).суффикс [1:]
    если suf == ': tar': suf = ''
    с tarfile.open (dest, f'w {suf} ') как f: f.add (dir, arcname = dir)
  

Более серьезная проблема заключается в том, что и write_text , и tar_dir вообще не должны были быть написаны, поскольку функциональность для обоих уже обеспечивается стандартной библиотекой Python (как pathlib write_text и shutil make_archive ). Стандартные версии библиотеки также лучше: write_text pathlib выполняет дополнительную проверку ошибок и поддерживает кодирование текста и обработку ошибок, а make_archive поддерживает файлы zip и любой другой зарегистрированный вами формат архива.

Почему Copilot пишет неверный код

Согласно статье OpenAI, Кодекс дает правильный ответ только в 29% случаев. И, как мы видели, код, который он пишет, обычно плохо рефакторинг и не в полной мере использует существующие решения (даже если они находятся в стандартной библиотеке Python).

Copilot прочитал весь открытый архив кода GitHub, состоящий из десятков миллионов репозиториев, включая код многих лучших программистов мира. Учитывая это, почему Copilot пишет такой дерьмовый код?

Причина в том, как работают языковые модели.Они показывают, как в среднем пишет большинство людей. Они не понимают, что правильно, а что хорошо. Большая часть кода на GitHub (по стандартам программного обеспечения) довольно старый и (по определению) написана средними программистами. Copilot высказывает предположение, что эти программисты могли бы написать, если бы они писали тот же файл, что и вы. OpenAI обсуждает это в своей статье Кодекса:

– Как и в случае с другими крупными языковыми моделями, обученными для цели прогнозирования следующего токена, Codex будет генерировать код, максимально похожий на его обучающее распределение.Одним из следствий этого является то, что такие модели могут делать вещи, бесполезные для пользователя. ”

Один из важных моментов, по которому Copilot хуже , чем эти средние программисты, заключается в том, что он даже не пытается скомпилировать код, не проверять, что он работает, или не задумывается, действительно ли он делает то, что в документации говорится, что он должен делать. Кроме того, Codex не обучался работе с кодом, созданным за последние год или два, поэтому в нем полностью отсутствуют последние версии, библиотеки и языковые функции. Например, предложение создать код fastai приводит только к предложениям, использующим API версии 1, а не версии 2, выпущенной около года назад.

Жаловаться на качество кода, написанного Copilot, — все равно что встретить говорящую собаку и пожаловаться на ее дикцию. Тот факт, что он вообще говорит, впечатляет!

Давайте проясним: тот факт, что Copilot (и Codex) пишет разумно выглядящий код, — это потрясающее достижение. С точки зрения исследования машинного обучения и синтеза языков, это большой шаг вперед.

Но мы также должны понимать, что разумно выглядящий код, который не работает, не проверяет крайние случаи, использует устаревшие методы, является многословным и создает технический долг, может быть большой проблемой.

Проблемы с автогенерированным кодом

Инструменты создания кода существуют почти столько же, сколько существует код. И они вызывали споры на протяжении всей своей истории.

Чаще всего кодирование занимает не , написание кода , а , проектирование, отладка и поддержка кода . Когда код создается автоматически, его легко получить намного больше. Это не обязательно проблема, если все, что вам нужно сделать для поддержки или отладки, — это изменить источник, из которого автоматически создается код, например, при использовании инструментов шаблонов кода.Даже в этом случае при отладке может возникнуть путаница, поскольку отладчик и трассировки стека обычно указывают на подробный сгенерированный код, а не на шаблонный источник.

У Copilot нет ни одного из этих преимуществ. Нам почти всегда приходится изменять созданный код, и если мы хотим изменить то, как он работает, мы не можем просто вернуться и изменить подсказку. Нам нужно напрямую отладить сгенерированный код.

Как показывает практика, меньше кода означает меньше поддержки и понимания.Код Copilot многословен, и его настолько легко сгенерировать, что вы, скорее всего, получите лот кода!

Python имеет богатые возможности динамического и метапрограммирования, которые значительно сокращают потребность в генерации кода. Я слышал, как несколько программистов говорили, что им нравится, что Copilot пишет для вас много шаблонов. Тем не менее, я почти никогда не пишу никаких шаблонов — каждый раз, когда в прошлом мне требовался шаблон, я использовал динамический Python для его рефакторинга, поэтому мне больше не нужно было его писать или генерировать.Например, в ghapi я использовал динамический Python для создания полного интерфейса для всего API GitHub в пакете, который весит всего 40 КБ (для сравнения, эквивалентные пакеты в Go содержат более 100 000 строк кода, большая часть которого создается автоматически). .

Очень поучительный пример — то, что произошло, когда я запросил Copilot с помощью:

  def finetune (папка, модель):
    "" "точная настройка модели pytorch с использованием изображений из папки и отчет о результатах проверки на наборе" ""
  

При очень небольшом дополнительном вводе текста эти 89 строк кода были сгенерированы почти полностью автоматически! В каком-то смысле это действительно впечатляет.Он действительно делает то, что было запрошено, — настраивает модель PyTorch.

Правда, доводит модель плохо. Эта модель будет медленно обучаться, что приведет к низкой точности. Правильная настройка модели требует рассмотрения таких вещей, как обработка статистики слоя батчорма, точная настройка головы модели перед телом, правильный выбор скорости обучения, использование соответствующего графика отжига и т. Д. Кроме того, мы, вероятно, захотим использовать обучение смешанной точности на любом графическом процессоре CUDA, созданном за последние несколько лет, и, вероятно, захотим добавить более совершенные методы дополнения, такие как MixUp.Исправление кода для их добавления потребует дополнительных сотен строк кода и большого опыта в глубоком обучении или использования API более высокого уровня, такого как fastai, который может точно настроить модель PyTorch в 4 строках кода, что приведет к что-то более точное, быстрое и более расширяемое.)

Я не совсем уверен, что лучше всего будет делать Copilot в этой ситуации. Я не думаю, что то, что он делает сейчас, действительно полезно на практике, хотя это впечатляющая демонстрация.

Разбор Python с помощью регулярного выражения

Я спросил сообщество fast.ai о примерах случаев, когда Copilot помогал им в написании кода. Один человек сказал мне, что при написании регулярного выражения они сочли бесценным извлечение комментариев из строки, содержащей код Python (поскольку они хотели сопоставить каждое имя параметра в функции с его комментарием). Решил попробовать на себе. Вот подсказка для второго пилота:

  code_str = "" "def connect (
    host: str, # хост для подключения
    порт: int = 80, # порт для подключения
    ssl: bool = True, # использовать ли SSL
) -> сокет. символ, но все еще не включает группу захвата.) 

 
 Это незначительные проблемы, однако, по сравнению с большой проблемой этого кода, заключающейся в том, что регулярное выражение не может правильно анализировать комментарии Python. Например, это не сработает, поскольку  #  в  tag_prefix: str = "#"  будет неправильно проанализирован как начало комментария: 
 
  code_str = "" "def find_tags (
    input_str: str, # строка для поиска тегов
    tag_prefix: str = "#" # префикс, обозначающий начало тега
) -> List [str]: # список всех найденных тегов
  
 Оказывается, невозможно правильно разобрать код Python с помощью регулярных выражений.Но Copilot сделал то, о чем мы просили: в оперативном комментарии мы явно запросили регулярное выражение, и это то, что нам дал Copilot. Член сообщества, представивший этот пример, поступил именно так, когда писал свой код, поскольку он предполагал, что регулярное выражение было правильным способом решения этой проблемы. (Хотя даже когда я пытался удалить «regex to» из приглашения, Copilot все еще предлагал использовать решение с регулярным выражением.) Проблема в этом случае не в том, что Copilot делает что-то  неправильно , это то, для чего он предназначен, может не в интересах программиста.
 GitHub позиционирует Copilot как «парного программиста». Но я не уверен, что это действительно отражает то, что он делает. Хороший парный программист - это тот, кто помогает вам подвергнуть сомнению ваши предположения, выявить скрытые проблемы и увидеть общую картину. Copilot не делает ничего из этого - напротив, он слепо предполагает, что ваши предположения уместны, и полностью сосредотачивается на создании кода на основе непосредственного контекста того, где находится ваш текстовый курсор прямо сейчас.
 Когнитивный сдвиг и программирование пар ИИ 
 Программист в паре ИИ должен хорошо работать с людьми.И наоборот. Однако у людей есть два когнитивных предубеждения, которые особенно усложняют это: предвзятость автоматизации и предвзятость привязки. Благодаря этой паре человеческих слабостей у всех нас будет тенденция чрезмерно полагаться на предложения Copilot, даже если мы явно постараемся этого не делать.
 Википедия описывает предвзятость автоматизации как:
 « склонность людей отдавать предпочтение предложениям автоматизированных систем принятия решений и игнорировать противоречивую информацию, сделанную без автоматизации, даже если она верна »
 Предвзятость автоматизации уже признана серьезной проблемой в здравоохранении, где широко используются компьютерные системы поддержки принятия решений.В судебных и полицейских кругах также есть много примеров, например, городской чиновник в Калифорнии, который неправильно описал инструмент IBM Watson, используемый для прогнозирования полицейской деятельности: «С машинным обучением, с автоматизацией, успех составляет 99%, так что этот робот - будет - на 99% точным в том, чтобы сказать нам, что будет дальше », побуждая мэра города сказать:« Ну, а почему мы не устанавливаем [там] калибры .50? » (Он утверждал, что был «шутливым».) Подобное завышенное представление о возможностях ИИ может также повлиять на пользователей Copilot, особенно на программистов, которые не уверены в своих возможностях.
 The Decision Lab описывает систематическую ошибку привязки как:
 « когнитивная предвзятость, которая заставляет нас слишком сильно полагаться на первую часть информации, которую нам дают по теме.  ”
 Предвзятость привязки очень широко задокументирована и преподается во многих бизнес-школах как полезный инструмент, например, при переговорах и ценообразовании.
 Когда мы вводим vscode, Copilot подключается и предлагает дополнения кода полностью автоматически и без какого-либо взаимодействия с нашей стороны.Это часто означает, что до того, как мы действительно получили возможность подумать о том, куда мы направляемся, Copilot уже проложил для нас путь. Это не только то, что мы получаем « первая часть информации », но также пример « предложений от автоматизированных систем принятия решений » - мы получаем двойной удар когнитивных предубеждений, которые необходимо преодолеть! И это происходит не один раз, а каждый раз, когда мы пишем еще несколько слов в текстовом редакторе.
 К сожалению, одна из вещей, которые мы знаем о когнитивных предубеждениях, заключается в том, что просто знать о них недостаточно, чтобы не быть обманутыми ими.Так что это не то, что GitHub может исправить только путем тщательного представления предложений Copilot и обучения пользователей.
 Stack Overflow, Google и примеры использования API 
 Обычно, если программист не знает, как что-то делать и не использует Copilot, он будет это погуглить. Например, кодировщик, который мы обсуждали ранее, который хотел найти параметры и комментарии в строке, содержащей код, мог бы искать что-то вроде: « python извлекает список параметров из регулярного выражения кода ».Второй результат этого поиска - сообщение о переполнении стека с принятым ответом, в котором правильно сказано, что это невозможно сделать с помощью регулярных выражений Python. Вместо этого в ответе предлагалось использовать синтаксический анализатор, такой как pyparsing. Затем я попытался найти « pyparsing python comments » и обнаружил, что этот модуль решает нашу точную проблему.
 Я также попытался выполнить поиск по запросу « извлекать комментарии из файла python», который дал первый результат, показывающий, как решить проблему с помощью модуля tokenize стандартной библиотеки Python.В этом случае запрашивающий представил свою проблему, сказав: « Я пытаюсь написать программу для извлечения комментариев из кода, который вводит пользователь. Я попытался использовать регулярное выражение, но мне было трудно писать *. Звучит знакомо!
 Это заняло у меня на пару минут больше времени, чем поиск подсказки для Copilot, которая давала ответ, но в результате я узнал гораздо больше о проблеме и возможном пространстве решений. Обсуждения Stack Overflow помогли мне понять проблемы работы со строками в кавычках в Python, а также объяснили ограничения механизма регулярных выражений Python.
 В этом случае я чувствовал, что подход Copilot будет хуже как для опытных, так и для начинающих программистов. Опытным программистам нужно будет потратить время на изучение различных предложенных вариантов, осознать, что они неправильно решают проблему, а затем им все равно придется искать решения в Интернете. Начинающие программисты, скорее всего, почувствуют, что они решили проблему, на самом деле не узнают, что им нужно понимать об ограничениях и возможностях регулярных выражений, и в конечном итоге получат сломанный код, даже не осознавая этого.
 Помимо CoPilot, Microsoft, владельцы GitHub, создали другой, но связанный продукт под названием «Примеры использования API». Вот пример, взятый прямо с их сайта:
 Этот инструмент ищет в Интернете примеры людей, использующих API или библиотеку, с которыми вы работаете, и предоставляет примеры реального кода, показывающие, как он используется, а также ссылки на источник примера. Это интересный подход, который находится где-то между Stack Overflow (но упускает ценные обсуждения) и Copilot (но не предоставляет предложений, адаптированных к вашему конкретному контексту кода).Важным дополнительным элементом здесь является то, что он ссылается на источник. Это означает, что кодировщик действительно может видеть полный контекст того, как другие люди используют эту функцию. Лучший способ научиться программировать - это читать код и писать код. Помощь кодировщикам в поиске подходящего кода для чтения - отличный подход как к решению проблем людей, так и к повышению их навыков.
 Получится ли отличная функция примеров использования API Microsoft, будет действительно зависеть от их способности ранжировать код по качеству и показывать лучшие примеры использования.По словам менеджера по продукту (в Twitter), они сейчас над этим работают.
 Выводы 
 Я до сих пор не знаю ответа на вопрос в заголовке этого сообщения: «GitHub Copilot - это благословение или проклятие?» Это могло быть благословением для одних и проклятием для других. Для тех, для кого это проклятие, они могут не узнавать этого годами, потому что проклятие будет заключаться в том, что они учатся меньше, учатся медленнее, увеличивают технический долг и вносят тонкие ошибки - все это то, что вы вполне можете не замечать. , особенно для начинающих разработчиков.
 Copilot может быть более полезным для языков, которые содержат много шаблонов и имеют ограниченную функциональность метапрограммирования, например Go. (Многие люди сегодня используют шаблонную генерацию кода с помощью Go по этой причине.) Другая область, для которой он может быть особенно подходящим, - это опытные программисты, работающие с незнакомыми языками, поскольку это может помочь получить правильный базовый синтаксис и указать на библиотечные функции и общие идиомы.
 Следует помнить, что Copilot - это предварительная версия очень новой технологии, которая будет становиться все лучше и лучше.В ближайшие месяцы и годы появится много конкурентов, и GitHub, несомненно, выпустит новые и лучшие версии своего собственного инструмента.
 Чтобы увидеть реальные улучшения в синтезе программ, нам нужно выйти за рамки просто языковых моделей и перейти к более целостному решению, включающему передовой опыт взаимодействия человека с компьютером, разработки программного обеспечения, тестирования и многих других дисциплин. В настоящее время Copilot выглядит как продукт, разработанный и внедренный исследователями машинного обучения, а не как законченное решение, включающее все необходимые знания в предметной области.