Как обучать нейросеть, Как учатся нейронки
Нейронные сети могут анализировать человеческую речь независимо от ее речевых моделей, высоты, тона, языка и акцента. Зачастую при использовании такого подхода предобучается только Encoder на всех данных a [ 4 ], после чего Decoder обучается обычным supervised на размеченных данных c [ 4 ]. Сверточные нейронные сети Скрытые слои в сверточных нейронных сетях выполняют определенные математические функции например, суммирование или фильтрацию , называемые свертками.
Таким образом можно быстрее и качественнее обучить сеть на целевую задачу благодаря утилизации всех неразмеченных данных. Зачастую при использовании такого подхода предобучается только Encoder на всех данных a [ 4 ], после чего Decoder обучается обычным supervised на размеченных данных c [ 4 ].
Метод отличается тем, что авторы статьи придумали, как обучать ещё и Decoder с помощью подхода локального контрастивного обучения b [ 4 ]. Это достигается за счет работы не с векторами признаков, полученными из энкодера, а уже с картами признаков, получаемыми из ветки декодера.
Таким образом на первом этапе обучается только Encoder; фичи, полученные после AVG слоя, сравниваются с помощью контрастивного лосса:.
Как было сказано ранее, первый этап - лишь подготовка части модели, далее следующим мы дообучаем модель с аннотацией в supervised манере. На рисунке ниже показан полный пайплайн обучения. Достаточно часто в качестве функции потерь используют Dice [ 7 ], он обозначает меру схожести классов между ground truth и prediction также известный как F-1 мера :.
Однако он имеет несколько недостатков, так как оперирует целыми числами и не учитывает вероятностных значений prediction. Во-первых, необходимо подобрать threshold, который будет напрямую влиять на правильность результата.
Во-вторых, для классического Dice без разницы, какая вероятность была у класса, например, если граничное значение равно 0, то значение 0. Continuous Dice — более подходящая функция ошибки в рамках данной задачи, так как он учитывает вероятности выхода и штрафует за ошибки аддитивно их вероятностям. Не менее интересный подход — согласованная с преобразованием самоорганизующаяся модель для обучения с частичным привлечением учителя.
Идею можно передать следующим примером — если мы подадим на вход нейронной сети повернутую на 90 градусов картинку, то получим тот же результат, если мы сначала повернем изображение на 90 градусов, а потом уже подадим в нейронную сеть.
Таким образом, кроме поворота могут быть и другие преобразования a [ 5 ]. Однако важно понимать, что нейронные сети — нелинейные алгоритмы, поэтому одинаковые маски на выходе мы не получим b [ 5 ]. Эту идею сформулировать как функцию потерь. На основе этой идеи был создан алгоритм TCSM transformation consistent self-ensembling model.
В сеть-ученик передается оригинальное изображение, в сеть-учитель — измененное, потом с помощью тех же самых преобразований меняем выход сети-ученик. Результат должен быть одинаковым. Так как сеть-учитель выступает в качестве среднего сглаживающего фильтра состояний модели-студента, то это позволяет использовать неразмеченные данные без потери консистентности предсказаний моделей учитель, ученик в процессе обучения.
И так для всех исходных изображений обучаем таким пайплайном сети, используя соответственно Unlabeled loss. Для изображений с аннотациями — просто сравниваем выход сеть-учитель с целевой маской и используем для расчета ошибки labeled loss. Полученные модели мы оценили по метрикам Dice и объемный Dice VolDice , который используется для оценки всего исследования как целого 3D объекта.
Метрики были рассчитаны для каждого класса, где 0 - норма отсутствие патологии , 1 - матовое стекло. На рисунке приведены примеры результатов обработки КТ-снимков из тестового набора моделью, обученной на данных с полной аннотацией, и TCSM моделью, обученной на данных, имеющих в 5 раз меньше аннотаций.
Примеры иллюстрируют, что согласованная модель может справляться с задачей сегментации не хуже, чем эталонная модель, что подкрепляет достигнутые метрики из таблицы. Таким образом, утилизация неразмеченных данных и использование подходов обучения моделей без учителя или с частичным его привлечением для сегментации КТ-снимков позволяет сохранить качество работы модели, при этом число необходимых данных с разметкой сокращено в 5 раз, а это уменьшает минимальную необходимую стоимость аннотации данных, сокращает время разметки в раза, а, значит, сокращает и время на цикл разработки или улучшения моделей.
Поиск Написать публикацию. Время на прочтение 6 мин. Источник - Botkin.
AI При анализе снимков необходимо учитывать, что КТ-снимок — это объемное изображение 3D , содержащее целевой орган. Пример 5 подряд идущих снимков. Результаты Полученные модели мы оценили по метрикам Dice и объемный Dice VolDice , который используется для оценки всего исследования как целого 3D объекта. Теги: Искусственный интеллект медицинские технологии рентгенология нейросети обучение модели обучение без учителя обучение с учителем. Комментарии 8.
Итеративно повторяйте процесс обучения, оценки и улучшения, пока не достигнете желаемого уровня производительности или результатов. Это общие шаги, которые помогут вам создать и обучить свою собственную нейронную сеть на своих данных. Не забывайте, что глубокое обучение - это искусство, требующее практики и экспериментирования, поэтому не стесняйтесь проводить дополнительные исследования и настраивать свою нейронную сеть для достижения наилучших результатов.
Соберите и подготовьте набор данных, который будет использоваться для обучения вашей нейронной сети. Это может быть любой набор данных, соответствующий вашей задаче например, изображения, тексты, звуковые файлы и т.
Разделите ваши данные на обучающую выборку training set , валидационную выборку validation set и тестовую выборку test set. Выберите тип архитектуры нейронной сети, который наиболее подходит для вашей задачи. Например, сверточные нейронные сети Convolutional Neural Networks , CNN обычно используются для обработки изображений, рекуррентные нейронные сети Recurrent Neural Networks , RNN для обработки последовательностей и так далее. Определите количество слоев, типы слоев например, сверточные слои, пулинг-слои, полносвязные слои и т.
Используйте выбранный фреймворк глубокого обучения например, TensorFlow , PyTorch , Keras для реализации нейронной сети. Определите структуру вашей нейронной сети, используя выбранный фреймворк и параметры, определенные в предыдущем шаге.
Используйте обучающую выборку для обучения нейронной сети. Передайте входные данные через сеть и вычислите выходные значения. Определите функцию потерь loss function , которая будет использоваться для измерения ошибки вашей нейронной сети. Повторяйте эти шаги для всех образцов в обучающей выборке в течение нескольких эпох.
Настройте гиперпараметры обучения.
Гиперпараметры обучения включают параметры, которые не могут быть изучены во время обучения нейронной сети, такие как скорость обучения learning rate , количество эпох epochs , размер пакета batch size и другие. Выберите значения гиперпараметров, которые оптимизируют процесс обучения вашей нейронной сети. Это может потребовать нескольких экспериментов и проверки результатов на валидационной выборке.
