Штучні нейронні мережі

• Тема 1 – Принципи побудови та навчання штучних нейронних мереж

Вступ до штучних нейронних мереж (ШНМ). Основні визначення, історія виникнення та розвитку, моделі нейрона та їх класифікація, типи активаційних функцій та їх призначення, недоліки формальної моделі нейрона. Практичне заняття №1 "Дослідження моделі нейрона з використанням програми — нейросимулятору". Завдання: 1. Шляхом підбору синаптичних ваг та порогу чутливості математичного нейрона змусити його моделювати логічні функції "І", "АБО" та інші; 2. Навчити одношаровий перцептрон здійснювати класифікацію парних та непарних цифр: 3. Створити навчальну вибірку букв українського алфавіту та навчити одношаровий перцептрон їх розпізнаванню. Методичні матеріали: керівництво до практичного заняття. Основи побудови та навчання ШНМ. Класифікація ШНМ, задачі, що вирішуються з використанням ШНМ, основні парадигми навчання ШНМ, архітектура і навчання елементарного перцептрона, його недоліки.Практичне заняття №2 "Використання елементарного перцептрона для вирішення задач класифікації з використанням програми-нейросимулятору". Завдання: 1. Шляхом підбору параметрів навчання перцептрона (кількість нейронів у прихованому шарі, вид активаційної функції, швидкість навчання та кількість епох навчання) здійснити моделювання різних логічних функцій. 2. Шляхом підбору параметрів входу мережі та її структури, навчити перцептрон здійснювати класифікацію медичних діагнозів. 3. За допомогою програми-нейросимулятору створити та навчати нейронну мережу, що вирішує одну з наданих задач (наприклад): детектор брехні, антиспамер, система діагностики складних технічних пристроїв, діагностика здоров'я людини та інші. Методичні матеріали: керівництво до практичного заняття. Вирішення задачі класифікації з використанням ШНМ. Задача класифікації, підхід, заснований на даних; метод найближчого сусіда та метод k-найближчих сусідів (k-nearest neighbors algorithm, k-NN); Евклідова відстань, гіперпараметри, лінійна класифікація, інтерпретація лінійного класифікатору та проблеми, що виникають. Функції втрат та оптимізація. Градієнтні методи навчання. Функція втрат та приклади її роботи; проблема перенавчання, регулярізація, оптимізація та її стратегії. Поняття градієнту, стохастичний градієнтний спуск; обчислювальні графи, роль зміщення, швидкість та момент навчання.Практичне заняття №3 "Ознайомлення з бібліотеками Python та фреймворками TensorFlow та Keras для побудови та навчання ШНМ". Вибір та інсталяція бібліотек та фреймворків, принципи їхньої побудови, основні функції та інструменти для побудови та навчання ШНМ. Алгоритм зворотного розповсюдження помилки (Backpropagation). Структура алгоритму, реалізація алгоритму в багатошарових ШНМ, проблеми реалізації в глибоких ШНМ. Багатошарові ШНМ прямого розповсюдження. Архітектура та підхід до навчання. Архітектура багатошарових ШНМ, активаційні функції, підготовка даних, ініціалізація ваг, пакетна нормалізація, оптимізація гіперпараметрів.Лабораторна робота №1 "Побудова та навчання багатошарового перцептрона на мові Python з використанням бібліотек". Завдання: 1. Побудувати програмну модель нейрона з вибраною активаційною функцією; 2. Підготувати набір даних та провести навчання моделі нейрона; 3. Створити багатошаровий перцептрон, використовуючи алгоритм зворотного розповсюдження помилки, навчити ШНМ здійснювати класифікацію зображень бібліотеки MNIST; 4. Зміною гіперпараметрів домогтися мінімізації помилки розпізнавання; 5. Зробити висновки. Методичні матеріали: керівництво до лабораторної роботи. Методи покращення навчання багатошарових ШНМ. Проблема локальних мінімумів, покращення оптимізації гіперпараметрів, пришвидшений градієнт Нестерова, метод AdaGrad, метод RMSProp, метод Adam. Оптимізація другого порядку, ансамблеві методи, вибір швидкості навчання, Dropout, доповнення даних, передача навчання.

• Тема 2 - Згорткові та рекурентні нейронні мережі

Згорткова нейронна мережа (CNN). Історія створення CNN та досягнення, загальний підхід до побудови архітектури CNN, операція згортки. Архітектура мережі LeNet5, шар згортки, шар підвибірки (пулінгу), повнозв'язний шар, шар активації. Згорткова нейронна мережа. Побудова та навчання. Побудова мережі, навчання мережі, переваги та недоліки CNN, залишкові мережі ResNet, приклади CNN та їх застосування, використання мережі U-NET для сегментації зображень.Лабораторна робота №2 "Побудова та навчання згорткової нейронної мережі на мові Python з використанням бібліотек". Завдання: 1. Визначити та запрограмувати операції згортки, активаційної функції, функції втрат; 2.Створити шари згортки, пулінгу, активації та повнозв'язний шар; 3. Запрограмувати алгоритм зворотного розповсюдження помилки; 4. Побудувати згорткову ШНМ, провести її навчання та тестування з використанням бібліотеки MNIST або FashionMNIST; 5. Зробити висновки. Методичні матеріали: керівництво до лабораторної роботи. Рекурентні нейронні мережі (RNN). Архітектура і навчання. Історія створення, мережі Хопфілда, Хемінга, Елмана; загальна ідея побудови сучасних RNN, обчислювальні графи, архітектура RNN, двоспрямовані RNN, навчання RNN: метод зворотного розповсюдження помилки у часі. Двоспрямована асоціативна пам'ять (мережа Коско). Постановка задачі, архітектура, навчання, практичне використання. Рекурентні нейронні мережі. LSTM та GRU. Довга короткочасна пам'ять (long short-term memory, LSTM), приклади RNN та LSTM, керований рекурентний блок (Gated Recurrent Unit, GRU), концепція уваги, застосування RNN.Лабораторна робота №3 "Побудова та навчання рекурентної ШНМ на мові Python з використанням бібліотек". Завдання: 1. Розробити архітектуру ШНМ для вирішення обраної задачі (наприклад: класифікації недовгих регресних, зростаючих або періодичних послідовностей чисел; класифікації фраз технічного або ліричного тексту; класифікації страв або коктейлів за короткими рецептами або іншої задачі); 2. Підготувати набір навчаючої та тестової вибірки; 3. Запрограмувати фази прямого розповсюдження сигналів та зворотного розповсюдження помилки у часі; 4. Провести навчання та тестування створеної ШНМ. 5. Зробити висновки. Методичні матеріали: керівництво до лабораторної роботи.

• Тема 3 - Навчання без вчителя та огляд інших сучасних ШНМ

Навчання без вчителя. Загальний підхід. Визначення навчання без вчителя, кластеризація, постановка задачі, цілі кластеризації, типи кластерних структур, якість кластеризації; Методы кластеризації, алгоритм k-means, функції відстані, візуалізація кластерної структури; практичні задачі, що вирішуються з навчанням без вчителя; навчання з частковим залученням вчителя.Лабораторна робота №4 "Побудова та навчання рекурентної ШНМ на мові Python з використанням бібліотек". Завдання: 1. На основі наданих прикладів, вивчити та створити програмні моделі найбільш популярних методів навчання без вчителя для кластеризації даних: методу k-середніх (k-means), методу ієрархічної кластеризації, методу t-SNE, методу кластеризації на основі щільності DBSCAN. 2. Для складення прогнозів використовується набір даних "Іриси Фішера". 3. Результати кластеризації за кожним методом візуалізуються. 4. Зробити висновки. Методичні матеріали: керівництво до лабораторної роботи. Мережі Кохонена та автокодувальники (автоенкодери). Правило Хебба, нейронна мережа Хебба, конкурентне навчання, нейронні мережі Кохонена, мережа, що сама навчається, її архітектура та алгоритм навчання; мапи, що самі організовуються (SOM); застосування мереж Кохонена. Призначення та основна архітектура автокодувальників, їх типи та задачі, що вирішуються; схеми функціонування, алгоритм навчання, приклади реалізації та застосування. Обмежена машина Больцмана. Марковські випадкові поля та машина Больцмана; обмежена машина Больцмана (restricted Boltzmann machine, RBM), архітектура, алгоритм навчання, попереднє навчання ШНМ з використанням RBM, застосування RBM, асоціативна пам'ять на основі RBM Нейронні мережі на основі RBF. Радіально-базисні функції (RBF): математичні основи, теорема Ковера, типи RBF, архітектура та мереж RBF, застосування мереж RBF: вирішення задачі XOR, мережа, що апроксимує, класифікатор. Машина опорних векторів (SVM). SVM в задачах класифікації: постановка та формальний опис задачі; поняття оптимальної гіперплощини, що розділює; вибірка, що лінійно розділює, та лінійно не розділює; ядра та простори, що спрямляють; алгоритми налаштування; машини опорних векторів в задачах регресії; Навчання з підкріпленням. Нейроморфні моделі ШНМ. Постановка задачі навчання з підкріпленням; алгоритми навчання з підкріпленням, задача про багаторукого бандита (The multi-armed bandit problem), Q-learning, метод policy gradient, алгоритм асинхронного актора-критика та його реалізації на основі ШНМ; нейроморфний підхід до моделювання ШНМ, імпульсні мережі, детекторна ШНМ Технологій глибинного навчання та архітектури сучасних глибоких ШНМ. Визначення глибинного навчання (ГН), історія розвитку та сучасний стан, відмінність ГН від звичайного машинного навчання, переваги ГН, складність впровадження технології ГН, приклади використання ГН, популярні алгоритми та архітектурні рішення мереж ГН, спеціальні методи ГН, бібліотеки Python та найбільш популярні фреймворки для ГН, Online – прикладення з використанням ГН. Генеративно-змагальна мережа (GAN), глибокі машини Больцмана, глибокі мережі довіри, ансамблеві методи, огляд нових архітектур глибоких ШНМ.