Розробники та рецензенти
Заклад вищої освіти:
Компанія-рецензент 1:
Компанія-рецензент 2:
Валідація:
Розробник навчальної програми:
Паржин Юрій Володимирович — д.т.н, професор, завідувач кафедри «Інформатики та інтелектуальної власності інституту комп'ютерних наук та інформаційних технологій» Національного технічного університету «Харківський політехнічний інститут».
Базова інформація
Шифр та назва спеціальності:
122 - Комп'ютерні наукиНазва освітньо-наукової програми
Комп'ютерні наукиНазва дисципліни
Штучні нейронні мережіВид дисципліни
ОсновнаБлок дисципліни
AI, MLКількість студентів
Курс/Семестр
6Загальна інформація про дисципліну
Анотація
В дисципліні розглядається побудова та практичне використання штучних нейронних мереж (ШНМ) з градієнтними методами навчання (навчанням з "вчителем"): багатошаровий перцептрон, згорткова ШНМ, рекурентні ШНМ; побудова та практичне використання ШНМ з самонавчанням (навчанням без "вчителя"): мережі Кохонена, автоенкодери, а також інші моделі ШНМ та підходи до їх навчання: обмежені машини Больцмана, машини опорних векторів, ШНМ на основі RBF, нейроморфні моделі ШНМ, навчання з підкріпленням. Цикл практичних занять та лабораторних робіт побудовано з використанням мови Pyton та її бібліотек, фреймворків TensorFlow та Keras.Анотація
Дисципліна має метою вивчення теорії та практики побудови програмних моделей штучних нейронних мереж різноманітної архітектури та їх навчання із застосуванням алгоритмів і методів, що відображають сучасні парадигми навчання, для вирішення практичних задач аналізу інформації на основі використання мови програмування Python та її бібліотек.Анотація
Лекції, лабораторні роботи, практичні заняття, самостійна робота. Підсумковий контроль – залік.Розподіл часу
Загальний обсяг (кредитів): 3; Лекції (занять): 18; Лабораторні (занять): 10; Практичні (занять): 4; Самостійна робота (годин): 56
Попередні дисципліни
Математичний аналіз, Дискретна математика, Алгоритми і структури даних, Теорія ймовірностей, Математична статистика, Основи програмування, Методи та засоби обчислювальної математики, Методи та засоби аналізу даних.Матеріально-технічне та програмне забезпечення дисципліни
Комп'ютери: процесор Intel Core i5 або аналогічний, оперативна пам'ять 4 гб, будь-яка відеокарта з обсягом відеопам'яті 1 гб; Операційна система Windows 10, версія мови Python вище 3.0, поступ до Internet.Структура дисципліни
Тема 1 – Принципи побудови та навчання штучних нейронних мереж.
- Лекція: Вступ до штучних нейронних мереж (ШНМ).
- Практичне заняття №1: "Дослідження моделі нейрона з використанням програми — нейросимулятору".
- Лекція: Основи побудови та навчання ШНМ.
- Практичне заняття №2: "Використання елементарного перцептрона для вирішення задач класифікації з використанням програми-нейросимулятору".
- Лекція: Вирішення задачі класифікації з використанням ШНМ.
- Лекція: Функції втрат та оптимізація. Градієнтні методи навчання.
- Практичне заняття №3: "Ознайомлення з бібліотеками Python та фреймворками TensorFlow та Keras для побудови та навчання ШНМ".
- Лекція: Алгоритм зворотного розповсюдження помилки (Backpropagation).
- Лекція: Багатошарові ШНМ прямого розповсюдження. Архітектура та підхід до навчання.
- Лабораторна робота №1: "Побудова та навчання багатошарового перцептрона на мові Python з використанням бібліотек".
- Лекція: Методи покращення навчання багатошарових ШНМ.
- Лекція: Згорткова нейронна мережа (CNN).
- Лекція: Згорткова нейронна мережа. Побудова та навчання.
- Лабораторна робота №2: "Побудова та навчання згорткової нейронної мережі на мові Python з використанням бібліотек".
- Лекція: Рекурентні нейронні мережі (RNN). Архітектура і навчання.
- Лекція: Рекурентні нейронні мережі. LSTM та GRU.
- Лабораторна робота №3: "Побудова та навчання рекурентної ШНМ на мові Python з використанням бібліотек".
- Лекція: Навчання без вчителя. Загальний підхід.
- Лабораторна робота №4: "Побудова та навчання рекурентної ШНМ на мові Python з використанням бібліотек".
- Лекція: Мережі Кохонена та автокодувальники (автоенкодери).
- Лекція: Обмежена машина Больцмана.
- Лекція: Нейронні мережі на основі RBF.
- Лекція: Машина опорних векторів (SVM).
- Лекція: Навчання з підкріпленням. Нейроморфні моделі ШНМ.
- Лекція: Технологій глибинного навчання та архітектури сучасних глибоких ШНМ.
Теми та завдання для самостійної роботи
- Застосування інструментів TensorFlow та Keras для побудови та навчання багатошарового перцептрона. Завдання: створюється програмна реалізація ШНМ, яка розглянута в лабораторній роботі №1, із застосування TensorFlow та Keras.
- Застосування інструментів TensorFlow та Keras для побудови та навчання згорткової ШНМ. Завдання: створюється програмна реалізація ШНМ, яка розглянута в лабораторній роботі №2, із застосування TensorFlow та Keras.
- Застосування інструментів TensorFlow та Keras для побудови та навчання рекурентної ШНМ. Завдання: створюється програмна реалізація ШНМ, яка розглянута в лабораторній роботі №3, із застосування TensorFlow та Keras.
- Побудова нейронної мережі Кохонена на мові Python з використанням бібліотек. Завдання: створюється програмна реалізація мережі Кохонена для вирішення задачі кластеризації.
- Побудова та навчання автоенкодерів на мові Python з використанням бібліотек. Завдання: створюється програмна реалізація автоенкодеру заданого типу.
Проєкт
Окремий проєкт не передбачений навчальним планом.
Рекомендовані джерела інформації та навчальні матеріали
- Хайкин С. Нейронные сети: полный курс, 2-е издание: Пер.с англ. –М.: Изд. дом "Вильямс", 2019. – 1104 с.
- Тимощук П.В. Штучні нейронні мережі. Навчальний посібник. Львів: Видавництво Львівської Політехніки, 2011. - 444с.
- Руденко О.Г., Бодянський Є.В. Штучні нейронні мережі: Навчальний посібник. Харків: ТОВ «Компанія СМІТ», 2006. - 404 с.
- Гафаров Ф.М., Галимянов А.Ф. Искусственные нейронные сети и их приложения. Учебное пособие. Казань: Изд-во Казанского университета, 2018, - 121 с.
- Ростовцев В.С. Искусственные нейронные сети: учебник. Изд-во "Лань". 2021. – 216 с.
- Аггарвал Ч. Нейронные сети и глубокое обучение: учебный курс. Изд-во "Диалектика-Вильямс". 2020. – 752 с.
- Рашид Т. Создаем нейронную сеть. Изд-во "Вильямс". 2020. – 272 с.
- Бринк Х., Ричардс Д., Феверолф М. Машинное обучение. - СПб.: Изд-во "Питер", 201 7. -336 с.
- Плас Дж. В. Python для сложных задач: наука о данных и машинное обучение. — СПб.: Изд-во "Питер", 2018. — 576 с.
- Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение / пер. с анг. А. А. Слинкина. – 2-е изд., испр. – М.: ДМК Пресс, 2018. – 652 с.
- Шолле Ф. Глубокое обучение на Python. — СПб.: Питер, 2018. — 400 с.
- Шакла Н. Машинное обучение и TeпsorFlow. - СПб.: Питер, 2019. - 336 с.
- Жерон О. Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных систем. Пер. с англ. - СпБ.: ООО "Альфа-книга': 2018. - 688 с.
- Джулли А., Пал С. Библиотека Keras – инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow./ пер. с англ. Слинкин А.А. – М.: ДМК Пресс, 2018. – 294 с.
Контрольні заходи
Тема 1: За результатами захисту практичних завдань та лабораторних робіт
Тема 2: За результатами захисту лабораторних робіт.
Тема 3: За результатами захисту лабораторних робіт.
ІДЗ, РГЗ тощо: За результатами виконання завдань для самостійної роботи.
Залік: За результатами співбесіди.
Результати навчання
Використовувати знання закономірностей випадкових явищ, їх властивостей та операцій над ними, моделей випадкових процесів та сучасних програмних середовищ для розв’язування задач статистичної обробки даних і побудови прогнозних моделей. Використовувати методи обчислювального інтелекту, машинного навчання, нейромережевої обробки даних для розв’язання задач розпізнавання, прогнозування, класифікації, ідентифікації об’єктів керування тощо. Розробляти програмні моделі предметних середовищ, вибирати парадигму програмування з позицій зручності та якості застосування для реалізації методів та алгоритмів розв’язання задач в галузі комп’ютерних наук. Застосовувати методи та алгоритми обчислювального інтелекту та інтелектуального аналізу даних в задачах класифікації, прогнозування, кластерного аналізу, пошуку асоціативних правил з використанням програмних інструментів підтримки багатовимірного аналізу даних на основі технологій DataMining, TextMining.