Інженер з великих даних з машинним та глибинним навчанням

Основи інженерії даних та архітектури даних (приблизно 2 дні)

Завдання та сфери застосування інженерії даних

Основи сучасних архітектур даних та платформ даних

Основи та порівняння хмарних архітектур даних

OLTP та OLAP

Обробка структурованих, напівструктурованих та неструктурованих даних

Управління вимогами та моделювання даних (приблизно 1 день)

Вимоги до даних та джерел даних

Концептуальне моделювання даних

Моделювання структур даних та потоків даних

Контракти на дані, управління даними та простежуваність даних

Бази даних та обробка даних (приблизно 1 день)

Архітектура систем баз даних

Порівняння SQL, NoSQL та NewSQL

Реляційне моделювання даних

SQL для запитів та обробки даних

Створення сховищ даних та сучасні архітектури даних (приблизно 2 дні)

Основи та архітектура систем сховищ даних

Димонсіональне моделювання даних та проектування схем

Факти, виміри та зберігання історичних даних

Порівняння сховищ даних, озер даних та lakehouse

Вступ до dbt

Практична реалізація моделей даних

Інтеграція даних та конвеєри даних (приблизно 5 днів)

Інтеграція даних та їх надання

Процеси ETL та ELT

Побудова та оркестрування конвеєрів даних

Очищення, валідація та якість даних

Пакетна та потокова обробка

Практичне застосування Airflow та Spark

Програмування та автоматизована обробка даних (приблизно 4 дні)

Середовища Python та управління пакетами

Обробка та перетворення даних за допомогою Python

Автоматизація процесів обробки даних

Підключення різних джерел даних та інтерфейсів

Розробка робочих процесів у сфері інженерії даних

Контейнеризація за допомогою Docker

Підтримка на основі штучного інтелекту в процесі розробки та обробки даних

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Що таке великі дані? (приблизно 1 день)

Обсяг, швидкість, різноманітність, цінність, достовірність

Можливості та ризики великих обсягів даних

Диференціація: бізнес-аналітика, аналітика даних, наука про дані

Вступ до інтелектуального аналізу даних

Роль штучного інтелекту та систем, керованих даними, в середовищі великих даних

Вступ до фреймворків великих даних (приблизно 2 дні)

Рішення для великих даних у хмарі (огляд AWS, Azure, GCP)

Моделі доступу до даних

Зберігання даних

Вступ до озер даних та сховищ даних

Огляд Apache Hadoop та Spark

Розподілена обробка даних зі Spark (близько 3 днів)

Основи розподілених систем

Apache Spark (Core та SQL)

Порівняння різних підходів до обробки даних

Обробка великих обсягів даних

Вступ до простих робочих процесів ML зі Spark

Конвеєри даних та інтеграція даних (приблизно 2 дні)

Процеси ETL та ELT

Пакетна та потокова обробка

Основи конвеєрів даних

Вступ до оркестрування (наприклад, огляд повітряних потоків)

Якість та підготовка даних

Компоненти (приблизно 2 дні)

Коротка презентація різних інструментів

Передача даних

Огляд управління ресурсами в системах великих даних

Екосистема Hadoop

Поглиблення Apache Spark

Вступ до потокових технологій

NoSQL та зберігання даних (приблизно 2 дні)

CAP теорема

КИСЛОТА та ОСНОВА

Типи баз даних

HBase

Вступ до документно-орієнтованих баз даних

Вступ до форматів зберігання даних

Огляд підходів до озерних сховищ даних

Візуалізація великих даних (близько 2 днів)

Теорії візуалізації

Вибір діаграм

Нові типи діаграм

Інструменти для візуалізації даних

Вступ до інструментів BI (наприклад, Power BI, Tableau)

Основи прийняття рішень на основі даних

Управління даними та захист даних (приблизно 1 день)

Основи GDPR в контексті даних

Етика даних та відповідальне поводження з даними

Концепції якості даних та управління ними

Контроль доступу та безпека

Основи відповідального використання штучного інтелекту

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Вступ до машинного навчання та робочого процесу ML (приблизно 3 дні)

Основи, сфери застосування та види машинного навчання

Систематизація сучасних методів штучного інтелекту та машинного навчання

Робочий процес машинного навчання з використанням scikit-learn

Дані для навчання, валідації та тестування

Недостатнє пристосування, надмірне пристосування та оцінка моделей

Перехресна валідація

Підготовка даних та інженерія ознак (приблизно 2 дні)

Якість даних та попередня обробка даних

Масштабування, нормалізація та кодування

Інженерія ознак та вибір ознак

Робота з відсутніми значеннями, випадаючими значеннями та незбалансованими наборами даних

Навчання з наглядом — регресія та класифікація (приблизно 5 днів)

Методи регресії та класифікації

Лінійні та регуляризовані моделі

Методи, засновані на відстані, ймовірності та деревах

Ансамблеві та бустінгові методи

Порівняння моделей та оптимізація гіперпараметрів

Показники оцінки та ймовірнісні прогнози

Важливість ознак та пояснювана штучна інтелігенція 

Автономне навчання (приблизно 2 дні)

Зменшення розмірності та виокремлення ознак

Методи кластеризації та оцінка результатів кластеризації

Виявлення аномалій

Аналіз часових рядів та прогнози (приблизно 1 день)

Основи та аналіз даних часових рядів

Методи прогнозування та машинне навчання для часових рядів

Нейронні мережі та сучасний штучний інтелект (приблизно 2 дні)

Основи нейронних мереж та глибокого навчання

Машинне навчання для текстових даних та обробка природної мови

Базові моделі, великі мовні моделі та генеративний штучний інтелект

Розгортання моделей машинного навчання (приблизно 1 день)

Зберігання та надання навчених моделей

Розробка простих додатків машинного навчання

Інтерфейси та платформи для моделей машинного навчання

Робота над проектом (приблизно 4 дні)

Закріплення вивченого матеріалу

Презентація результатів проекту

Вступ до глибокого навчання (приблизно 1 день)

Глибинне навчання як різновид машинного навчання

Основи нейронних мереж (близько 4 днів)

Багатошарові персептрони

Розрахунок нейронних мереж

Оптимізація параметрів моделі, регресія

Бібліотеки глибокого навчання

Регресія проти класифікації

Типові функції втрат та активації

Оцінка прогнозу моделі за допомогою метрик

Метрики регресії та класифікації

Криві навчання, перенавчання та регуляризація

Гіперпараметрична оптимізація

L1/12 регуляризація

Відсіювання

Рання зупинка

Стохастичний градієнтний спуск (SGD)

Momentum, Adam Optimiser

Оптимізація швидкості навчання

Динамічне регулювання швидкості навчання

Зменшення швидкості навчання на плато

Оптимізація швидкості навчання за допомогою TensorBoard

Контролюйте процес підгонки за допомогою зворотних дзвінків

Збереження та завантаження моделей

Згорткова нейронна мережа (CNN) (приблизно 2 дні)

Класифікація зображень

Згорткові шари, об'єднання шарів

Переформування шарів, згладжування, глобальне середнє об'єднання

Архітектури CNN ImageNet-Competition

Глибокі нейронні мережі, зникаючі градієнти, пропуск зв'язків, пакетна нормалізація

Трансферне навчання (приблизно 1 день)

Адаптація та комбінування моделей

Попереднє навчання без нагляду

Доповнення даних зображень, зрозумілий ШІ

Завантажувач даних

Регіональний CNN (приблизно 1 день)

Локалізація об'єктів

Семантична сегментація

Регресійні задачі

Розгалужені нейронні мережі

Архітектура YOLO

U-Net моделі

Методи створення креативного іміджу (близько 1 дня)

Генеративні мережі суперництва (GAN)

Deepfakes

Дифузійні моделі

Надвисока роздільна здатність

Доповнення областей зображення

Нанесення базових моделей від Hugging Face

Мультимодальні моделі

LoRA-Fine-Tuning

Області застосування генеративних моделей

Юридичні обмеження

Рекурентні нейронні мережі (приблизно 2 дні)

Аналіз послідовностей

Рекурентні шари

Поширення в часі (BPTT)

Аналіз часових рядів

Проблеми градієнта, що вибухає та зникає

LSTM (Довга короткочасна пам'ять)

GRU (Gated Recurrent Unit)

Глибокий RNN

Deep LSTM

Обробка тексту за допомогою нейронних мереж (близько 2 днів)

Попередня обробка тексту

Вбудовування шарів

Класифікація тексту

Аналіз настрою

Обробка природної мови (NLP)

Переклади

Генерація тексту

Метод "від послідовності до послідовності", архітектура кодер-декодер

Моделі тільки кодера та тільки декодера

Локальне застосування великих мовних моделей

Мовні моделі (приблизно 1 день)

Архітектура трансфомерів

Увага та багатоголова увага

Позиційні кодування

Тонке налаштування великих мовних моделей

Підказки

Конвеєри генерації тексту

Підсумовування

Чат-боти

Пошукове доповнене покоління

Агенти штучного інтелекту

Навчання з глибоким підкріпленням (приблизно 1 день)

Управління динамічними системами

Агентні системи

Навчання через винагороду

Градієнти політики

Глибоке Q-навчання

Байєсівські нейронні мережі (приблизно 1 день)

Невизначеності в нейронних мережах

Статистична оцінка прогнозів

Достовірність, середньоквадратичне відхилення

Незбалансовані дані

Методи вибірки

Робота над проектом (близько 3 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту