Аналітик великих даних

Основи інженерії даних та архітектури даних (приблизно 2 дні)

Завдання та сфери застосування інженерії даних

Основи сучасних архітектур даних та платформ даних

Основи та порівняння хмарних архітектур даних

OLTP та OLAP

Обробка структурованих, напівструктурованих та неструктурованих даних

Управління вимогами та моделювання даних (приблизно 1 день)

Вимоги до даних та джерел даних

Концептуальне моделювання даних

Моделювання структур даних та потоків даних

Контракти на дані, управління даними та простежуваність даних

Бази даних та обробка даних (приблизно 1 день)

Архітектура систем баз даних

Порівняння SQL, NoSQL та NewSQL

Реляційне моделювання даних

SQL для запитів та обробки даних

Створення сховищ даних та сучасні архітектури даних (приблизно 2 дні)

Основи та архітектура систем сховищ даних

Димонсіональне моделювання даних та проектування схем

Факти, виміри та зберігання історичних даних

Порівняння сховищ даних, озер даних та lakehouse

Вступ до dbt

Практична реалізація моделей даних

Інтеграція даних та конвеєри даних (приблизно 5 днів)

Інтеграція даних та їх надання

Процеси ETL та ELT

Побудова та оркестрування конвеєрів даних

Очищення, валідація та якість даних

Пакетна та потокова обробка

Практичне застосування Airflow та Spark

Програмування та автоматизована обробка даних (приблизно 4 дні)

Середовища Python та управління пакетами

Обробка та перетворення даних за допомогою Python

Автоматизація процесів обробки даних

Підключення різних джерел даних та інтерфейсів

Розробка робочих процесів у сфері інженерії даних

Контейнеризація за допомогою Docker

Підтримка на основі штучного інтелекту в процесі розробки та обробки даних

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Вступ до аналізу даних (приблизно 1 день)

Завдання, сфери застосування та типові приклади використання аналітики даних

Процеси аналізу даних та CRISP-DM

Роль аналітика даних та відмінності від таких галузей, як наука про дані, інженерія даних та бізнес-аналітика

Місце штучного інтелекту та машинного навчання в цій галузі

Python для аналізу даних (приблизно 1 день)

Робота з Jupyter Notebooks

NumPy та Pandas для аналізу даних

Імпорт та експорт даних із різних джерел, наприклад, Excel та CSV

Відбір та перетворення даних

Підготовка даних та експлоративний аналіз даних (приблизно 3 дні)

Очищення та перетворення даних за допомогою Pandas

Робота з відсутніми, помилковими та аномальними даними

Об’єднання, групування та агрегування даних

Експлоративний аналіз даних та отримання перших висновків

Основи статистичного аналізу

SQL та управління даними (приблизно 2 дні)

Реляційні бази даних та моделі даних

Запити та обробка даних за допомогою SQL

З'єднання, агрегації та аналітичні запити

Взаємодія SQL та Python в аналізі даних

Якість даних та захист даних

Підключення та використання різних джерел даних і систем баз даних

Візуалізація даних та розповідь історій на основі даних (приблизно 2 дні)

Візуалізація за допомогою Matplotlib, Seaborn та Plotly

Вибір відповідних діаграм та форм візуалізації

Опрацювання та інтерпретація результатів аналізу

Розповідь на основі даних та комунікація, орієнтована на цільову аудиторію

Power BI та інтерактивні інформаційні панелі (приблизно 2 дні)

Імпорт та обробка даних за допомогою Power Query

Моделювання даних та взаємозв’язки

Основи DAX та ключові показники

Створення інтерактивних звітів та інформаційних панелей

Візуалізація та комунікація бізнес-показників

Огляд альтернативних рішень у сфері бізнес-аналітики та візуалізації

Аналіз даних із використанням штучного інтелекту (приблизно 2 дні)

Застосування генеративної штучної інтелекту в робочому процесі аналізу даних

Підготовка, аналіз та візуалізація даних за допомогою штучного інтелекту

Допомога у створенні запитів на Python та SQL

Формування запитів для аналізу даних та інтерпретація результатів

Критична оцінка джерел даних, а також виявлення синтетичних та неправдоподібних даних

Забезпечення якості, захист даних та відповідальне використання штучного інтелекту

Бізнес-аналітика та основи статистики (приблизно 2 дні)

Показники та KPI в контексті підприємства

Описова статистика та статистичні залежності

Кореляція, причинно-наслідковий зв’язок та прості регресійні аналізи

Основи довірчих інтервалів та перевірки гіпотез

Інтерпретація результатів аналізу та формулювання рекомендацій щодо дій на основі даних

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Що таке великі дані? (приблизно 1 день)

Обсяг, швидкість, різноманітність, цінність, достовірність

Можливості та ризики великих обсягів даних

Диференціація: бізнес-аналітика, аналітика даних, наука про дані

Вступ до інтелектуального аналізу даних

Роль штучного інтелекту та систем, керованих даними, в середовищі великих даних

Вступ до фреймворків великих даних (приблизно 2 дні)

Рішення для великих даних у хмарі (огляд AWS, Azure, GCP)

Моделі доступу до даних

Зберігання даних

Вступ до озер даних та сховищ даних

Огляд Apache Hadoop та Spark

Розподілена обробка даних зі Spark (близько 3 днів)

Основи розподілених систем

Apache Spark (Core та SQL)

Порівняння різних підходів до обробки даних

Обробка великих обсягів даних

Вступ до простих робочих процесів ML зі Spark

Конвеєри даних та інтеграція даних (приблизно 2 дні)

Процеси ETL та ELT

Пакетна та потокова обробка

Основи конвеєрів даних

Вступ до оркестрування (наприклад, огляд повітряних потоків)

Якість та підготовка даних

Компоненти (приблизно 2 дні)

Коротка презентація різних інструментів

Передача даних

Огляд управління ресурсами в системах великих даних

Екосистема Hadoop

Поглиблення Apache Spark

Вступ до потокових технологій

NoSQL та зберігання даних (приблизно 2 дні)

CAP теорема

КИСЛОТА та ОСНОВА

Типи баз даних

HBase

Вступ до документно-орієнтованих баз даних

Вступ до форматів зберігання даних

Огляд підходів до озерних сховищ даних

Візуалізація великих даних (близько 2 днів)

Теорії візуалізації

Вибір діаграм

Нові типи діаграм

Інструменти для візуалізації даних

Вступ до інструментів BI (наприклад, Power BI, Tableau)

Основи прийняття рішень на основі даних

Управління даними та захист даних (приблизно 1 день)

Основи GDPR в контексті даних

Етика даних та відповідальне поводження з даними

Концепції якості даних та управління ними

Контроль доступу та безпека

Основи відповідального використання штучного інтелекту

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту