Python, SQL, а також Data Engineer та Data Analytics

Основи Python (приблизно 1 день)

Історія, поняття

Використання та сфери застосування

синтаксис

Лексика, семантика

Угоди PEP-8

Інтерпретатор проти компілятора

Системи числення: двійкова, вісімкова, шістнадцяткова

Наукові позначення

Перші кроки з Python (приблизно 5 днів)

Числа

Рядки

Дата та час

Стандартний ввід та вивід

Числові оператори

Оператори порівняння, логічні та порозрядні оператори

Перетворення типів даних

список, кортеж, дикт, множина

Функції та методи роботи зі списками

Розгалуження та цикли (if, for, while)

Оператори-члени

Основи роботи з рядками: екранування, багаторядкові рядки

Оператори визначення пріоритетів та зв'язування

Штучний інтелект (ШІ) в робочому процесі

Презентація конкретних технологій ШІ

та можливих застосувань у професійному середовищі

Функції (приблизно 5 днів)

Визначте власні функції

Змінні

Параметри та аргументи

Значення, що повертаються

Рекурсія

Простори імен

Функціональне програмування

Типи параметрів: позиційний, ключове слово, змішаний

Значення за замовчуванням

Тінізація та глобальне ключове слово

Відсутність та повернення без значення

Пошук та усунення несправностей (приблизно 0,5 дня)

Основи обробки помилок за допомогою try та except

Типові типи помилок та ієрархія винятків

Поширення помилок та переривання програми

Структурування блоків except

Об'єктно-орієнтоване програмування (близько 4,5 днів)

Класи Python

Методи

Незмінні об'єкти

Класи даних

Спадкування

Робота над проектом, підготовка до сертифікації та складання сертифікаційного іспиту "PCEP™ - Certified Entry-Level Python Programmer" англійською мовою (приблизно 4 дні)

Основи систем баз даних та SQL (приблизно 3 дні)

Огляд систем та моделей баз даних

Надлишкові дані та цілісність даних

Нормалізація

Проектування бази даних та моделі зв'язків між сутностями (ERM)

Первинні та зовнішні ключі

Зв'язки між відношеннями

Типи даних в SQL

Індекси та продуктивність

Обмеження та валідація

Запити в SQL

Структуровані дані як основа для методів аналізу з підтримкою ШІ

Вступ до SQL Server Management Studio (SSMS) (приблизно 2 дні)

Огляд SQL Server та SSMS

Фізичне проектування бази даних

Створення таблиць і визначення типів даних

Обмеження, значення за замовчуванням та зв'язки

Діаграми баз даних (ERM) та зв'язки

Резервне копіювання та відновлення

Вступ до моніторингу продуктивності

Огляд оптимізації та аналізу запитів з підтримкою ШІ

Вступ до DDL (мова визначення даних) та DML (мова маніпулювання даними) (приблизно 8 днів)

Основи SQL та розширений синтаксис

Оператори та вбудовані функції

Запити та маніпулювання даними

Обробка помилок та управління транзакціями

Створення та адміністрування об'єктів бази даних

Основи оптимізації продуктивності

Робота з сучасними типами даних

Моделювання даних та структурована підготовка для додатків штучного інтелекту та аналізу

DCL - Мова управління даними та безпека (приблизно 1 день)

Адміністрування та авторизація користувачів

Ролі та концепції безпеки

Аудит

Вступ до безпеки на рівні рядків

Безпека даних в контексті аналізу з підтримкою штучного інтелекту

Типи даних, імпорт та експорт даних в сучасних системах (приблизно 1 день)

Імпорт та експорт даних

Сучасні типи даних

Імпорт, перетворення та надання даних для процесів аналізу

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Основи інженерії даних та архітектури даних (приблизно 2 дні)

Завдання та сфери застосування інженерії даних

Основи сучасних архітектур даних та платформ даних

Основи та порівняння хмарних архітектур даних

OLTP та OLAP

Обробка структурованих, напівструктурованих та неструктурованих даних

Управління вимогами та моделювання даних (приблизно 1 день)

Вимоги до даних та джерел даних

Концептуальне моделювання даних

Моделювання структур даних та потоків даних

Контракти на дані, управління даними та простежуваність даних

Бази даних та обробка даних (приблизно 1 день)

Архітектура систем баз даних

Порівняння SQL, NoSQL та NewSQL

Реляційне моделювання даних

SQL для запитів та обробки даних

Створення сховищ даних та сучасні архітектури даних (приблизно 2 дні)

Основи та архітектура систем сховищ даних

Димонсіональне моделювання даних та проектування схем

Факти, виміри та зберігання історичних даних

Порівняння сховищ даних, озер даних та lakehouse

Вступ до dbt

Практична реалізація моделей даних

Інтеграція даних та конвеєри даних (приблизно 5 днів)

Інтеграція даних та їх надання

Процеси ETL та ELT

Побудова та оркестрування конвеєрів даних

Очищення, валідація та якість даних

Пакетна та потокова обробка

Практичне застосування Airflow та Spark

Програмування та автоматизована обробка даних (приблизно 4 дні)

Середовища Python та управління пакетами

Обробка та перетворення даних за допомогою Python

Автоматизація процесів обробки даних

Підключення різних джерел даних та інтерфейсів

Розробка робочих процесів у сфері інженерії даних

Контейнеризація за допомогою Docker

Підтримка на основі штучного інтелекту в процесі розробки та обробки даних

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Вступ до аналізу даних (приблизно 1 день)

Завдання, сфери застосування та типові приклади використання аналітики даних

Процеси аналізу даних та CRISP-DM

Роль аналітика даних та відмінності від таких галузей, як наука про дані, інженерія даних та бізнес-аналітика

Місце штучного інтелекту та машинного навчання в цій галузі

Python для аналізу даних (приблизно 1 день)

Робота з Jupyter Notebooks

NumPy та Pandas для аналізу даних

Імпорт та експорт даних із різних джерел, наприклад, Excel та CSV

Відбір та перетворення даних

Підготовка даних та експлоративний аналіз даних (приблизно 3 дні)

Очищення та перетворення даних за допомогою Pandas

Робота з відсутніми, помилковими та аномальними даними

Об’єднання, групування та агрегування даних

Експлоративний аналіз даних та отримання перших висновків

Основи статистичного аналізу

SQL та управління даними (приблизно 2 дні)

Реляційні бази даних та моделі даних

Запити та обробка даних за допомогою SQL

З'єднання, агрегації та аналітичні запити

Взаємодія SQL та Python в аналізі даних

Якість даних та захист даних

Підключення та використання різних джерел даних і систем баз даних

Візуалізація даних та розповідь історій на основі даних (приблизно 2 дні)

Візуалізація за допомогою Matplotlib, Seaborn та Plotly

Вибір відповідних діаграм та форм візуалізації

Опрацювання та інтерпретація результатів аналізу

Розповідь на основі даних та комунікація, орієнтована на цільову аудиторію

Power BI та інтерактивні інформаційні панелі (приблизно 2 дні)

Імпорт та обробка даних за допомогою Power Query

Моделювання даних та взаємозв’язки

Основи DAX та ключові показники

Створення інтерактивних звітів та інформаційних панелей

Візуалізація та комунікація бізнес-показників

Огляд альтернативних рішень у сфері бізнес-аналітики та візуалізації

Аналіз даних із використанням штучного інтелекту (приблизно 2 дні)

Застосування генеративної штучної інтелекту в робочому процесі аналізу даних

Підготовка, аналіз та візуалізація даних за допомогою штучного інтелекту

Допомога у створенні запитів на Python та SQL

Формування запитів для аналізу даних та інтерпретація результатів

Критична оцінка джерел даних, а також виявлення синтетичних та неправдоподібних даних

Забезпечення якості, захист даних та відповідальне використання штучного інтелекту

Бізнес-аналітика та основи статистики (приблизно 2 дні)

Показники та KPI в контексті підприємства

Описова статистика та статистичні залежності

Кореляція, причинно-наслідковий зв’язок та прості регресійні аналізи

Основи довірчих інтервалів та перевірки гіпотез

Інтерпретація результатів аналізу та формулювання рекомендацій щодо дій на основі даних

Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту