Інженер з великих даних

Інженери з великих даних займаються міждисциплінарним аналізом та концептуалізацією ІТ-рішень та рішень для баз даних. Тому курс спочатку знайомить вас з основами бізнес-аналітики, описує вимоги до інженерії даних та пояснює моделювання сховищ даних та ETL. Нарешті, ви познайомитеся з великими даними за допомогою галузевого програмного забезпечення, яке використовується для зберігання, обробки та обчислення великих обсягів даних. Ви також дізнаєтесь, як штучний інтелект використовується в цих сферах.
  • Тип ступеня: Сертифікат "Big Data Engineer"
  • Додаткові кваліфікації: Сертифікат "Інженер з обробки даних
    Сертифікат "Спеціаліст з великих даних"
  • Підсумковий іспит: Praxisbezogene Projektarbeiten mit Abschlusspräsentationen
  • Час занять: Повна зайнятість
    З понеділка по п'ятницю з 8:30 до 15:35 (у святкові дні з 8:30 до 17:10)
  • Мова викладання: Німецька
  • Тривалість: 8 Тижні

Інженер з обробки даних

Основи інженерії даних та архітектури даних (приблизно 2 дні)

Завдання та сфери застосування інженерії даних

Основи сучасних архітектур даних та платформ даних

Основи та порівняння хмарних архітектур даних

OLTP та OLAP

Обробка структурованих, напівструктурованих та неструктурованих даних


Управління вимогами та моделювання даних (приблизно 1 день)

Вимоги до даних та джерел даних

Концептуальне моделювання даних

Моделювання структур даних та потоків даних

Контракти на дані, управління даними та простежуваність даних


Бази даних та обробка даних (приблизно 1 день)

Архітектура систем баз даних

Порівняння SQL, NoSQL та NewSQL

Реляційне моделювання даних

SQL для запитів та обробки даних


Створення сховищ даних та сучасні архітектури даних (приблизно 2 дні)

Основи та архітектура систем сховищ даних

Димонсіональне моделювання даних та проектування схем

Факти, виміри та зберігання історичних даних

Порівняння сховищ даних, озер даних та lakehouse

Вступ до dbt

Практична реалізація моделей даних


Інтеграція даних та конвеєри даних (приблизно 5 днів)

Інтеграція даних та їх надання

Процеси ETL та ELT

Побудова та оркестрування конвеєрів даних

Очищення, валідація та якість даних

Пакетна та потокова обробка

Практичне застосування Airflow та Spark


Програмування та автоматизована обробка даних (приблизно 4 дні)

Середовища Python та управління пакетами

Обробка та перетворення даних за допомогою Python

Автоматизація процесів обробки даних

Підключення різних джерел даних та інтерфейсів

Розробка робочих процесів у сфері інженерії даних

Контейнеризація за допомогою Docker

Підтримка на основі штучного інтелекту в процесі розробки та обробки даних


Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Спеціаліст з великих даних

Що таке великі дані? (приблизно 1 день)

Обсяг, швидкість, різноманітність, цінність, достовірність

Можливості та ризики великих обсягів даних

Диференціація: бізнес-аналітика, аналітика даних, наука про дані

Вступ до інтелектуального аналізу даних

Роль штучного інтелекту та систем, керованих даними, в середовищі великих даних


Вступ до фреймворків великих даних (приблизно 2 дні)

Рішення для великих даних у хмарі (огляд AWS, Azure, GCP)

Моделі доступу до даних

Зберігання даних

Вступ до озер даних та сховищ даних

Огляд Apache Hadoop та Spark


Розподілена обробка даних зі Spark (близько 3 днів)

Основи розподілених систем

Apache Spark (Core та SQL)

Порівняння різних підходів до обробки даних

Обробка великих обсягів даних

Вступ до простих робочих процесів ML зі Spark


Конвеєри даних та інтеграція даних (приблизно 2 дні)

Процеси ETL та ELT

Пакетна та потокова обробка

Основи конвеєрів даних

Вступ до оркестрування (наприклад, огляд повітряних потоків)

Якість та підготовка даних


Компоненти (приблизно 2 дні)

Коротка презентація різних інструментів

Передача даних

Огляд управління ресурсами в системах великих даних

Екосистема Hadoop

Поглиблення Apache Spark

Вступ до потокових технологій


NoSQL та зберігання даних (приблизно 2 дні)

CAP теорема

КИСЛОТА та ОСНОВА

Типи баз даних

HBase

Вступ до документно-орієнтованих баз даних

Вступ до форматів зберігання даних

Огляд підходів до озерних сховищ даних


Візуалізація великих даних (близько 2 днів)

Теорії візуалізації

Вибір діаграм

Нові типи діаграм

Інструменти для візуалізації даних

Вступ до інструментів BI (наприклад, Power BI, Tableau)

Основи прийняття рішень на основі даних


Управління даними та захист даних (приблизно 1 день)

Основи GDPR в контексті даних

Етика даних та відповідальне поводження з даними

Концепції якості даних та управління ними

Контроль доступу та безпека

Основи відповідального використання штучного інтелекту


Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту



Можливі зміни, зміст курсу регулярно оновлюється.

Необхідні навички програмування на Python, а також знання реляційних баз даних (SQL).

Ви добре володієте процесами, пов'язаними зі збором, підготовкою, збагаченням та пересиланням даних. Ви також можете обробляти великі неструктуровані обсяги даних за допомогою галузевого програмного забезпечення. Ви знаєте фреймворк Apache та вмієте візуалізувати дані у привабливий спосіб.

Курс орієнтований на осіб з вищою освітою в галузі комп'ютерних наук, бізнес-інформатики, бізнес-адміністрування, математики або аналогічною кваліфікацією.

Великі дані використовуються в компаніях для міждисциплінарного аналізу та проектування ІТ-рішень у співпраці з командами розробників та операційних відділів. Інженери з великих даних користуються попитом як у великих, так і в середніх компаніях у промисловості, торгівлі, сфері послуг та фінансів.

Ваш змістовний сертифікат дає детальне уявлення про отриману кваліфікацію та покращує ваші кар'єрні перспективи.

Дидактична концепція

Ваші викладачі мають високу професійну та дидактичну кваліфікацію і навчатимуть вас від першого до останнього дня (без системи самонавчання).

Ви будете навчатися в ефективних малих групах. Курси зазвичай складаються з 6-25 учасників. Загальні заняття доповнюються численними практичними вправами з усіх модулів курсу. Практичний етап є важливою частиною курсу, оскільки саме в цей час ви опрацьовуєте вивчене, набуваєте впевненості та рутинності в його застосуванні. Заключний розділ курсу передбачає виконання проекту, кейс-стаді або підсумковий іспит.

 

Віртуальний клас alfaview®

BildungszentrumЗаняття проходять з використанням сучасної відеотехнології alfaview® - або з комфорту вашого власного будинку, або в нашому приміщенні за адресою . Весь курс може бачити один одного віч-на-віч через alfaview®, спілкуватися один з одним в якості голосу, синхронізованого по губах, і працювати над спільними проектами. Звичайно, ви також можете бачитись і спілкуватись зі своїми тренерами наживо в будь-який час, і протягом усього курсу викладачі навчатимуть вас у режимі реального часу. Уроки не є електронним навчанням, а справжнім живим викладанням віч-на-віч за допомогою відеотехнологій.

 

alfatraining Agentur für Arbeit Навчальні курси субсидуються та сертифікуються відповідно до положення про затвердження AZAV. Bildungsgutschein Aktivierungs- und VermittlungsgutscheinЯкщо ви подаєте заявку на або , всі витрати на курс, як правило, покриває організація, яка його фінансує.
Europäischen Sozialfonds Deutsche Rentenversicherung Фінансування також можливе через (ESF), (DRV) або регіональні програми фінансування. Berufsförderungsdienst Як військовослужбовець строкової служби, ви можете відвідувати курси підвищення кваліфікації через (BFD). Agentur für Arbeit (Qualifizierungschancengesetz) Компанії також можуть підвищити кваліфікацію своїх працівників за допомогою програми фінансування від .

Ми будемо раді проконсультувати вас безкоштовно.

0800 3456-500 Пн - Пт з 8:00 до 17:00
безкоштовно з усіх німецьких мереж.

Зв'яжіться з нами

Ми будемо раді проконсультувати вас безкоштовно. 0800 3456-500 Пн - Пт з 8:00 до 17:00 безкоштовно з усіх німецьких мереж.