Інженер з великих даних

Інженери з великих даних займаються міждисциплінарним аналізом та концептуалізацією ІТ-рішень та рішень для баз даних. Тому курс спочатку знайомить вас з основами бізнес-аналітики, описує вимоги до інженерії даних та пояснює моделювання сховищ даних та ETL. Нарешті, ви познайомитеся з великими даними за допомогою галузевого програмного забезпечення, яке використовується для зберігання, обробки та обчислення великих обсягів даних. Ви також дізнаєтесь, як штучний інтелект використовується в цих сферах.
  • Тип ступеня: Сертифікат "Big Data Engineer"
  • Додаткові кваліфікації: Сертифікат "Інженер з обробки даних
    Сертифікат "Спеціаліст з великих даних"
  • Підсумковий іспит: Praxisbezogene Projektarbeiten mit Abschlusspräsentationen
  • Час занять: Повна зайнятість
    З понеділка по п'ятницю з 8:30 до 15:35 (у святкові дні з 8:30 до 17:10)
  • Мова викладання: Німецька
  • Тривалість: 8 Тижні

Інженер з обробки даних

Основи бізнес-аналітики (близько 2 днів)

Сфери застосування, виміри архітектури BI

Основи бізнес-аналітики, OLAP, OLTP, завдання інженерів даних

Сховища даних (DWH): обробка структурованих, напівструктурованих та неструктурованих даних


Управління вимогами (приблизно 2 дні)

Завдання, цілі та процедури в аналізі вимог

Моделювання даних, введення/моделювання за допомогою ERM

Введення / моделювання в UML

- Діаграми класів

- Аналіз варіантів використання

- Діаграми діяльності


Штучний інтелект (ШІ) в робочому процесі

Презентація конкретних технологій ШІ

та можливих застосувань у професійному середовищі


Бази даних (близько 3 днів)

Основи систем управління базами даних

Архітектура систем управління базами даних

Застосування СКБД

Реалізація моделі даних в СКБД, нормальні форми

Практичний та теоретичний вступ до SQL

Обмеження реляційних баз даних, csv, json


Сховище даних (приблизно 4 дні)

Зіркова схема

Моделювання даних

Створення зоряної схеми в СКБД

Схема "сніжинка", основи, моделювання даних

Створення схеми "сніжинка" в СКБД

Схема галактики: основи, моделювання даних

Повільно змінні розмірності типів 1-5 - переформулювання, укладання, реорганізація, міні-розмірність та тип 5

Вступ до нормальних, причинно-наслідкових, міні- та монстр-вимірів, гетерогенних та під-вимірів

Порівняння орієнтованих на стан і на транзакцію

Таблиці фактів DWH, щільність та зберігання


ETL (близько 4 днів)

Очищення даних

- Нульові значення

- Підготовка даних

- Гармонізація даних

- Застосування регулярних виразів

Розуміння даних

- Перевірка даних

- Статистичний аналіз даних

Захист даних, безпека даних

Практична структура ETL маршрутів

Data Vault 2.0, основи, хаби, лінки, сателіти, хеш-ключ, хеш-диф.

Моделювання даних у Data Vault

Практична структура моделі Data Vault - Raw Vault, практична реалізація хеш-процедур


Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту

Спеціаліст з великих даних

Що таке великі дані? (приблизно 1 день)

Обсяг, швидкість, різноманітність, цінність, достовірність

Можливості та ризики великих обсягів даних

Диференціація: бізнес-аналітика, аналітика даних, наука про дані

Вступ до інтелектуального аналізу даних

Роль штучного інтелекту та систем, керованих даними, в середовищі великих даних


Вступ до фреймворків великих даних (приблизно 2 дні)

Рішення для великих даних у хмарі (огляд AWS, Azure, GCP)

Моделі доступу до даних

Зберігання даних

Вступ до озер даних та сховищ даних

Огляд Apache Hadoop та Spark


Розподілена обробка даних зі Spark (близько 3 днів)

Основи розподілених систем

Apache Spark (Core та SQL)

Порівняння різних підходів до обробки даних

Обробка великих обсягів даних

Вступ до простих робочих процесів ML зі Spark


Конвеєри даних та інтеграція даних (приблизно 2 дні)

Процеси ETL та ELT

Пакетна та потокова обробка

Основи конвеєрів даних

Вступ до оркестрування (наприклад, огляд повітряних потоків)

Якість та підготовка даних


Компоненти (приблизно 2 дні)

Коротка презентація різних інструментів

Передача даних

Огляд управління ресурсами в системах великих даних

Екосистема Hadoop

Поглиблення Apache Spark

Вступ до потокових технологій


NoSQL та зберігання даних (приблизно 2 дні)

CAP теорема

КИСЛОТА та ОСНОВА

Типи баз даних

HBase

Вступ до документно-орієнтованих баз даних

Вступ до форматів зберігання даних

Огляд підходів до озерних сховищ даних


Візуалізація великих даних (близько 2 днів)

Теорії візуалізації

Вибір діаграм

Нові типи діаграм

Інструменти для візуалізації даних

Вступ до інструментів BI (наприклад, Power BI, Tableau)

Основи прийняття рішень на основі даних


Управління даними та захист даних (приблизно 1 день)

Основи GDPR в контексті даних

Етика даних та відповідальне поводження з даними

Концепції якості даних та управління ними

Контроль доступу та безпека

Основи відповідального використання штучного інтелекту


Робота над проектом (близько 5 днів)

Закріплення вивченого матеріалу

Презентація результатів проекту



Можливі зміни, зміст курсу регулярно оновлюється.

Обов'язковими є навички програмування (в ідеалі Python) та досвід роботи з базами даних (SQL).

Ви добре володієте процесами, пов'язаними зі збором, підготовкою, збагаченням та пересиланням даних. Ви також можете обробляти великі неструктуровані обсяги даних за допомогою галузевого програмного забезпечення. Ви знаєте фреймворк Apache та вмієте візуалізувати дані у привабливий спосіб.

Курс орієнтований на осіб з вищою освітою в галузі комп'ютерних наук, бізнес-інформатики, бізнес-адміністрування, математики або аналогічною кваліфікацією.

Великі дані використовуються в компаніях для міждисциплінарного аналізу та проектування ІТ-рішень у співпраці з командами розробників та операційних відділів. Інженери з великих даних користуються попитом як у великих, так і в середніх компаніях у промисловості, торгівлі, сфері послуг та фінансів.

Ваш змістовний сертифікат дає детальне уявлення про отриману кваліфікацію та покращує ваші кар'єрні перспективи.

Дидактична концепція

Ваші викладачі мають високу професійну та дидактичну кваліфікацію і навчатимуть вас від першого до останнього дня (без системи самонавчання).

Ви будете навчатися в ефективних малих групах. Курси зазвичай складаються з 6-25 учасників. Загальні заняття доповнюються численними практичними вправами з усіх модулів курсу. Практичний етап є важливою частиною курсу, оскільки саме в цей час ви опрацьовуєте вивчене, набуваєте впевненості та рутинності в його застосуванні. Заключний розділ курсу передбачає виконання проекту, кейс-стаді або підсумковий іспит.

 

Віртуальний клас alfaview®

BildungszentrumЗаняття проходять з використанням сучасної відеотехнології alfaview® - або з комфорту вашого власного будинку, або в нашому приміщенні за адресою . Весь курс може бачити один одного віч-на-віч через alfaview®, спілкуватися один з одним в якості голосу, синхронізованого по губах, і працювати над спільними проектами. Звичайно, ви також можете бачитись і спілкуватись зі своїми тренерами наживо в будь-який час, і протягом усього курсу викладачі навчатимуть вас у режимі реального часу. Уроки не є електронним навчанням, а справжнім живим викладанням віч-на-віч за допомогою відеотехнологій.

 

alfatraining Agentur für Arbeit Навчальні курси субсидуються та сертифікуються відповідно до положення про затвердження AZAV. Bildungsgutschein Aktivierungs- und VermittlungsgutscheinЯкщо ви подаєте заявку на або , всі витрати на курс, як правило, покриває організація, яка його фінансує.
Europäischen Sozialfonds Deutsche Rentenversicherung Фінансування також можливе через (ESF), (DRV) або регіональні програми фінансування. Berufsförderungsdienst Як військовослужбовець строкової служби, ви можете відвідувати курси підвищення кваліфікації через (BFD). Agentur für Arbeit (Qualifizierungschancengesetz) Компанії також можуть підвищити кваліфікацію своїх працівників за допомогою програми фінансування від .

Ми будемо раді проконсультувати вас безкоштовно.

0800 3456-500 Пн - Пт з 8:00 до 17:00
безкоштовно з усіх німецьких мереж.

Зв'яжіться з нами

Ми будемо раді проконсультувати вас безкоштовно. 0800 3456-500 Пн - Пт з 8:00 до 17:00 безкоштовно з усіх німецьких мереж.