Senior Cloud Data & AI Engineer (m/w/d) - Databricks

Deutsche Presse-Agentur

UNTERNEHMENSBESCHREIBUNG Die dpa-IT Services GmbH ist ein Tochterunternehmen der Deutschen Presse-Agentur GmbH (dpa) und stellt der gesamten dpa Gruppe weltweit IT-Infrastruktur zur Verfügung. Wir entwickeln und betreiben Software entlang der journalistischen Wertschöpfungskette – von der Inhaltserstellung und -planung über die Verteilung mittels APIs bis zum Ausspielen in Web-Anwendungen für B2B-Kunden der dpa.  Wir suchen zum nächstmöglichen Zeitpunkt an unserem Standort in Hamburg oder Berlin einen (Senior) AI Engineer (m/w/d) unbefristet und in Vollzeit (38,5 Stunden), der unser Data & AI Team verstärkt. DER JOB + DIE VERANTWORTUNG * Du unterstützt uns bei Konzeption, Entwicklung und Betrieb von KI-Systemen – vorrangig in Informationsservices für unsere Kunden, aber auch im redaktionellen Bereich * Du verantwortest die Weiterentwicklung und den Betrieb unserer End-2-End KI-Produkte, von der Daten- und Modellintegration bis zur produktionsreifen API-Bereitstellung * Du entwickelst und optimierst KI-Pipelines (RAG, Embeddings, LLM-Orchestrierung) und stellst deren Qualität, Performance und Skalierbarkeit sicher * Du arbeitest innerhalb des Teams eng mit AI, Data & Dev/Ops Engineers zusammen, definierst Anforderungen an Datenqualität und -struktur und setzt diese gemeinsam um * Du evaluierst und integrierst neue KI-Modelle, Tools und Frameworks und trägst so zur technischen Weiterentwicklung unserer KI-Infrastruktur bei * Du bringst Dich aktiv in den Wissenstransfer ein – über Reviews, Dokumentation, Pairing und interne Schulungen * Du orientierst Dich in Deiner Arbeit an den dpa-Richtlinien für KI-Nutzung, Datennutzung und Verantwortung und gibst Impulse zur Weiterentwicklung unserer KI-Strategie * Du arbeitest gern auch mal in Berlin oder Hamburg mit unterschiedlichen Kolleginnen und Kollegen vor Ort zusammen DU + DEINE STÄRKEN * Du hast mehrjährige Erfahrung in der Entwicklung und dem Betrieb von KI-Systemen in produktiven Umgebungen * Du hast fundierte Erfahrung im Umgang mit LLMs, Prompt Engineering und agentenbasierten Systemen * Du besitzt sehr gute Kenntnisse in Python, pyspark, FastAPI und modernen LLM-Frameworks * Du hast Erfahrung mit Vektordatenbanken (z. B. Qdrant), RAG-Architekturen oder sogar Knowledge-Graphen * Du bringst Kenntnisse in Cloud-Infrastruktur (z.B. AWS) und Datenplattformen (z.B. Databricks, Snowflake) mit * Du nutzt KI-gestützte Entwicklungstools souverän in Deinem Arbeitsalltag * Idealerweise hast du Erfahrung mit API Management, CI/CD und Infrastructure as Code * Du verstehst die Anforderungen von Produktteams und kannst technische Lösungen verständlich kommunizieren * Du bist stark in Kommunikation und Zusammenarbeit mit interdisziplinären Teams * Du bringst analytische Fähigkeiten und Problemlösungskompetenz mit * Du sprichst Deutsch und Englisch auf einem sehr guten (C1, fachkundige Sprachkenntnisse) Niveau WIR + UNSERE KULTUR * Fast alle Medien in Deutschland sind dpa-Kunden. Du trägst mit Deiner Arbeit zur Verbreitung eines unabhängigen, seriösen und vielfältigen Nachrichten Journalismus und zu einer informierten Gesellschaft bei * Wir bieten eine eigenverantwortliche Tätigkeit mit viel Gestaltungsfreiraum und Entwicklungsmöglichkeiten * Wir bieten 13,8 Gehälter und mindestens 30 Urlaubstage plus 7 zusätzliche freie Tage bei einer Arbeitszeit von 38,5 Stunden/Woche * Du hast Möglichkeiten, mobil zu arbeiten und so Dein Privat- und Arbeitsleben flexibel und zeitgemäß vereinbaren * Wachse mit uns: Mit Fort- und Weiterbildungen fördern wir Deine fachliche und persönliche Entwicklung * Unsere Standorte in Hamburg und Berlin sind zentral gelegen KLINGT GUT? Wenn Du bereit bist, die Zukunft des Journalismus und der Medienbranche mitzugestalten, bewirb Dich einfach und schnell über unser Onlineformular. Wir freuen uns auf Dich! Deine HR-Ansprechperson ist Deliah Bargmann

Just Experts

DAS IST DEINE MISSION just experts ein 2020 gegründetes Beratungs- und Technologieunternehmen mit über 35 Mitarbeiter:innen und mehr als 130 umgesetzten (Teil-)Projekten. Unser Bereich Data Intelligence macht Unternehmensdaten transparent und jederzeit auswertbar, digitalisiert und automatisiert Datenprozesse, bereitet die IT auf zukünftige Herausforderungen vor und hilft, das volle Potenzial von KI auszuschöpfen. Eins unserer Kernprodukt ist die Data Logistics Platform (DLP), eine vollständig codifizierte, Azure-basierte Datenplattform, die heterogene Systemlandschaften verbindet, einen Single Point of Truth schafft und nativ AI-ready ist. * Du entwirfst und entwickelst die Architektur unserer Azure-basierten Data Logistics Platform (DLP), von der Infrastruktur bis zur konsumfertigen Datenschicht (Staging → Integration → Consumer Layer) * Du erstellst und wartest SQL Database Projects (DDL, Stored Procedures, Views) und implementierst komplexe Transformationslogiken (wie z.B. SCD Typ 2, Hierarchie-Flattening, Deduplizierung, Währungsumrechnung) * Du baust Azure Data Factory-Pipelines für ETL/ELT auf und bindest Quellsysteme an, insbesondere SAP S/4HANA bzw. ECC, aber auch CRM, MES und APIs * Du designst Terraform-Module für die Azure-Infrastruktur (Azure SQL, ADF, Storage, VNET, Key Vault, Entra ID) und verantwortest das State Management über mehrere Umgebungen * Du erstellst und pflegst Azure DevOps YAML-Pipelines für Multi-Stage-Deployments, führst Code Reviews durch und implementierst automatisierte Tests * Du baust Consumer Views mit KPI-Berechnungen sowie Power BI Semantic Models (DAX Measures, RLS) für BI und AI-Agenten auf * Du setzt AI-Coding-Tools (Claude Code, Cursor, Copilot) gezielt ein, sicherst die Qualität von AI-generiertem Code und entwickelst unsere Vibe-Coding-Methodik weiter * Du übernimmst die technische Leitung von Kundenprojekten, von der Discovery über Sprint-Planung bis zur Stakeholder-Kommunikation und mentorst Junior-/ Mid-Level Data Engineers DAS ZEICHNET DICH AUS * Architekturdenker:in: Du siehst das große Ganze und verstehst die Plattform als Produkt * Code-First-Mentalität: Alles als Code, auch wenn die GUI schneller erscheint, Reproduzierbarkeit geht vor * Qualitätsbewusstsein: Gründliche Reviews von eigenem, fremdem und AI-generiertem Code sind für dich selbstverständlich * Kommunikationsstärke: Du übersetzt Business-Anforderungen souverän in technische Artefakte * Eigenverantwortung: Du übernimmst technische Projektverantwortung und triffst Architekturentscheidungen * Lernbereitschaft: AI-Tools und Cloud-Dienste entwickeln sich rasant, du bleibst vorne * Pragmatismus: Du findest die Balance zwischen Perfektion und Lieferung und nutzt Templates, wo möglich * Teamplayer: Du teilst dein Wissen, mentorst Kolleg:innen und entwickelst gemeinsam DLP-Templates weiter DAS BRINGST DU MIT Must-haves * 5+ Jahre Erfahrung als Data Engineer, Database Developer oder in einer vergleichbaren Rolle * Exzellente SQL-Kenntnisse, DDL, DML, Window Functions, rekursive CTEs, Performance-Optimierung * Fundierte Erfahrung mit Azure Data Factory (Pipeline-Design, Copy Activities, Delta-Extraktion, SHIR) * Solide Kenntnisse in Azure SQL Database, Schema-Design, Stored Procedures, Indexierung, SQL Database Projects * Erfahrung mit Terraform, Module, State Management, Plan/Apply-Workflow, Azure Provider * Praxis in Azure DevOps, YAML-Pipelines, Git (Branch-Strategie, PRs), Boards/ Backlogs * Erfahrung mit Medallion- bzw. Schichtenarchitekturen und Infrastructure as Code * Agile Arbeitsweise (Scrum/Kanban) sowie Verständnis von CI/CD und automatisiertem Testing in Datenprojekten * Deutsch mindestens C2, Englisch mindestens C1 Nice-to-haves * Erfahrung mit AI-Coding-Tools (Claude Code, Cursor, GitHub Copilot Workspace) * Power BI-Kenntnisse, Semantic Model, DAX Measures, RLS, .pbip-Projekte * SAP-Grundlagen: zentrale SAP-Tabellen, Extraktionslogiken, idealerweise S/4HANA-Migration oder BW-Ablösung * Microsoft-Zertifizierungen (DP-203: Azure Data Engineer, AZ-400: DevOps Engineer) * Kenntnisse in Python (Automatisierung, Tests, Scripting) * Erfahrung mit dbt, Fabric, Databricks oder vergleichbaren Plattformen * Verständnis von LLM-/ AI-Agent-Architekturen (RAG, Tool-Calling, SQL-Agent-Patterns) WARUM WIR? Bei uns… * ...arbeitest du an einem zentralen Produkt der JUST EXPERTS, die DLP ist eine kontinuierlich weiterentwickelte Datenplattform, kein Einmalprojekt * ...gibt es vielfältige Kundenprojekte quer durch Branchen: Fertigung, Handel, Dienstleistung, und mehr * ...erlebst du frühzeitigen Einsatz modernster AI-Coding-Tools, Vibe Coding ist bei uns Arbeitsweise, nicht Experiment * ...arbeitest du direkt mit dem Management-Team zusammen und hast echten Einfluss auf die Produktstrategie * haben wir ein flexibles, hybrides Arbeitsmodell: im Office, remote, oder On-Site beim Kunden * Kontinuierliche Weiterbildung und interne Wissenstransfers * Ein ambitioniertes Team mit über 130 erfolgreich umgesetzten Projekten und dem Anspruch, Datenplattformen neu zu denken und zu definieren

SparePartsNow

DEINE ROLLE: Zur Verstärkung unseres Teams suchen wir ab sofort eine(n) (Senior) Data Engineer (m/w/d). Remote - Rhein/Ruhr oder München.   Als Data Engineer spielst du eine zentrale Rolle beim Aufbau und der Weiterentwicklung unserer Datenplattform. Du sorgst dafür, dass aus unterschiedlichsten Rohdaten – insbesondere Produktdaten – hochwertige, verlässliche und skalierbare Datensätze entstehen, die als Grundlage für Analytics, Reporting und datengetriebene Entscheidungen dienen. WAS DICH BEI UNS ERWARTET: * Konzeption und Umsetzung moderner Datenpipelines: Du entwickelst und optimierst Batch- und Streaming-Datenpipelines und sorgst dafür, dass Daten zuverlässig, performant und skalierbar verarbeitet werden. * Aufbau leistungsfähiger ETL-/ELT-Prozesse: Mit Python und Databricks konzipierst, implementierst und betreibst Du robuste Datenintegrationsprozesse – von der Rohdatenaufnahme bis zur Bereitstellung für Analytics. * Entwicklung zukunftssicherer Datenmodelle: Du entwirfst, verwaltest und optimierst Datenmodelle für analytische Anwendungen und nachgelagerte Systeme und stellst deren Konsistenz und Wartbarkeit sicher. * Qualität und Stabilität der Datenplattform: Du überwachst und verbesserst kontinuierlich Datenqualität, Performance und Stabilität über die gesamte Plattform hinweg und etablierst geeignete Monitoring- und Testing-Strategien. * Enge Zusammenarbeit mit Team und Fachbereichen: Du arbeitest eng mit dem Entwicklungsteam zusammen und stimmst Dich mit den Fachbereichen zu datenbezogenen Anforderungen ab, um fachlich und technisch optimale Lösungen zu schaffen. WAS WIR UNS VON DIR WÜNSCHEN… * Python-Kenntnisse im Data Engineering: Du verfügst über sehr gute Kenntnisse in Python und setzt diese sicher für die Entwicklung von Datenpipelines ein. * Erfahrung mit modernen Datenplattformen: Du hast praktische Erfahrung mit Technologien wie Databricks, Apache Airflow, Apache Spark, Google BigQuery, Microsoft Fabric oder vergleichbaren Plattformen und weißt, wie man sie effizient einsetzt. * Sicherer Umgang mit SQL und Datenmodellierung: Du beherrschst SQL auf fortgeschrittenem Niveau und bringst fundierte Kenntnisse in relationaler Datenmodellierung mit. * Know-how in ETL-/ELT-Architekturen: Du kennst gängige Architekturmuster für Datenintegration und hast Erfahrung in der Orchestrierung komplexer Daten-Workflows. * Cloud- und Storage-Verständnis: Du bist vertraut mit Cloud-basierten Datenplattformen sowie Speicherlösungen wie Data Lakes oder Object Storage und verstehst deren architektonische Besonderheiten. * Erfahrung im ML/AI-Umfeld: Idealerweise hast du bereits Erfahrung mit Machine-Learning- oder AI-Projekten gesammelt, z. B. beim Aufbau und Betrieb von AI-Workflows oder auch beim Training und der Integration von Modellen in produktive Datenprozesse. * Qualitätsbewusstsein und Performance-Fokus: Best Practices in Datenanalyse, Datenqualität, Monitoring und Performance-Optimierung sind für Dich selbstverständlicher Bestandteil deiner Arbeit. * Versionierung und CI/CD im Datenumfeld: Du hast Erfahrung im Umgang mit Git sowie mit CI/CD-Prozessen für Daten-Workflows und trägst so zu stabilen, reproduzierbaren Deployments bei. DEINE BENEFITS BEI UNS: * Flexible Arbeitszeiten * Flexibler Arbeitsort (Homeoffice) * Dynamisches, innovatives Team * Viel Freiraum für eigene Ideen und Kreativität * Attraktive Vergütung mit der Möglichkeit eigener Anteile * Weitere Benefits