Dagster Labs

Just got the van back from the shop, Im ready to roll.

Welche Tools nutzt ihr für Datenintegration? Das Problem: Im E-Commerce oder auch im digitalen Workspace müssen Daten regelmäßig hin und hergeschoben werden. Ob CSV, XSL, BMECat, API-Anbindungen oder ein Format, von dem man bisher noch nie was gehört hat: Mehr oder weniger müssen die Daten aufbereitet und übertragen werden. Um dieses Problem zu lösen, greifen viele entweder zu n8n, Make oder selbst gebastelten Skripten. Doch spätestens bei komplexen Arbeitsabläufen merkst du: - Black‑Box‑Feeling: Standard‑Konnektoren liefern nur Resultate – du siehst nie, was wirklich passiert. Von wegen Plug-and-Play! - Wenig Spielraum für Eigenes: Individuelle Strategien oder spezielle Workflows? Keine Chance, etwas zu verändern. - Wartungsaufwand: Jede Sonderregel wird zum Workaround, der schnell unübersichtlich wird. - Mitarbeiter ist im Urlaub: Keiner hat eine Ahnung, wie es funktioniert. - Die bittere Wahrheit: Es gibt keine „All‑In‑One‑Lösung“, die alle Fälle automatisch löst. Wie wir das Problem lösen: Code‑First für echte Kontrolle. Wir haben in über 10 Jahren wirklich fast jedes Tool und Framework ausprobiert. Inzwischen bin ich der festen Überzeugung, dass ich das beste Tool gefunden habe. Die Lösung ist: Selbst programmieren. 😅 Wenn es technisch wird, müsst ihr ran an den Code. Low‑Code‑Tools sind super für den schnellen Proof‑of‑Concept. Aber sobald es um Skalierung, Transparenz und saubere Geschäftslogik geht, benötigst du mehr Flexibilität und ingenieursmäßige Prinzipien wie Versionierung, Code-Reviews, Testing, um eine kontinuierliche Weiterentwicklung zu ermöglichen. Okay, ganz die Wahrheit ist das nicht. Wir schreiben nicht alles von Scratch, sondern nutzen Dagster (Dagster Labs). Dabei handelt es sich um einen sehr leistungsstarken Open-Source-Orchestrator auf Basis von Python, ausschließlich für die Datenintegration. Was gibt es für coole Features? - Graph‑basiertes Design (DAGs=azyklische, gerichtete Graphen ähnlich wie in Airflow. - Abhängigkeiten und Flows sind visuell sehr klar verständlich - Starke Typisierung & Schema‑Checks (möglich) – Immerhin ist es Python 😅 - Super Developer Experience – Unsere Entwickler lieben es! - Lokales Debugging und eine UI mit Logs & Metriken. - Schlankes Deployment: In fast zwei Jahren Betrieb hatten wir null große DevOps‑Katastrophen. Ja, Code‑First erfordert anfangs mehr Aufwand als ein Tool, wo man Sachen herumklickt. Aber dieses Investment zahlt sich hundertfach aus, wenn deine Datenintegration einmal rund und skalierbar läuft. PS. Seit diese Woche gibt es auch von Dagster ein Low-Code-Approach (https://lnkd.in/dZEaYupD) 👉 Wie löst ihr das Thema Datenintegration? Nutzt ihr auch Dagster oder andere Frameworks? #ECommerce #DataEngineering #DataOrchestration #Dagster #DataQuality #NoCodeVsCode

London data people! I’ll be in London the week of May 12 for the Gartner conference, and would love to meet with other data practitioners and leaders while I’m there. If there’s anyone you think I should meet, tag them in the comments. I am thinking of hosting a small dinner or meetup depending on interest!

📣 Our very own Developer Advocate Colton P. will break down how to use abstractions effectively in data platforms at MDSFest 3.0! In his talk "Abstractions: Enabling data teams through reduced complexity," Colton will explore: - Methods to promote cross-team collaboration - How to lower barriers for contributing to data platforms - Smart approaches to data modeling, DSLs, and API layers - Common pitfalls to avoid (like abstracting too early!) Learn how the right abstractions can make your data team more efficient without creating unnecessary complexity. Register today! Link in the comments.

In case you missed the Dagster Components Discussion and Demos with our Founder and CTO Nick Schrock and Developer Advocate Colton P. yesterday the full recording is now live on Youtube! Link to full video in the comments.

Data engineering is somewhat unique among disciplines. The information and best practices around how to build data platforms that are effective and scalable is scattered all over the place and is often trapped inside practitioners heads. Formal educational paths are often 10 years behind where the industry is operating. For a field where new technology develops constantly, this is Unsat! Data engineers also come from a variety of backgrounds, you have software engineers who find themselves building data platforms. Less technical Data Analysts, Data Scientists, and Business users (like yours truly) who need to unblock themselves with automatic delivery of the data they need. Thats why the Data Platform Fundamentals Ebook from Joe Naso and Colton P. is so helpful. It cuts through the noise and gives you actionable information you need to build scalable, performant, and cost-effective data platforms. Download it today! Link in the comments.

Our friends over at Discord incredible engineering blog on how they're processing petabytes of data with dbt Labs and Dagster while supporting 100+ developers working across 2,500+ models! Key Highlights: 📦 Environment separation strategy to prevent developers from overwriting each other's test tables 📈 Performance optimizations that achieved a 5x speedup in dbt execution times 🧠 Smart versioning system for automated, efficient backfills ⚙️ Comprehensive macros and CI/CD guardrails for data quality Great work Chris D. ! Link in the comments.

Building reliable data infrastructure is core to scaling AI solutions across an organization. In our latest blog, Bowen Zhang, Machine Learning Software Engineer at RBC Borealis, shares how we built a multi-tenant data pipeline framework using Dagster Labs' declarative orchestration - a modern approach to solving real-world data engineering challenges in support of enterprise-scale digital transformation. Read the full blog: https://lnkd.in/gzyzfqXC #dataengineering #MLOps #Dagster #datapipelines #AI #AIsolutions #data #Dataorchestration #datatools #dataworkflows #AIvendor

Its been really something to see the Dagster Labs team crank away on components from the inside. The whole team has been moving with incredible velocity to make Dagster more accessible to everyone who wants to build production grade data platforms. Having done some of my own testing of dg and components I can honestly say that the local development workflow is super clean and facilitates rapid iteration by being able to validate definitions and materialize assets right in the command line. When authoring your own components you abstract away the complexities involved in Python data pipelines and embed organizational context right into the project. This means that less technical users can jump into the project and scaffold their own components and add relevant information for their use case in simplified Yaml or Python. Our founder and CTO Nick Schrock is hosting a webinar tomorrow where he will explain the vision behind Components and why its the future of Dagster. Register today! Link in the comments.

🚀 What’s the ROI of modern data orchestration? 💰 $2.6M in time savings for developers and data consumers
⚡ $1.7M in faster time to value
📉 $361K saved by retiring legacy tools
🔧 $185K reduction in platform operating costs This is all according to a new Total Economic Impact™ study by Forrester of organizations using Dagster+ Pro. Dagster+ Pro doesn’t just orchestrate data—it orchestrates outcomes.
Read the full report to see how your team can do more with less: https://buff.ly/bggiiR4 #DataEngineering #Dagster #DataOrchestration #DeveloperExperience #ModernDataStack