Srpen toho do Fabricu přinesl opravdu hodně. My jsme tradičně prošli celý update a vybrali pro vás to, co nám přijde nejzajímavější a nejpraktičtější pro každodenní práci v BI a datových týmech.

Opět tedy nabízíme TOP 6 novinek, které rozepisujeme detailněji – od jemnější kontroly nad Spark workloady, přes jednodušší práci se soubory v Data Warehouse, až po posílení Data Factory. Tyto změny podle nás můžou nejrychleji ovlivnit reálnou práci analytiků a inženýrů.

Vedle toho tu najdete i dlouhý přehled dalších změn, které rozšiřují možnosti platformy. I když se nemusí dostat na titulní příčky, pro konkrétní scénáře dokážou být stejně důležité.

TOP 6 Microsoft Fabric novinek

1. Job Bursting Control – Data Engineering

Správa Spark workloadů se posouvá dál. Administrátoři mají nově možnost vypnout job bursting, tedy situaci, kdy jeden Spark job může dočasně spotřebovat až trojnásobek přidělené kapacity. To pomáhá chránit prostředí před tím, aby těžký job nesežral výkon na úkor ostatních. Je to nástroj, který dává týmům větší kontrolu – buď povolit maximální výkon pro velké ETL pipeline, nebo naopak zajistit férové sdílení zdrojů v interaktivním prostředí.

2. COPY INTO & OPENROWSET from OneLake (Preview) – Data Warehouse

SQL vývojáři se konečně dočkali. Fabric Data Warehouse nově umožňuje přímo načítat soubory z OneLake do tabulek pomocí COPY INTO nebo je dotazovat ad-hoc pomocí OPENROWSET. Bez nutnosti řešit Spark, staging nebo SAS tokeny. Prostě vezmete CSV či Parquet v OneLake a okamžitě s nimi pracujete přes T-SQL. Tohle zásadně zjednodušuje onboarding dat i rychlou analýzu a otevírá cestu k čistě SQL-only scénářům.

3. Visual Experience for SQL Audit Logs (Preview) – Data Warehouse

Governance a compliance v SQL prostředí Fabricu se stávají dostupnější. Nově je možné audit logy spravovat přímo přes vizuální interface v Data Warehouse. Stačí pár kliknutí a jde nastavit, které události se logují, jak dlouho se uchovávají nebo kdo má k datům přístup. Pryč jsou časy skriptů a složité konfigurace – tohle výrazně zjednodušuje život adminům i bezpečnostním týmům.

4. Python Notebooks to Read/Write Fabric SQL Databases (Preview) – Databases

Python a SQL v jednom prostředí. Díky T-SQL magic commandu je teď možné z Python notebooku spouštět SQL dotazy, vizualizovat výsledky a kombinovat je s dalším kódem. To znamená jednodušší interaktivní analýzy, rychlé prototypy i plnohodnotné workflow, kde se propojuje Python a T-SQL. Velký krok k tomu, aby Fabric skutečně fungoval jako jednotné prostředí pro datové vědce i BI inženýry.

5. Reset Incremental Copy – Data Factory

V Copy Jobu funguje inkrementální kopírování tak, že po prvním plném nahrání dat při dalších bězích přenáší jen nové nebo změněné záznamy. Nově je možné tento proces resetovat – při dalším běhu se provede kompletní nahrání celé tabulky. Funkce se hodí v situacích, kdy se mezi zdrojem a cílem objeví nekonzistence nebo se změní logika dat. Reset lze provést i selektivně pro jednotlivé tabulky, takže máte detailní kontrolu nad tím, co se načítá znovu.

6. Integrated Run History & Validation Feedback – Data Factory

Práce s Dataflow Gen2 je zase o něco pohodlnější. Historie běhů a výsledky validací jsou nově přímo v editoru, není potřeba přepínat do monitoring hubu. Okamžitě tak vidíte, co se povedlo, kde se validace zasekla a jak proběhl poslední běh. Výrazně to zrychluje ladění a šetří čas při iterativním vývoji datových toků.

Seznam dalších novinek, ať to máme komplet. 

Fabric Platform

• Flat list view in Deployment pipelines – nový pohled umožňuje zobrazit všechny položky v jedné tabulce a spravovat je napříč složkami.
• Microsoft Fabric APIs Specification – oficiální specifikace REST API je na GitHubu, což usnadňuje vývoj a integrace.
• Service Principal & Cross-Tenant Support for Azure DevOps (Preview) – Fabric lze propojit s Azure DevOps i přes service principals napříč tenanty, což otevírá cestu k plně automatizovanému nasazení.

Data Engineering

• Autoscale Billing for Spark (GA) – Spark workloady běží v režimu pay-as-you-go, platíte jen za skutečný běh úlohy.
• Fabric Spark Livy API (GA) – API pro spouštění Spark kódu je nyní obecně dostupné, podporuje batch i session běhy.
• JobInsight Diagnostics Library (Preview) – knihovna pro hlubší analýzu dokončených Spark úloh přímo v Notebooks.
• Enhanced Monitoring for Spark High Concurrency – detailnější pohled na běžící notebooky v režimu vysoké souběžnosti.
• Fabric UDFs with Pandas DataFrames – uživatelské funkce umí pracovat s Pandas DataFrames jako vstupy i výstupy.
• Notebook snapshot for running Notebooks – snapshoty kódu a výstupů jsou dostupné i během běžících notebooků.
• OpenAPI spec generation for UDFs (Preview) – automatická tvorba OpenAPI specifikace pro integraci UDF.
• Test capability for UDFs (Preview) – možnost testovat funkce přímo v portálu před publikací.
• Job Bursting Control – TOP 6

Data Science

• Expanded Data Agent Support (Preview) – Data Agent už není omezen velikostí schématu, zvládne i databáze s tisíci tabulek.

Data Warehouse

• Refresh SQL analytics endpoint Metadata REST API (GA) – API pro synchronizaci metadat endpointů je nyní obecně dostupné.
• Read JSON Lines with OPENROWSET (Preview) – možnost číst JSONL soubory přímo přes T-SQL dotaz.
• Audit Log Naming Simplification – sjednocení názvů CRUD operací v logu pro větší přehlednost.
• SHOWPLAN_XML (GA) – nástroj pro detailní analýzu query plánů je nyní plně dostupný.
• COPY INTO & OPENROWSET from OneLake (Preview) – TOP 6
• Visual Experience for SQL Audit Logs (Preview) – TOP 6

Real-Time Intelligence

• Additional analytics on Activator activations – Activator nově poskytuje detailnější statistiky o spuštěných pravidlech.
• Tailor Your Data Schema Tree in Queryset – zjednodušená navigace ve stromu datových zdrojů s možností přepínat mezi flat a group view.
• Database tree in Edit Tile & AzMon – lepší práce s datovým zdrojem přímo v dashboardu, včetně struktury tabulek a sloupců.
• Streamlining Query Sharing in Queryset – při sdílení dotazů vidíte jasně, co se posílá – query, deep link nebo výsledky.
• Eventhouse Accelerated Shortcuts – new settings – přibyly parametry MaxAge a HotWindows pro jemnější ladění výkonu.
• Event Schema Registry (Preview) – centrální registr schémat pro event-driven pipeline v rámci workspace.

Databases

• Optimizing Query Management – editor umožňuje hromadně mazat uložené query, sdílet je v rámci workspace a spouštět přímo v SSMS.
• Python Notebooks to Read/Write Fabric SQL Databases (Preview) – TOP 6

Data Factory

• Pipeline Triggers Management – přibyl panel pro přehlednou správu triggerů přímo v editoru pipeline.
• Terminology change – Pipelines – „Data pipelines“ se v UI mění na „Pipelines“, funkčně beze změny.
• Auto Table Creation – Copy Job vytvoří cílovou tabulku automaticky, pokud neexistuje.
• JSON format Support in Copy job – Copy Job nově umí pracovat i se soubory ve formátu JSON.
• CI/CD-enabled Dataflow Gen2 (GA) – možnost uložit stávající dataflow jako CI/CD variantu jediným klikem.
• Improvements to SharePoint as destination – při výběru cílové složky se zobrazují jen uživatelské adresáře, ne systémové.
• New Category Filters in Template Gallery – šablony lze nově filtrovat podle kategorií.
• Copilot Get Data capability (Preview) – Copilot pomůže nastavit nové datové připojení, i když zatím spíš s rezervou.
• Reset Incremental Copy – TOP 6
• Integrated Run History & Validation Feedback – TOP 6