This event has already taken place. Check upcoming events
Streaming Queries in Spark Declarative Pipelines (Apache Spark 4.1.0)
Event:
Streaming Queries in Spark Declarative Pipelines (Apache Spark 4.1.0)
Event type:
Meetup
Category:
Topic:
Date:
20.11.2025 (thursday)
Time:
18:00
Language:
Polish
Price:
Free
City:
Log in, by zgłosić zmianę.
Description:
Niebawem nowe wydanie Apache Spark 4.1.0, a my wracamy do Spark Declarative Pipelines i streaming queries (Spark Structured Streaming).
Czego się nauczysz (dowiesz podczas kodowania na żywo):
- Stworzysz projekt SDP (z pomocą starego dobrego uv już w wersji 0.9.10!)
- Poznasz dekorator @dp.append_flow do definiowania przepływów (może jednak pozostańmy przy flows, co?!)
- Poznasz dwa nie-dekoratory dp.create_sink i dp.create_streaming_table
- (opcjonalnie) Użyjemy Delta Lake
W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na jacek@japila.pl. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!
