🔥 ¡Por fin tenemos Shapely 2.0! Shapely es una biblioteca Python para manipulación de geometrías bidimensionales. Está basada en el paquete GEOS, y ha sufrido una enorme transformación que lleva fraguándose varios años y que resuelve varios problemas - entre ellos, la imposibilidad de instalar Cartopy y Shapely con pip en el mismo entorno virtual. Este problema se identificó hace más de 6 años, y fruto de un largo proceso desgranado y dirigido por Joris Van den Bossche, toda la arquitectura interna ha cambiado y el programa es ahora mucho más rápido.
Recomiendo encarecidamente consultar las diapositivas de la charla de Joris en el FOSS4G el año pasado. En ellas también se explica cómo Shapely, Fiona, y pyproj son la base de GeoPandas.
🚀 ¡Y no terminan aquí las versiones nuevas! conda 22.11.1 trae jugosas novedades, principalmente que el nuevo algoritmo basado en mamba deja de ser experimental, las descargas ocurren en paralelo (¡aleluya!) y ahora el proyecto tiene una arquitectura de plugins. Si bien hace tiempo que me he casado con micromamba, esto son excelentes noticias para la gente que utiliza la distribución de Anaconda, que tendrá una experiencia por defecto mucho más placentera.
⇒ 🚅 conda-libmamba-solver generally available ⇒ 🏎 Parallel package downloads ⇒ 🧩 A new plugin framework
- conda.discourse.group/t/conda-22-11-…
- youtu.be/VD5TXcbYgR4
Seguimos teniendo frecuentes versiones nuevas de Polars: en las últimas semanas han incluido un nuevo método
DataFrame.glimpse()(parecida a la del paquete tibble de R), soporte para Lakehouses (la fusión de Data Lakes y Warehouses) basados en el framework abierto Delta Lake, y mucho más. Y por si fuera poco, ¿parece que dask-polars se acerca cada vez más?
Folks often say “You should add X to Dask! X makes things fast!” for features like avoiding memory copies, jit compilation, high level query optimization, and Rust.
This blog describes which I find valuable and why.
💡 Esta semana he descubierto Mesa, un framework de Python para simulación basada en agentes. Me encantaría aprender más sobre esto para simular sistemas de incentivos, dinámicas en redes sociales, grafos de confianza…
También he descubierto DrWhy, una colección de herramientas para explicabilidad en inteligencia artificial.
📚 Me ha gustado mucho este artículo sobre cómo crear un data lake localmente usando Dagster para orquestación, Parquet para la serialización, y DuckDB para las transformaciones.
Y por otro lado, ¡feliz de ver que Python 3.11 va como una bala comparado con la versión anterior!
🎄 Se acerca el fin de año y, como tal vez ya hayas leído en mi LinkedIn, estoy de vacaciones porque he dejado mi anterior trabajo. Tengo una lista enorme de cosas que quiero hacer y se me van las horas tomando notas, escribiendo, leyendo, aprendiendo… ¡Así que también voy a descansar de noticiero! Esta es la última edición del año, así que aquí van los mejores enlaces de todo el material que tenía en la reserva:
This is useful material to strengthen mathematical skills.
paper: arxiv.org/abs/2206.13446 repo: github.com/michaelgutmann…
🧵 1/11
GPU-Puzzles (v0.1) - 14 short puzzles in Python with a visual debugger. No background required. Do puzzles, learn CUDA.
Link: github.com/srush/GPU-Puzz…
Se acercan JupyterLab 4.0 y otras esperadísimas versiones nuevas, pero de momento hago borrón de enlaces acumulados y pauso el noticiero por un par de semanas. ¡Pasa unas felices fiestas y nos leemos en 2023! 🍇