🚀 A principios de año Apache Arrow introdujo la versión 1.0 de la especificación “Arrow Database Connectivity” (ADBC), que pretende ser “una alternativa columnar a JDBC/ODBC”. Con ADBC, las bases de datos que usan Arrow nativamente ya pueden devolver resultados de consultas sin conversiones intermedias utilizando el protocolo Arrow Flight SQL, y las que no lo usen pueden hacer la conversión en el driver, mejorando el rendimiento. Con esto se completa el ecosistema Arrow para interacción con bases de datos: Arrow en sí mismo como formato en memoria, ADBC como API para clientes, y Arrow Flight SQL como protocolo de transferencia de datos. Si quieres saber más de Arrow, puedes ver mi charla en la PyConES 2022 sobre alternativas a pandas.

Y siguiendo con el tema, hemos tenido versiones nuevas de Polars (varias por semana, no las pongo todas en el noticiero), pero Polars 0.15.15 introduce ordenación out-of-core, lo que significa que se pueden ordenar miles de millones de filas sin que quepan en memoria en cuestión de un par de minutos.

Estamos en el segundo noticiero del año y ya tengo exceso de enlaces, he tenido que comprimir y sintetizar bastante. ¡Vamos allá!

🚀 Ha salido Ibis 4.0, con varios nuevos backends incluyendo Polars y Snowflake, nuevos métodos read_csv y read_parquet para lectura de datos más sencilla, mayor granularidad para extraer elementos de campos JSON, y mucho más. Si estás buscando una capa de abstracción en Python sobre SQL, no te pierdas este proyecto.

También tenemos Fugue 0.8, y me gusta mucho cómo Kevin ha contado en LinkedIn la forma en la que han escuchado a los usuarios para hacer el proyecto más fácil de usar. Incluye varias funciones nuevas para lectura y escritura de datos y varias pequeñas mejoras de usabilidad.

🚀 ¡Estas navidades han salido versiones nuevas de multitud de paquetes esenciales en el ecosistema Python científico!

SciPy 1.10 tiene un nuevo submódulo scipy.datasets (dejando scipy.misc obsoleto), una nueva función scipy.interpolate.make_smoothing_spline que implementa un nuevo algoritmo de selección de parámetros para splines, una nueva función scipy.stats.goodness_of_fit para hacer pruebas de bondad de ajuste de manera sencilla, y muchísimo más. Si estás haciendo interpolación bidimensional, echa un vistazo a esta guía de transición.

Por su parte, IPython 8.0 trae mejoras en el autocompletado (sobre todo para claves de diccionarios) y otras pequeñas mejoras, y NumPy 1.24 elimina unas cuantas funcionalidades que estaban obsoletas, mejoras en F2PY (Fortran no estaba muerto, solo andaba de parranda) y algunos ajustes para casos raros de conversiones entre tipos. Estos dos proyectos son ya bastante maduros y no se esperan cambios sustanciales.

🔥 ¡Por fin tenemos Shapely 2.0! Shapely es una biblioteca Python para manipulación de geometrías bidimensionales. Está basada en el paquete GEOS, y ha sufrido una enorme transformación que lleva fraguándose varios años y que resuelve varios problemas - entre ellos, la imposibilidad de instalar Cartopy y Shapely con pip en el mismo entorno virtual. Este problema se identificó hace más de 6 años, y fruto de un largo proceso desgranado y dirigido por Joris Van den Bossche, toda la arquitectura interna ha cambiado y el programa es ahora mucho más rápido.

Recomiendo encarecidamente consultar las diapositivas de la charla de Joris en el FOSS4G el año pasado. En ellas también se explica cómo Shapely, Fiona, y pyproj son la base de GeoPandas.

🔥 Ha salido scikit-learn 1.2 con un montón de novedades, y entre ellas una muy deseada desde hace años: ¡todos los transformers aceptan y devuelven dataframes de pandas! Esto significa que si tienes un Pipeline complejo con muchos pasos, ColumnTransformer, etc será capaz de, por ejemplo, retener el nombre de las columnas. Esto es un salto cualitativo en la forma en la que veníamos usando scikit-learn hasta la fecha y estoy deseando probarlo.

Tienes más información en la SLEP 18 (siglas de scikit-learn enhancement proposal). Nótese que la petición original data de 2015 y que ya había experimentos como sklearn-pandas, pero para integrar esos cambios en el proyecto han hecho falta muchas iteraciones. ¡A veces los tiempos en el código abierto son así!

🚀 Tenemos versión nueva de Jupyter Server, 2.0 - aunque es una pieza interna de Jupyter con la que los usuarios no interactúan directamente, es muy importante porque allana el camino para cambios grandes en el ecosistema: identidad (importante para cuando lleguen los notebooks colaborativos), autorización más granular, un sistema de eventos para comentarios y notificaciones, y mucho más.

🔥 ¡Avalancha de lanzamientos esta semana! Vamos por partes:

BigCode, una iniciativa conjunta de Hugging Face y una empresa canadiense llamada ServiceNow, ha creado The Stack, un conjunto de datos con código en más de 300 lenguajes de programación para entrenar modelos generativos. Lo que diferencia a esto de cosas como GitHub Copilot es que han elegido exclusivamente código liberado bajo licencias permisivas, y además han implementado mecanismos para que puedas averiguar si tu propio código está incluido, y si así lo deseas, borrarlo. ¡Así sí!

BigCode @BigCodeProject

Is your code in 📑 The Stack? Check if your repositories are in the dataset and a large language models for code will learn from them!

hf.co/spaces/bigcode…

🚀 Ha salido ObsPy 1.4.0, un framework escrito en Python para procesado de datos sismológicos. Entre las novedades hay un nuevo módulo para leer datos de la Luna obtenidos por las misiones Apollo en formato ALSEP, soporte para formato NonLinLoc versión 7, arreglos para visualización cartográfica con proyecciones personalizadas, y mucho más. Si te interesa el tema, recomiendo ver su galería de ejemplos.

También tenemos versiones nuevas de Polars hasta la 0.14.31, con mejoras en el autocompletado para IPython y Jupyter, un nuevo método pearson_corr, y más mejoras en el nuevo motor de streaming. Sobre esto último, Ritchie Vink, el autor de Polars, me aclaró en Mastodon que incluso la interfaz lazy necesita que los resultados intermedios quepan en memoria, mientras que el nuevo motor permite procesar datos mucho más grandes que la RAM disponible.

Llevo un rato frente a la pantalla tratando de buscar el momento de publicar la edición semanal del noticiero Python Científico, con mi lista larguísima de enlaces y mi selector de emojis preparado. Pero lo cierto es que estoy bastante turbado por lo que está pasando en Twitter, y no me puedo concentrar.

Hoy no hay nuevas versiones ni proyectos interesantes que he descubierto, porque esta semana ha sido bastante intensa. Puedes dejar de leer aquí: te prometo que el viernes que viene volveré a la carga. Lo que sigue es una breve diatriba con mi opinión personal.

Siempre he tenido una relación de amor-odio con las redes sociales: me han dado muchas cosas positivas, pero también mucho sufrimiento. No fue fácil durante la pandemia estar en constante conexión con malas noticias, no solo en España sino en todas partes del mundo, y acabé cerrando mi cuenta de Twitter, como ya había hecho en otras ocasiones. El año pasado, sin embargo, empecé en este mundo del Advocacy, y me sentí en la obligación de volver, con muchas reservas.

🐻‍❄️ Ya se terminó la PyData de NYC, y estoy contento de humildemente haber contribuido al que creo que fue uno de los temas clave del evento: ¿qué hay más allá de pandas? Mi charla sobre Polars (la primera dada por alguien que no es su autor, Ritchie Vink) estaba hasta la bandera, la charla Gil Forsyth (Voltron) sobre Ibis fue impecable, y Jeff Reback, mantenedor de pandas desde hace casi una década, explicó con todo lujo de detalles la actual situación del proyecto y el futuro que le espera.

Ax=b | chaos.social/@melissawm @melissawm

A packed room for @jreback - on the challenges of maintaining @pandas_dev

4:05 PM ∙ Nov 10, 2022

---

19Likes3Retweets

Para resumir: ¡no tienes que preocuparte del futuro de pandas! El proyecto sigue adelante y la idea es ir haciendo mejoras incrementales. Mientras tanto, hay un esfuerzo coordinado por promocionar Ibis como una capa de abstracción por encima de pandas, que al mismo tiempo pueda comunicarse con diferentes backends. Esta es la diapositiva clave:

🔥 ¡Ya es oficial! Como anunciamos en julio, RStudio ha cambiado de nombre y ahora es Posit. En palabras de Hadley Wickham, Chief Scientist de Posit:

Posit no va de pivotar de R a Python. Va de ampliar y abrazar la comunidad Python así como la comunidad de R.

Creo que es un movimiento lógico teniendo en cuenta el declive progresivo de R, como pudimos ver en la encuesta de Kaggle hace dos semanas. Al mismo tiempo, la comunidad R es tremendamente amistosa y colaborativa, y eso es algo que sería una lástima que se perdiese. Y por último, creo que es una muy buena noticia que haya más entidades que le quieran plantar cara a VS Code, que va camino de convertirse en el monopolio de los IDEs, según extraje en su momento de la encuesta oficial de Python que hacen JetBrains y la Python Software Foundation.

🔥 La noticia de la semana es sin duda que ¡Python 3.11 ya está disponible! El irrepetible Pablo Galindo fue el que se encargó de publicar la versión, y la gran Mai Giménez diseñó un logo espectacular para la ocasión. ¡La representación española en CPython está en máximos históricos!

Pablo Galindo Salgado @pyblogsal

Python 3.11 is finally released. In the CPython release team, we have put a lot of effort into making 3.11 the best version of Python possible. Better tracebacks, faster Python, exception groups and except*, typing improvements and much more. Get it here:

python.org/downloads/rele…

Esta versión trae importantes novedades, entre ellas mejoras de rendimiento notables (recomendable la charla de Pablo en la PyConES hace un mes), trazas de error mucho más explicativas, soporte para TOML en la biblioteca estándar, y mucho más. Los detalles están en el anuncio oficial.

Pero ¡ojo! No corras a actualizar tus sistemas todavía. Algunos proyectos todavía no publicaron wheels precompilados para Python 3.11, así que es posible que te encuentres con tiempos de instalación muy largos en el mejor de los casos, y fallos de instalación en el peor. Algunos paquetes como pandas y matplotlib ya lo hicieron hace días, otros como scikit-learn hace escasas horas, a numba aún le quedan semanas, etc. Asegúrate de comprobar el estado de tus dependencias antes de actualizar, o de preparar todo lo necesario para compilarlas desde su código fuente.

Numba @numba_jit

Public service announcement: Yes, the Numba team is aware of the Python 3.11 release. 💥 Yes, we are working on it. 💪Please refrain from opening additional Issues on our tracker and subscribe instead to github.com/numba/llvmlite… and github.com/numba/numba/is… 🙏🙏🙏

github.comPython 3.11 · Issue #8304 · numba/numbaThis is the meta/coordination issue for Python 3.11 support for Numba and llvmlite. Note: The issue text will be updated continuously to reflect the current process and progress. As Numba interface…

12:23 PM ∙ Oct 25, 2022

---

38Likes4Retweets

🚀 La newsletter mensual de NumFOCUS recoge versiones nuevas de sus proyectos patrocinados y afiliados y otras noticias interesantes, recomiendo mucho leer la edición de octubre. Esta semana hemos tenido varias nuevas versiones, con cambios menores o superficiales: Voilà 0.4.0, Plotly 5.11.0, Polars 0.14.24, Meltano 2.8.0.

Los proyectos están inmersos cerrando Google Summer of Code, ultimando Hacktoberfest, trabajando en el soporte para Python 3.11, y deseando que llegue Closember.

Closember @ClosemberDev

Hacktoberfest is almost done, so there will be a lot to cleanup. You care about the maintainers, finishing things, zero inbox ? Come participate to

closember.orgClosember 2022 by QuansightClosember aims to increase awareness about Open Source maintainer burnout and promote practices to make maintaining open-source less stressful and more enjoyable for everyone.

3:54 PM ∙ Oct 19, 2022

---

3Likes2Retweets

💡 Esta semana he descubierto Plywood Gallery, un nuevo framework para generar documentación de Python a partir de notebooks.

Mis antiguos compañeros de Satellogic, con Javier Marín a la cabeza, han publicado iquaflow, un framework de Python para verificación de calidad de datos con foco en imagen satelital y utilizando MLFlow. Javier contó más detalles sobre el proyecto en LinkedIn.

📚 Desde junio de 2022, Hugging Face es patrocinador oficial del Consorcio scikit-learn (¡gracias Guillermo Germade!)

Hugging Face @huggingface

Scikit-Learn and 🤗 join forces!

With a growing number of tabular classification & regression checkpoints, we believe statistical ML has its place on the HF Hub.

🚀 Esta semana ha salido Anaconda Distribution 2022.10, una nueva versión de la popular distribución de Python para ciencia de datos. Entre las novedades, se cuentan soporte para Python 3.10 (¡ojo que el lunes sale Python 3.11!), mejoras en Anaconda Navigator, compatibilidad completa para interfaces gráficas en macOS sobre M1, y las últimas versiones de conda, pandas, y matplotlib.

Anaconda @anacondainc

We are pleased to announce the release of the Anaconda Distribution 2022.10 installer!

⭐ Updated resources for the community. ⭐ GUI support for macOS M1. ⭐Application tile enhancements & homepage filters for a dynamic experience.

Read more here 👇 bit.ly/3eF4SuK

También tenemos versiones nuevas de Polars: desde el último noticiero se ha incluido soporte para datos en streaming (¡ya puede leer datos más grandes que la RAM!), un lector de CSV por bloques, mejoras en el manejo de zonas horarias, y mucho más. La última versión al cierre de esta edición es Polars 0.14.21.

Ritchie Vink @RitchieVink

It bugged me that I needed to give this answer to @CMastication, so I started making @DataPolars a hybrid streaming engine. In the coming months we will support more streaming queries.

🚀 Esta semana ha salido dbt 1.3.0, una versión muy esperada porque ¡incluye la funcionalidad de modelar datos con Python! Hay todavía muchos cabos sueltos, así que si usas dbt y te interesa, puedes participar en la discusión.

También ha salido Panel 0.14, con varias novedades muy jugosas: compatibilidad con Pyodide y PyScript (es decir: ¡corre en el navegador sin backend!), mejoras sustanciales de rendimiento, y una extensión de Sphinx para crear documentación interactiva.

Marc Skov Madsen @MarcSkovMadsen

With @Panel_org 0.14 it is now possible to make your #python #sphinx documentation live and interactive powered by @pyodide. Check out the release blog post for more details blog.holoviz.org/panel_0.14.htm… and try out this interactive @matplotlib #dataapp guide panel.holoviz.org/getting_starte…

5:55 AM ∙ Oct 11, 2022

---

27Likes9Retweets

¡Llegamos a los 50 episodios! Muchas gracias por leer y por apoyar el noticiero. Si te gusta, recuerda compartirlo y animar a otra gente a que se suscriba. También me hace mucha ilusión recibir comentarios o respuestas por correo. ¡A por los 100!

🔥 La noticia de la semana la da DeepMind con AlphaTensor, una red neuronal que ha descubierto algoritmos de multiplicación matriciales más rápidos que los conocidos hasta la fecha. El artículo en Nature se lee fácil y tiene menos marketing que la entrada en su blog, es altamente recomendable.

Juan Luis Cano Rodríguez @juanluisback

Figure 3 is key: it compares the complexity of previously known matrix multiplication algorithms and the ones discovered by AlphaTensor. The AI has re-discovered most optimal known algorithms, and improved the rank of a few more.

9:01 AM ∙ Oct 6, 2022

Como muy bien avisa @potatoffel en Twitter, no hay mención en el artículo a la estabilidad numérica o las cotas de error para estos algoritmos. Al mismo tiempo, aunque asintóticamente se diga que un algoritmo tiene menor complejidad, es posible que la ventaja real solo se consiga para matrices muy grandes. Este breve artículo contiene algunas claves que pueden ayudar a entender en qué casos los nuevos algoritmos pueden ser aplicables y en qué casos convendría usar métodos alternativos.

🚀 Joaquín Amat ha publicado skforecast 0.5, con soporte para transformar la serie modelada y las variables exógenas dentro de los predictores, una nueva clase ForecasterAutoregMultiSeries para modelar varias series simultáneamente, y soporte para Python 3.10 entre otras novedades.

Por otro lado, plotnine 0.10, “el ggplot2 para Python”, trae varias mejoras en geom_ribbon para áreas sombreadas, arreglos para matplotlib 1.6.0, y algunas cosas más.

🔥 Estos días varios paquetes importantes del ecosistema PyData han sacado versiones nuevas:

pandas 1.5 trae numerosas mejoras, como por ejemplo una función from_dummies simétrica a get_dummies (¡por fin!), soporte para tipado gradual, implementación del protocolo estándar de intercambio de dataframes, y mucho más.

pandas @pandas_dev

New feature alert! ✨

In version 1.5.0 we’ve added from_dummies, which allows you to do decode one-hot-encoded DataFrames

🔥 ¡Esta semana la empresa Meta ha donado PyTorch a una nueva entidad llamada la PyTorch Foundation, que será parte de la Linux Foundation! Es una excelente noticia que proyectos tan utilizados tengan una gobernanza más abierta que no esté atada a los intereses de una empresa en concreto.

The Linux Foundation @linuxfoundation

BIG NEWS: @Meta has transitioned @PyTorch to the Linux Foundation 🔥

Since 2017, PyTorch has grown to become a leading #AI framework. To accelerate progress in AI, PyTorch is moving to a new, independent #PyTorchFoundation.

Learn more: hubs.la/Q01m2S340

🚀 Ha salido ibis 3.2.0, con numerosas mejoras en los diferentes backends. Ibis es un proyecto Python que permite manipular datos al estilo SQL - algo así como “pandas sobre bases de datos”.

💡 Esta semana he descubierto haystack, un framework para búsquedas semánticas basado en PyTorch y Hugging Face, y conda-tree, una pequeña utilidad para visualizar las dependencias de un entorno conda como un árbol.

Jaime Rodríguez-Guerra @jaime_rgp

This week I have been using a @condaproject tool I didn’t know about til very recently!

📣 Ya están abiertas las suscripciones para el evento de PyData Madrid de septiembre: “Acelerando flujos de datos y modelos de aprendizaje”. Ponentes de lujo, una sede emblemática, buen ambiente, y networking animado. ¿Te veo allí?

PyData Madrid @PyDataMadrid

Ya está abierto el registro para nuestra reunión de septiembre: 🔥 Acelerando flujos de datos y modelos de aprendizaje

meetup.com/pydata-madrid/…

Contaremos con @valerybriz y la gente de @graphext. ¡Nos vemos el jueves 22 de septiembre a las 19:00 en @TheBridge_Tech!

🚀 Hace unas horas ha salido JupyterHub 3.0, con pocos cambios pero importantes: nueva interfaz de administración más detallada, mejoras en el control de acceso basado en roles (RBAC), y no más soporte a Python 3.6.

Como nota al pie, en el pasado utilicé TLJH (“The Littlest Jupyter Hub”) para desplegar instancias de JupyterHub pequeñas (hasta ~100 usuarios), pero se quedaron un poco estancados en la versión 1.0. Para despliegues basados en Kubernetes, existe Zero to JupyterHub, que como avisan en el anuncio parece que sí se va a actualizar pronto.

💡 Esta semana he descubierto skforecast, un paquete Python para prognosis de series temporales utilizando regresores de scikit-learn escrito por Joaquín Amat Rodrigo (¡y encima con ejemplos en español!)

También he dado con causalnex, una biblioteca Python para inferir causalidad en redes bayesianas.

📚 Siguiendo con el tema de series temporales, me ha encantado encontrar este libro abierto sobre ellas, y además un repositorio con los ejemplos hechos en Python (un poco desactualizados pero menos da una piedra).

Antes de descubrir dicho libro (¡lástima!) escribí un artículo sobre cómo automatizar un proceso de detección de anomalías utilizando Orchest y Clarify.

Y por último, volviendo al tema de moda (Stable Difussion y similares), me ha parecido muy interesante este notebook que explica cómo funciona por debajo.

Jonathan Whitaker @johnowhitaker

New notebook: “Grokking Stable Diffusion” Hopefully useful for anyone looking for content that goes deeper than just how to run the model! colab.research.google.com/drive/1dlgggNa… Covering: - The diffusion loop - Messing with text embeddings - img2img - arbitrary guidance More deets in thread 🧵

2:35 PM ∙ Sep 2, 2022

---

1,773Likes300Retweets

📸 Ayer conocí en persona a Victoriano Izquierdo, el cerebro detrás de Graphext, y quedé maravillado por el producto y la pasión que le ponen. ¡Gracias Elena por introducirnos!

Victoriano Izquierdo @victorianoi

The number of calls to the police in NYC from people complaining about noises, music, and parties dramatically increased since the pandemic started 🚨

🇪🇺 ¡Esta semana ha sido la EuroSciPy 2022 en Basilea, Suiza! Este evento me lo perdí (¡no puedo estar en todo!) pero tiene pinta de que fue excelente como siempre. Pronto estarán los vídeos subidos a su canal de YouTube.

EuroSciPy @EuroSciPy

Let the fun begin! EuroSciPy2022 started today at Basel with great tutorials. It is lovely to see the EuroSciPy community again with many new faces :-) #euroscipy2022

3:08 PM ∙ Aug 29, 2022

---

30Likes10Retweets

🚀 Esta semana salió Airflow 2.3 con novedades bastante jugosas: soporte para generar tareas dinámicamente en tiempo de ejecución, separación del DagProcessorManager en un proceso aparte, creación de conexiones usando JSON, y mucho más. La propuesta completa (AIP-42) se puede leer en la wiki de Apache Airflow.

Juan Luis Cano Rodríguez @juanluisback

The new release @ApacheAirflow, 2.3, ships a cool feature: dynamic task mapping!

A partir de hoy vuelve el noticiero con su periodicidad habitual. Espero que hayas pasado buen verano o invierno, ¡gracias por leer!

🔥 La noticia de la semana es la publicación de Stable Diffusion, un modelo generador de imágenes al estilo de DALL·E 2 pero con mejores prestaciones y ¡completamente de código abierto! La evolución de estos modelos está siendo vertiginosa pero sobre todo es muy interesante cómo se está avanzando hacia licencias éticas (este modelo no se puede usar para difundir información falsa o atacar personas) y hacia la apertura radical. Lo resume muy bien Mark Tenenholtz en este tuit:

Mark Tenenholtz @marktenenholtz

DALLE-2 was paywall-released recently by an extremely well-funded company.

Just yesterday, a group of independent researchers released their own model (Stable Diffusion) that you can use in a few lines of code for FREE.