{"id":987,"date":"2022-09-02T14:20:20","date_gmt":"2022-09-02T14:20:20","guid":{"rendered":"https:\/\/ingenieriadesoftware.es\/?p=987"},"modified":"2022-09-07T14:13:54","modified_gmt":"2022-09-07T14:13:54","slug":"describeml-describir-datasets-ml","status":"publish","type":"post","link":"https:\/\/ingenieriadesoftware.es\/describeml-describir-datasets-ml\/","title":{"rendered":"DescribeML: Una herramienta para describir datasets para machine learning"},"content":{"rendered":"

Con el auge de las tecnolog\u00edas de machine learning (ML), la necesidad de tener m\u00e1s y mejores conjuntos de datos para entrenar estas tecnolog\u00edas se ha convertido en uno de los retos principales de la industria. Voces relevantes dentro de la comunidad de ML, como Andrew NG<\/a>, ponen en primer plano la necesidad de centrar futuras investigaciones en los datos usados para entrenar modelos de ML. La idea es sencilla: mejores datos<\/strong> para construir aplicaciones de ML mejores y m\u00e1s potentes<\/strong>.<\/p>\n

Pero los datos, m\u00e1s all\u00e1 de ser el combustible detr\u00e1s de las aplicaciones de ML, pueden ser tambi\u00e9n la fuente de problemas \u00e9ticos y sociales<\/strong>. Recientes estudios como, Khalif et al<\/a>, muestran como datasets <\/em>de an\u00e1lisis facial con un n\u00famero menor de caras de color oscuro reduce la precisi\u00f3n de los elementos de ML para este tipo de caras, provocando una discriminaci\u00f3n hacia estas personas. Por otro lado, Bender et al<\/a>, muestra como un datasets<\/em> de lenguaje natural captado de hablantes australianos puede impactar en el rendimiento de un modelo de ML orientado a ciudadanos de Estados Unidos.<\/p>\n

La necesidad de documentar los datos<\/h2>\n

Con estos ejemplos vemos la necesidad de ir m\u00e1s all\u00e1 de simplemente guardar los datos de entrenamiento. \u00a1Hay que guardar informaci\u00f3n sobre la procedencia, caracter\u00edsticas y posible impacto social de los datos mismos<\/strong>!.<\/p>\n

En respuesta a esta situaci\u00f3n, estudios recientes est\u00e1n recopilando estos riesgos y proponiendo la adopci\u00f3n de buenas pr\u00e1cticas para construir datasets<\/em> (En Knowing Machines<\/a> est\u00e1n listados los trabajos m\u00e1s relevantes en el campo). En concreto, muchos de estos trabajos proponen gu\u00edas generales para la documentaci\u00f3n de datasets<\/em>. Estas gu\u00edas, inspiradas en las problem\u00e1ticas apuntadas por la comunidad, tienes como objetivo mitigar problemas comunes provenientes de los datasets<\/em>, y proveer maneras de medir m\u00e9tricas de alto nivel como equidad social, la privacidad o la trazabilidad de los datos.<\/p>\n

Sin embargo, estos trabajos est\u00e1n basados en gu\u00edas generales y texto natural<\/strong> que tiene limitaciones en t\u00e9rminos de dise\u00f1o y uso. Por ejemplo, son dif\u00edciles de computar y manipular autom\u00e1ticamente por parte de aplicaciones.\u00a0<\/strong>Esto limita el beneficio de estas gu\u00edas ya que no es posible hacer un tratamiento masivo de datasets teniendo en cuenta sus metacaracter\u00edsticas. Por ejemplo, no ser\u00eda f\u00e1cil buscar autom\u00e1ticamente un dataset que cumpla restricciones de distribuci\u00f3n y o procedencia que sean importantes para un problema dado. Esto limita tambi\u00e9n poder demostrar que un algoritmo que utiliza un modelo entrenado con estos datos cumple con los principios de transparencia y responsabilidad<\/a>.<\/p>\n

Una soluci\u00f3n desde el campo de la ingenier\u00eda del software<\/h2>\n

Es en este punto donde viene nuestra propuesta<\/strong>; DescribeML: A tool for describing machine learning datasets<\/a>. <\/em>Esta herramienta permite a los creadores de datos describir, en un formato estructurado, los diferentes aspectos de los datos utilizados para entrenar sus modelos de aprendizaje autom\u00e1tico. La descripci\u00f3n se realiza en base a un lenguaje espec\u00edfico de dominio (DSL) que hemos propuesto en este informe:\u00a0A domain-specific language for describing machine learning<\/a> datasets<\/a><\/em>. La herramienta se presentar\u00e1 pr\u00f3ximamente en las conferencias\u00a0MODELS 2022<\/a> y\u00a0J<\/a>ISBD<\/a> 2022<\/a>.<\/p>\n

Nuestra herramienta (y el DSL correspondiente)\u00a0recopila las propuestas recientes de la comunidad sobre documentaci\u00f3n de datasets<\/em> y tiene como objetivo ayudar en la estandarizaci\u00f3n de estas pr\u00e1cticas. En la siguiente imagen vemos una visi\u00f3n general de la gram\u00e1tica del DSL (expresada como metamodelo con los principales conceptos y relaciones que se pueden usar para anotar datasets). Como vemos, el DSL permite anotar informaci\u00f3n sobre los usos y autor\u00eda de los datos, la composici\u00f3n de estos, su procedencia y los posibles efectos sociales que puedan tener.<\/p>\n

 <\/p>\n

\"Metamodelo

Visi\u00f3n general del metamodelo para describir datasets sobre el que se basa la herramienta<\/p><\/div>\n

 <\/p>\n

Adem\u00e1s, una vez descrito el dataset<\/em> con nuestra herramienta, se abre la puerta, a un conjunto de escenarios semi-automatizados. Por ejemplo, la comparaci\u00f3n de datasets<\/em> de un mismo dominio, o la b\u00fasqueda de los datasets<\/em> m\u00e1s adecuados para aplicaciones ML concretas, o finalmente, la reaplicabilidad de experimentos (cuando los datos originales no est\u00e1n disponibles). Estos escenarios son un ejemplo de como soluciones desde el campo de la ingenier\u00eda del software<\/a> pueden contribuir avanzar el estado del arte de la IA<\/strong> o de como el campo de la IA necesita del campo ingenier\u00eda del software.<\/p>\n

Describiendo datos con DescribeML<\/h2>\n

La herramienta est\u00e1 desarrollada en c\u00f3digo abierto<\/a> como plug-in de Visual Studio Code (VSCode), uno de los entornos de trabajo m\u00e1s populares dentro del campo de ML, y publicada en el marketplace<\/em><\/a> de este. La herramienta ha sido desarrollada usando Languim<\/a>, un framework de lenguajes basado en TypeScript, y est\u00e1 compuesta por una implementaci\u00f3n de la gram\u00e1tica del DSL mencionado y una serie de servicios que extienden las funcionalidades de Visual Studio Code para describir datasets<\/em>.<\/p>\n

La herramienta provee a los creadores de datos con las t\u00edpicas funcionalidades modernas de lenguajes como resaltado sint\u00e1ctico, autocompletado, snippets<\/em> de c\u00f3digo y recomendaciones, entre otras. A la vez, la herramienta provee la funcionalidad de cargar los archivos de datos (en .csv<\/em>) y generar as\u00ed un fichero de descripci\u00f3n semi-completado para facilitar el uso de la herramienta. Por otro lado, tambi\u00e9n dispone de funcionalidades de generaci\u00f3n como la de generar documentaci\u00f3n HTML (con el SEO preparado para que lo detecte Google Dataset Search<\/em>) a partir de un archivo de descripci\u00f3n v\u00e1lido.<\/p>\n

En la imagen siguiente podemos ver una captura de la herramienta sobre VSCode donde la zona marcada con 1, muestra la gu\u00eda del archivo de descripci\u00f3n que estamos creando, la zona marcada con un 2, muestra los botones de las funcionalidades de carga<\/em> de datos y generaci\u00f3n de documentaci\u00f3n HTML, y finalmente, la zona marcada con un 3 muestra el editor de c\u00f3digo.<\/p>\n

\"DescribeML

Vista general de la interfaz de usuario de DescribeML<\/p><\/div>\n

 <\/p>\n

En el siguiente video<\/strong> se hace una breve presentaci\u00f3n de la herramienta<\/strong>, mostrando su simple proceso de instalaci\u00f3n, el flujo de uso, y dando algunos consejos pr\u00e1cticos para trabajar con ella.<\/p>\n