CA | ES | EN
Ètica i IA

 

El tema de recerca sobre ètica i IA té com a objectiu abordar una sèrie de desafiaments ètics plantejats en la IA i proporcionar els primers elements bàsics per al desenvolupament de sistemes de IA que s'adhereixin als nostres valors i requisits. Proposem eines i mètodes computacionals nous, recolzats per recerques multidisciplinàries, que poden fer que els humans i les màquines entenguin els seus respectius objectius dinàmics mentre respecten estrictament els valors que inspiren a les nostres societats.

Contacte: Nardine Osman


En els últims anys, van sorgir moltes iniciatives que van intentar abordar els problemes d'ètica i IA. Alguns van ser dirigits per indústries tecnològiques de primer nivell, mentre que uns altres per científics destacats en els camps rellevants, des de la filosofia fins a la IA. Entre ells es troba la Declaració de Barcelona liderada per l'IIIA per al desenvolupament i ús adequat de la intel·ligència artificial a Europa. Totes aquestes iniciatives comparteixen una sèrie de preocupacions ètiques desafiadores, que van des de l'explicabilidad, la transparència i la rendició de comptes fins a l'alineació de valors, el control humà i el benefici compartit.

En l'IIIA, el nostre objectiu és abordar alguns d'aquests desafiaments ètics. D'una banda, desitgem centrar-nos en el desenvolupament de sistemes de IA que s'adhereixin als nostres valors i requisits. D'altra banda, volem centrar-nos en l'impacte dels sistemes de IA en les interaccions humanes (entre si o amb el sistema de IA) per a garantir que estem promovent interaccions i col·laboracions ètiques.

El nostre treball sobre ètica i IA està recolzat per una sòlida recerca multidisciplinària. Per exemple, quin comportament del sistema es considera ètic i legal és clau aquí. Com a tal, diem que les ciències socials i les humanitats (des de la filosofia i el dret fins a les ciències socials i cognitives) es troben en el centre de qualsevol recerca sobre ètica i IA. Argumentem que aquests camps no sols haurien de proporcionar informació per a la recerca de la IA, sinó que també haurien de participar de manera activa i col·laborativa en la direcció i l'avanç de la recerca de la IA.

A continuació, presentem els principis que sustenten el treball de l'IIIA sobre ètica i IA.

Els sistemes de IA han d'estar impulsats per les necessitats i els valors de les persones, i evolucionar amb aquestes necessitats i valors en contínua evolució.


Això garanteix que els sistemes de IA prosperin per al nostre benefici, mentre s'adhereixen als nostres valors.

La governança de la IA ha de democratitzar-se.


Això els dona a les persones el control sobre els seus sistemes de IA, perquè puguin opinar sobre com deu o no ha de comportar-se la seva tecnologia. Això no sols exigeix noves iniciatives democràtiques i interactives, sinó també una aportació acurada dels camps de l'ètica i la llei per a ajudar a avaluar la dinàmica entre el que la gent vol, la qual cosa és ètic i el que és legal.

Una perspectiva humanista és necessària per a la col·laboració ètica home-màquina.


És important fomentar una perspectiva humanista que situï la IA dins del fenomen humà més ampli que anomenem "intel·ligència", ja que sorgeix de les interrelacions i interaccions compartides amb els humans, els sistemes informàtics i el medi ambient.

Una mostra dels nostres interessos de recerca:

Tecnologies per als acords

Donar als humans la possibilitat d'opinar sobre com funcionen les seves tecnologies implica permetre'ls posar-se d'acord col·lectivament sobre tals qüestions. Les àrees de recerca com l'argumentació, la negociació, la confiança i la reputació, l'elecció social computacional i l'alineació semàntica proporcionen mitjans per a fer costat als parells (humans i agents de programari) per a arribar a acords de manera col·laborativa. Sostenim que els acords han d'estar basats en valors. Per tant, la introducció de valors en les àrees de recerca de les tecnologies d'acords és de summe interès.

Aprenentatge i Raonament

Saber quan un sistema no està complint els seus objectius pot ajudar a assenyalar la necessitat d'un canvi. Aprendre quines normes s'adhereixen millor a uns certs valors o quines normes s'adapten millor a una comunitat determinada de parells pot ajudar a recolzar el procés de presa de decisions sobre com ha de canviar/evolucionar un sistema, així com també recolzar quina direcció ha de prendre aquest canvi. Visualitzem mecanismes d'aprenentatge i raonament per a donar suport al procés de decisió de les persones.

Processament del Llenguatge Natural

Que les persones acordin col·lectivament les necessitats i els valors que impulsen i governen les seves tecnologies implica: 1) que discuteixin i argumentin aquestes necessitats i valors, i 2) que el sistema participi en el procés d'acord de les persones i comprengui les decisions finals. Com no podem esperar que els humans dominin els llenguatges formals utilitzats per a especificar necessitats i valors, ni que tinguin discussions en un llenguatge formal, el processament del llenguatge natural es torna clau perquè l'humà i la màquina s'entenguin.

Normes i Sistemes Normatius

El comportament és el que garanteix que se satisfacin les necessitats i es respectin els valors, i les normes són les que governen el comportament. Els sistemes normatius s'han utilitzat tradicionalment en sistemes multiagent per a mediar en el comportament. Seguim aquests passos i proposem emprar els sistemes normatius com a mitjans per a mediar el comportament. Estem especialment interessats en la relació entre valors i normes i a assegurar (a vegades verificar) que un sistema normatiu s'adhereixi a uns valors predefinits.

Ètica

Definir valors formalment és un desafiament en si mateix. Incorporar valors en els sistemes de IA i verificar l'adherència d'un sistema a un conjunt de valors és un desafiament encara major. Tot això requereix una acurada i estreta col·laboració amb el camp de l'ètica. A més, si bé s'ha argumentat que la necessitat del control humà és un dels principis de la IA ètica, no podem ignorar el fet que els humans poden arribar a "acords injustos", és a dir, acords no ètics o il·legals. Per tant, es requereix una anàlisi acurada per a abordar qüestions com els "acords il·lícits". Comprendre la dinàmica entre el que requereixen els humans, la qual cosa es considera ètic i el que és legal pot ser clau per al desenvolupament de sistemes de IA "ètics".

Estudis Jurídics

Les normes legals s'utilitzen en la IA i en el dret per a recolzar el raonament sobre declaracions legals, i els sistemes legals es poden implementar com a sistemes normatius. Per això, la col·laboració amb el camp dels estudis jurídics resulta imprescindible. A més, avaluar les conseqüències i implicacions d'atorgar poders executius i judicials a la màquina (especialment quan el sistema s'adapta i evoluciona automàticament) requereix una col·laboració estreta i acurada amb el camp dels estudis jurídics. I igual que amb el camp de l'ètica, també és necessària la perspectiva legal per a tractar els "acords il·lícits". Comprendre la dinàmica entre el que requereixen els humans, la qual cosa es considera ètic i el que és legal pot ser clau per al desenvolupament de sistemes de IA "ètics".

Pilar Dellunde
Adjunct Scientist

Ramon Lopez de Mantaras
Adjunct Professor Ad Honorem
Phone Ext. 431828

Maite López-Sánchez
Tenured University Lecturer
Phone Ext. 431821

Pablo Noriega
Científico Ad Honorem
Phone Ext. 431829

Nardine Osman
Tenured Scientist
Phone Ext. 431826

Juan A. Rodríguez-Aguilar
Research Professor
Phone Ext. 431861

Marco Schorlemmer
Tenured Scientist
Phone Ext. 431858

Carles Sierra
Research Professor
Phone Ext. 431801

2024
Thiago Nardine Osman,  & Marco Schorlemmer (2024). Is This a Violation? Learning and Understanding Norm Violations in Online Communities. Artificial Intelligence, 327. https://doi.org/10.1016/j.artint.2023.104058. [BibTeX]
2023
Marc Serramia,  Manel Rodriguez-Soto,  Maite Lopez-Sanchez,  Juan A. Rodríguez-Aguilar,  Filippo Bistaffa,  Paula Boddington,  Michael Wooldridge,  & Carlos Ansotegui (2023). Encoding Ethics to Compute Value-Aligned Norms. Minds and Machines, 1--30. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2023). Multi-objective reinforcement learning for designing ethical multi-agent environments. Neural Computing and Applications. https://doi.org/10.1007/s00521-023-08898-y. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Roxana Radulescu,  Juan A. Rodríguez-Aguilar,  Maite López-Sánchez,  & Ann Nowé (2023). Multi-objective reinforcement learning for guaranteeing alignment with multiple values. Adaptive and Learning Agents Workshop (AAMAS 2023) . [BibTeX]  [PDF]
Pablo Noriega,  & Enric Plaza (2023). The Use of Agent-based Simulation of Public Policy Design to Study the Value Alignment Problem. Proc. AIGEL 2022 Artificial Intelligence Governance Ethics and Law Workshop 2022 . CEUR-WS. https://doi.org/https://ceur-ws.org/Vol-3531/SPaper_10.pdf. [BibTeX]  [PDF]
2022
Pol Alexandra Popartan,  Toni Perello-Moragues,  Pablo Noriega,  David Sauri,  Manel Poch,  & Maria Molinos-Senante (2022). Agent-based modelling to simulate the socio-economic effects of implementing time-of-use tariffs for domestic water. Sustainable Cities and Society, 86, 104118. https://doi.org/10.1016/j.scs.2022.104118. [BibTeX]  [PDF]
Eric Roselló-Marín,  Maite López-Sánchez,  Inmaculada Rodríguez Santiago,  Manel Rodríguez Soto,  & Juan A. Rodríguez-Aguilar (2022). An Ethical Conversational Agent to Respectfully Conduct In-Game Surveys. Artificial Intelligence Research and Development (pp 335--344). IOS Press. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Juan A. Rodríguez-Aguilar,  & Maite López-Sánchez (2022). Building Multi-Agent Environments with Theoretical Guarantees on the Learning of Ethical Policies. . Adaptive and Learning Agents Workshop at AAMAS 2022 (ALA 2022). [BibTeX]  [PDF]
Pablo Noriega,  Harko Verhagen,  Julian Padget,  & Mark d'Inverno (2022). Design Heuristics for Ethical Online Institutions. Nirav Ajmeri, Andreasa Morris Martin, & Bastin Tony Roy Savarimuthu (Eds.), Coordination, Organizations, Institutions, Norms, and Ethics for Governance of Multi-Agent Systems XV (pp. 213--230). Springer International Publishing. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Marc Serramia,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2022). Instilling moral value alignment by means of multi-objective reinforcement learning. Ethics and Information Technology, 24. https://doi.org/10.1007/s10676-022-09635-0. [BibTeX]  [PDF]
2021
Jaume Agustí-Cullell,  & Marco Schorlemmer (2021). A Humanist Perspective on Artificial Intelligence. Comprendre, 23, 99--125. [BibTeX]
Ángeles Manjarrés,  Celia Fernández-Aller,  Maite López-Sánchez,  Juan A. Rodríguez-Aguilar,  & Manuel Sierra Castañer (2021). Artificial Intelligence for a Fair, Just, and Equitable World. IEEE Technology and Society Magazine, 40, 19-24. https://doi.org/10.1109/MTS.2021.3056292. [BibTeX]  [PDF]
Pablo Noriega,  Harko Verhagen,  Julian Padget,  & Mark d'Inverno (2021). Ethical Online AI Systems Through Conscientious Design. IEEE Internet Computing, 25, 58-64. https://doi.org/10.1109/MIC.2021.3098324. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2021). Guaranteeing the Learning of Ethical Behaviour through Multi-Objective Reinforcement Learning. . Adaptive and Learning Agents Workshop at AAMAS 2021 (ALA 2021). [BibTeX]  [PDF]
Thiago Freitas Dos Santos,  Nardine Osman,  & Marco Schorlemmer (2021). Learning for Detecting Norm Violation in Online Communities. International Workshop on Coordination, Organizations, Institutions, Norms and Ethics for Governance of Multi-Agent Systems (COINE), co-located with AAMAS 2021 . https://doi.org/https://arxiv.org/abs/2104.14911. [BibTeX]
Manel Rodríguez Soto,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2021). Multi-Objective Reinforcement Learning for Designing Ethical Environments. Proceedings of the 30th International Joint Conference on Artificial Intelligence, (IJCAI-21) (pp. 545-551). [BibTeX]  [PDF]
Marc Serramia,  Maite López-Sánchez,  Stefano Moretti,  & Juan A. Rodríguez-Aguilar (2021). On the dominant set selection problem and its application to value alignment. Autonomous Agents and Multi-agent Systems, 35. [BibTeX]  [PDF]
  • Informe del Consell de la Unió Europea: Conclusions de la Presidència sobre la carta dels drets fonamentals en el context de la intel·ligència artificial i el canvi digital  (Informe)
  • Taller de l'IIIA sobre "Normas adaptativas impulsadas por el valor", presentado en la Future Tech Week 2019, el 26 de setembre de 2019.(YouTube Slides )
  • Declaració de Barcelona para el bon desenvolupament i ús de la intel·ligència artificial en Europa (Declaración, Videos)