Digital systems ethics

Since it went online on 14 March 2023, 43% of French people, including 65% of under-35s and 67% of managers, have already used Chat GPT, according to an Ipsos-Sopra Steria survey published in December 2023. It is true that the progress of generative artificial intelligence systems has received considerable media coverage this year, fueled by the governance turmoil at OpenAI, one of the main players in the ecosystem and designer of the famous ChatGPT, a general-purpose conversational agent based on large language models (LLMs).

The imbroglio was caused by alleged differences of sensibility between two co-founders, Sam Altman and Ilya Sustkever, on their vision of the Open AI project and the risks induced by its flagship model: some observers even described a “schism” between techno-optimists and “doomers” (people worried about the collapse of civilization). While the latter had succeeded in convincing the board of directors to dismiss the former – accusing him of betraying OpenAi’s initial mission of “building AI that benefits humanity” – Sam Altman, backed by Microsoft, a 49% shareholder in the company, returned to head the company just five days after his ouster, thus confirming the “victory” of the techno-optimists. The decision is likely to have major repercussions on the governance of the organisation and significantly strengthen Microsoft’s grip on the strategy on the strategy of the now not-for-profit and still loss-making organidation.

Earlier this year, in April 2023, the Future of Life Institute published a petition calling for a moratorium on developments in artificial intelligence. Signed by nearly 30,000 people, including hundreds of influential figures from the world of Tech, foremost among them Elon Musk, the petition called for the creation of regulatory authorities to oversee and monitor the most advanced AI systems. Similarly, in a note published on its website in May 2023, OpenAI called for global regulation of AI.

How ironic in this context to see these same players denouncing the European Union’s regulatory ambitions! While Elon Musk is threatening to withdraw X (formerly Twitter) from European users to avoid complying with the requirements of the DSA (Digital Service Act) already in force, Sam Altman has incurred the wrath of European Commissioner Thierry Breton by doing the same about the AI Act. These reversals are not confined to American companies. As Cédric O, former French digital minister and as such an advocate of AI regulation, now declares that the AI Act “could kill” MistralAI, a company in which he is a shareholder and a European flagship in AI.

More broadly, many observers criticize Tech players for marketing stances that exaggerate the capabilities of their models by instilling fear, while aggressively lobbying to keep them from being subject to overly stringent regulations. What’s more, by exacerbating potential long-term existential risks, these rhetoric invisibilize the real and immediate risks already posed by the deployment of digital systems.

These risks are not lacking! The manufacture and use of the infrastructures required for digital systems are extremely energy-intensive and voracious in terms of both raw materials and… water!! A study published in April 2023 by researchers at the University of Carolina estimates that ChatGPT consumes the equivalent of 50cl of water, or a small bottle of water, every 10 to 50 requests! Yet the ever-growing environmental impact of the digitisation of the world remains a subject rarely discussed by the main players in the sector.

Similarly, discussions about the risks to employment, which often focus on the quantitative aspect, mostly overlook the metamorphoses in forms of work and the new forms of human exploitation induced by digital transformation: from Kenyan workers underpaid to train Chat-GPT’s learning models to all professions now subject to robotized and unmanageable cadences.

More generally, there are many negative effects and hidden costs to be considered when deploying artificial intelligence tools in the workplace: psychosocial risks, operator training, possible loss of skills, dependence on digital systems, data security, maintenance costs, etc.

Finally, the opacity of the models and their operating logic raises questions about the legitimacy of their use, especially when the purpose or effect of the system is to process personal data. Recent events provide numerous examples of this: evaluations of facial recognition algorithms used in the United States show false negative rates of up to 50%, and it is not unusual for two algorithms using the same database not to return the same answers. Despite its efforts, Meta is struggling to regulate the many discriminatory biases identified on its platform. Similarly, the algorithm used since 2010 by the French family allowance funds (CAF) significantly discriminates against the most vulnerable beneficiaries…

These use cases demonstrate, if proof were needed, that many artificial intelligence systems today remain imperfect instruments – “unfinished products” in the words of some of ChatGPT’s designers when describing the famous conversational agent – sometimes lacking any scientific basis, and with potentially serious effects on people’s daily lives, without individuals being aware of them or able to avoid them.

Against this backdrop, regulatory initiatives are taking shape. At the first AI Safety Summit on 1er and 2 November 2023, 25 countries, including the United States, China, the United Kingdom and the European Union, signed the “Bletchley Declaration“, committing themselves to establishing a common line of conduct to oversee the development of AI, based on a risk assessment process and greater transparency on the part of private players developing such systems. In addition, the UN and the International Committee of the Red Cross (ICRC) want to achieve a binding international treaty banning autonomous weapons systems by 2026.

On a regional scale, on 30 October 2023, the United States, through an executive order issued by President Joe Biden, laid the foundations for a regulatory framework. In future, this will require companies working on generative artificial intelligence models to share the results of safety tests with a new dedicated federal agency, working in conjunction with the National Institute of Standards and Technology (NIST), which is responsible for issuing safety standards to guarantee the marketing of such systems.

A few weeks later, after intense negotiations, the European Union adopted the AI Act on Friday 8 December. While the actual scope of the text still depends on the technical discussions that will take place in January 2024, the underlying logic is already known: social rating and mass surveillance tools will be banned – barring exceptions that have yet to be specified – and for the rest, a risk-based approach will determine the degree of constraints and potential sanctions depending on the type of application. More generally, transparency requirements have been strengthened, particularly for systems based on large language models (LLMs). Finally, there are penalties for non-compliance, which can amount to up to 7% of global turnover.

In addition, a provisional agreement between the European Parliament and the Council was reached on 14 December 2023 with the aim of adapting the liability regime to technological developments and subjecting designers of AI systems to the no-fault liability regime for defective products.

While some experts continue to point the finger at the supposed shortcomings of these legislative advances, we are nonetheless forced to note the emergence of a genuine “digital compliance“, already partly structured by regulations on the protection of personal data, but also by the emergence of ISO standards dedicated to the management of risks arising from the use or design of AI systems.

The scale of the task should not be underestimated, and the time seems ripe for companies to take a practical approach to the issue of technology ethics by looking at governance, appropriate procedures and, in particular, systematic impact analyses to identify the projects that should be given priority. This assessment process must be continuous over time, so that any problems can be identified and resolved quickly and appropriately, and the real impact of the digital tools deployed can be measured over time. Given the complexity of the issues at stake, this can only be achieved by bringing together a wide range of profiles and expertise.

To find out more:

  • 18 January 2023, Time, Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic
  • 21 November 2023, Le Monde, Sam Altman contre Ilya Sutskever : le schisme de l’intelligence artificielle est consommé
  • 31 October 2023, Le Monde, Joe Biden annonce un plan de mesure pour contrôler l’intelligence artificielle
  • 4 December 2023, Le Monde, Profilage et discriminations : enquête sur les dérives de l’algorithme des caisses d’allocations familiales
  • 5 December 2023, MIT Technology Review, AI’s carbon footprint is bigger than you think
  • 6 December 2023, CNBC, A ‘thirsty’ generative AI boom poses a growing problem for Big Tech

Depuis sa mise en ligne le 14 mars 2023, 43% des Français, et parmi eux, 65% des moins de 35 ans et 67% des cadres ont déjà utilisé Chat GPT selon un sondage Ipsos-Sopra Steria paru en décembre 2023. Il est vrai que les progrès des systèmes d’intelligence artificielle générative ont fait l’objet d’une médiatisation considérable cette année, alimentée notamment par les turbulences de gouvernance chez OpenAI, l’un des principaux acteurs de l’écosystème et concepteur du célèbre ChatGPT, agent conversationnel généraliste reposant sur de grands modèles de langage (large language model ou LLM en anglais).

Au cœur de cet imbroglio, des présupposées différences de sensibilité entre deux co-fondateurs, Sam Altman et Ilya Sustkever, sur leur vision du projet Open AI et les risques induits par son modèle phare : certains observateurs décrivant même un « schisme » entre techno-optimistes et « doomers » (en anglais, personne inquiète de l’effondrement de la civilisation). Alors que le second avait réussi à convaincre le conseil d’administration de démettre le premier de ses fonctions – l’accusant de trahir la mission initiale d’OpenAi qui vise à « construire une IA qui bénéficie à l’humanité » – Sam Altman, appuyé par Microsoft, actionnaire à 49% de la structure, est revenu à la tête de la société, cinq jours seulement après son éviction, consacrant ainsi la « victoire » des techno-optimistes. La décision devrait avoir des conséquences importantes sur la gouvernance de l’organisation et renforcer significativement l’emprise de Microsoft sur la stratégie de l’organisation, aujourd’hui, à but non-lucratif et toujours déficitaire.

Plus tôt dans l’année, en avril 2023, le Future of Life Institute a publié une pétition réclamant un moratoire sur les développements en matière d’intelligence artificielle. Signée par près de 30 000 personnes, dont des centaines de personnalités influentes du monde de la Tech, au premier rang desquels Elon Musk, cette dernière appelait à la création d’autorités réglementaires permettant la surveillance et le suivi des systèmes d’IA les plus performants. De la même façon, OpenAI appelait, dans une note publiée en mai 2023 sur son internet, à une régulation mondiale sur l’IA.

Quelle ironie dans ce contexte de voir ces mêmes acteurs dénoncer les ambitions réglementaires de l’Union Européenne ! Tandis qu’Elon Musk menace de retirer X (ex-Twitter) aux utilisateurs européens pour éviter de se conformer aux impératifs de la DSA (Digital Service Act) déjà en vigueur, Sam Altman s’est attiré les foudres du Commissaire Européen, Thierry Breton, en faisant de même au sujet de l’AI Act. Ces retournements ne sont toutefois pas l’apanage des sociétés américaines, puisque Cédric O, ancien ministre du numérique français et à ce titre défenseur d’une réglementation sur l’IA, déclare désormais que l’AI Act « pourrait tuer » MistralAI, société dont il est actionnaire et fleuron européen de l’IA.

Plus largement, de nombreux observateurs reprochent aux acteurs de la Tech des prises de position à visée marketing pour exagérer les capacités de leurs modèles en suscitant la peur, tout en faisant du lobbying agressif pour ne pas les voir soumis à des réglementations trop strictes. Plus encore, en exacerbant les potentiels risques existentiels de long-terme, ces discours ont pour effet d’invisibiliser les risques réels et immédiats déjà posés par le déploiement des systèmes numériques.

Ces derniers ne manquent pas : la fabrication des infrastructures nécessaires aux systèmes numériques et leur utilisation sont ainsi extrêmement énergivores et voraces en matière premières comme… en eau ! Une étude publiée en avril 2023 par des chercheurs de l’Université de Caroline estime que ChatGPT consomme l’équivalent de 50cl d’eau, soit une petite bouteille d’eau, tous les 10 à 50 requêtes ! L’impact environnemental toujours plus conséquent de la numérisation du monde reste pourtant un sujet peu discuté par les principaux acteurs du secteur.

De même, les discussions relatives aux risques sur l’emploi, souvent centrées sur l’aspect quantitatif, négligent la plupart du temps les métamorphoses des formes de travail et les nouvelles formes d’exploitation humaines déjà induites par la transformation numérique : des travailleurs kényans sous-payés pour entraîner les modèles d’apprentissage de Chat-GPT à tous les métiers désormais soumis à des cadences robotisées et non-aménageables.

Plus largement, de nombreux effets négatifs et coûts cachés sont à envisager lors du déploiement d’outils d’intelligence artificielle dans le monde professionnel : risques psychosociaux, formation des opérateurs, perte de compétences éventuelle, dépendance aux systèmes numériques, sécurité des données, coût de maintenance …

Enfin, l’opacité des modèles et de leur logique de fonctionnement interroge sur la légitimité de leur utilisation surtout lorsque le système a pour objet ou pour effet de traiter des données personnelles. L’actualité récente en donne de nombreux exemples : les évaluations des algorithmes de reconnaissance faciale utilisés aux Etats-Unis montrent des taux de faux négatifs pouvant atteindre les 50% et il n’est pas rare que deux algorithmes exploitant la même base de données ne renvoient pas les mêmes réponses. Malgré ses efforts, Meta peine à réguler les nombreux biais discriminatoires identifiés sur sa plateforme. De façon similaire, l’algorithme utilisé depuis 2010 par les Caisses d’allocation familiales (CAF) françaises discrimine significativement les bénéficiaires les plus vulnérables…

Ces cas d’usages démontrent s’il le fallait que de nombreux systèmes d’intelligence artificielle restent aujourd’hui des instruments imparfaits – des « produits non-finis » selon les mots de certains concepteurs de ChatGPT pour décrire le célèbre agent conversationnel – ne reposant parfois sur aucune base scientifique, et ayant de potentiels effets graves sur le quotidien des individus, sans que ceux-ci n’en aient conscience ou ne puissent s’y soustraire. Ces défaillances s’avèrent d’autant plus graves qu’elles peuvent rapidement devenir systémiques et automatisées durant des années avant qu’elles ne soient découvertes.

Dans ce contexte, les initiatives de régulation se précisent. 25 pays dont les Etats-Unis, la Chine, le Royaume-Uni et l’Union Européenne ont signé, à l’occasion du premier AI Safety Summit les 1er et 2 novembre 2023, la « déclaration de Bletchley » par laquelle ils s’engagent à établir une ligne de conduite commune pour superviser l’évolution de l’IA basée sur un processus d’évaluation des risques et une transparence accrue de la part des acteurs privés développant de tels systèmes. Par ailleurs, l’ONU et le Comité International de la Croix Rouge (CICR) souhaitent parvenir à un traité international contraignant visant à l’interdiction des systèmes d’armement autonomes d’ici à 2026.

A l’échelle régionale, les Etats-Unis, par la voie d’un décret du président Joe Biden, ont posé, le 30 octobre 2023, les premiers jalons d’une cadre réglementaire. Celui-ci exigera à l’avenir des entreprises travaillant sur des modèles d’intelligence artificielle générative de partager les résultats des tests de sécurité avec une nouvelle agence fédérale dédiée, travaillant de concert avec l’Institut national des normes et de la technologie (NIST) en charge, quant à lui, de l’édiction de normes de sécurité garantissant la mise sur le marché de tels systèmes.

Quelques semaines plus tard, l’Union Européenne a adopté, après d’intenses négociations, l’AI Act, le vendredi 8 décembre. Si la portée réelle du texte dépend encore des discussions techniques qui seront menées en janvier 2024, la logique sous-jacente est quant à elle déjà connue : interdiction – sauf exception qui restent à préciser – des outils de notation sociale et de surveillance de masse, et pour le reste, une approche par les risques qui détermine le degré de contraintes et de sanctions potentielles en fonction du type d’application. De manière plus large, les exigences de transparence sont renforcées, notamment pour les systèmes reposant sur de grands modèles de langage (LLM). Enfin, des sanctions en cas de non-respect de ce texte sont prévues et peuvent s’élever jusqu’à 7% du chiffre d’affaires mondial.

Par ailleurs, un accord provisoire entre le Parlement et le Conseil européens a été trouvé le 14 décembre 2023 visant à adapter le régime de responsabilité aux évolutions technologique et à soumettre les concepteurs de systèmes d’IA au régime de responsabilité sans faute pour les produits défectueux.

Si certains experts continuent de pointer du doigt les lacunes supposées de ces avancées législatives, force est néanmoins de constater l’émergence d’une véritable « conformité du numérique », déjà en partie structurée par les réglementations relatives à la protection des données personnelles mais aussi par l’émergence de normes ISO dédiées au management des risques naissants de l’utilisation pu la conception de systèmes d’IA.

L’ampleur de la tâche ne doit pas être sous-estimée et l’heure semble venue pour les entreprises d’approcher la problématique de l’éthique des technologies de façon concrète en se posant la question de la gouvernance, des procédures adéquates et notamment des analyses d’impact systématiques pour identifier les projets à considérer de façon prioritaire. Ce processus d’évaluation doit être continu dans le temps afin de déceler et de résoudre les éventuelles problématiques de façon rapide et ajustée et mesurer dans le temps les impacts réels des outils numériques déployés. Au regard de la complexité des enjeux, cela ne pourra s’effectuer sans une grande transversalité des profils et des expertises.

Crédit photo : Unsplash

Suivez-nous sur les réseaux sociaux !