Intelligence artificielle frugale

L'intelligence artificielle frugale est un concept émergent du domaine de l'intelligence artificielle qui vise à développer des modèles d'intelligence artificielle capables de « faire plus avec moins », plus respectueux de l'environnement (à moindre empreinte écologique, moindre empreinte carbone, et donc moins consommateur d'énergie, de matière ; et moins émetteur de gaz à effet de serre).

Contrairement aux modèles d'intelligence artificielle traditionnels, souvent gourmands en données et en ressources de calcul et donc en électricité, en serveurs et contribuant à réchauffer leur environnement et le climat, l'intelligence artificielle frugale privilégie des approches plus légères et plus efficaces. Pour des raisons de crédibilité, et pour mieux optimiser l'intelligence artificielle et ses usages, les stratégies d'intelligence artificielle sobre devraient toujours intégrer une politique de preuve, de recherche des coûts environnementaux cachés[1] et donc de monitoring des flux environnementaux, similaire aux métriques de performance industrielle.

Historique et contexte

L'intelligence artificielle frugale s'inscrit dans une démarche plus globale et se voulant vertueuse, et beaucoup plus respectueuse de l'environnement[2] et du social[3], visant à rendre les innovations plus frugales[4],[5], et en particulier à relever le défi[6] d'une intelligence artificielle (et de l'Internet des objets)[7] plus soutenables[8] et donc plus sobre, plus responsable et plus explicable[9].

Dans les années 2020, le numérique a déjà une empreinte écologique importante et qui se développe de plus en plus exponentiellement, alors que les émissions de gaz à effet de serre continuent à augmenter, en dépit de l'accord de Paris sur le climat et des engagements des États, collectivités et certaines entreprises. Les grands modèles de langage et l'intelligence artificielle générative doivent être entraînés sur des centaines, voire des milliers de processeurs graphiques. Ces derniers permettent de réaliser des calculs matriciels rapides, mais avec une consommation d'énergie et une production de dioxyde de carbone proportionnellement élevée.
À titre d'exemple, l'entraînement de GPT-3 sur des processeurs graphiques a nécessité environ 190 000 kWh, soit 85 000 kg d'équivalent CO2, ce qui équivaut à parcourir environ 700 000 kilomètres en voiture, ou encore un aller-retour Terre-Lune. Un rapport publié dans la MIT Technology Review, estime que l'empreinte carbone du cloud dépasse déjà celle de la totalité du trafic aérien ; et former un seul modèle d'intelligence artificielle peut émettre plus de 626 000 livres d'équivalent CO2 (près de cinq fois ce qu'émet une voiture américaine moyenne durant sa vie. Ces problèmes questionnent la soutenabilité de l'intelligence artificielle[10].

Le concept d'intelligence artificielle frugale a émergé dans un contexte de crise climatique, environnementale ou pandémique et de prise de conscience croissante des enjeux environnementaux liés au développement de l'intelligence artificielle (qui a un potentiel de contribution à l'amélioration de la soutenabilité du développement de l'humanité, mais qui trop, ou mal utilisée, en consommant trop de ressources pas, peu, difficilement ou coûteusement renouvelables, peut aussi amplifier le mal-développement et les crises climatiques et socio-écologiques.

L'intelligence artificielle a été identifiée comme susceptible de contribuer à l'innovation frugale (forme d'innovation pouvant « maximiser l'efficacité avec moins de ressources »[11]). Selon Kannan Govindan (2022), vu sous diverses perspectives théoriques (triple résultat net, diffusion de l'innovation et théories des facteurs critiques de succès), l'intelligence artificielle, combinée avec l'innovation frugale durable comme force motrice de sa mise en œuvre peut offrir de nouveaux atouts pour la soutenabilité du développement, à condition de correctement identifier, et respecter, les facteurs critiques de succès d'une intelligence artificielle frugale et soutenable[11]. Selon lui, il y aurait 24 facteurs critiques de succès communs, parmi lesquels « "comprendre le concept d'IA" et "le niveau d'investissement en IA" dans l'innovation frugale soutenable sont identifiés comme les facteurs de succès les plus influents »[11]… étant entendu, que la frugalité de l'intelligence artificielle ne doit pas non plus diminuer sa sécurité (cybersécurité), qui est l'une des conditions de sa soutenabilité[12],[13].

Les centres de données utilisés pour entraîner les grands modèles de langage (LLM) consomment d'énormes quantités de données et d'énergie et produisent des calories et/ou des émissions de gaz à effet de serre importantes.

Définitions

L'intelligence artificielle frugale peut être définie comme une approche de l'intelligence artificielle qui cherche à minimiser l'empreinte environnementale des modèles d'intelligence artificielle tout en maintenant des performances élevées[14]. Ceci passe par une réduction de la consommation énergétique de l'intelligence artificielle, par l'optimisation de l'utilisation des ressources naturelles et la limitation des émissions de gaz à effet de serre liées à la conception, la production, l'entraînement et le déploiement des modèles.

Un service d’intelligence artificielle sera dit « frugal » s'il a réussi à fortement réduire ses besoins en ressources matérielles et énergétiques, et ses impacts environnementaux. Pour cela il a redéfini ses modalités de conception de fonctionnement et d'usages ainsi que son performanciel (exigences de performance) et fait preuve de mise en œuvre des bonnes pratiques par les producteurs, fournisseurs et clients de l'intelligence artificielle. Ce service doit démontrer que l'intelligence artificielle est nécessaire (par rapport à des solutions moins consommatrices de ressources et moins émettrices de gaz à effet de serre. Il doit aussi respecter le principe européen du DNSH (Do No Significant Harm) ou « Ne pas causer de préjudice important », c'est-à-dire pour l'Union européenne, ne pas affecter négativement substantiellement tout ou partie des six objectifs environnementaux reconnus par la taxonomie verte : 1) l'atténuation du changement climatique, 2) l'adaptation au changement climatique, 3) l'utilisation durable et la protection des ressources aquatiques et marines, 4) la transition vers une économie circulaire, 5) la prévention et le contrôle de la Pollution, et 6) la protection et la restauration de la biodiversité et des écosystèmes. En outre, concernant les impacts inévitables de son service d'intelligence artificielle. Le fournisseur de ce service doit mettre en œuvre la démarche « éviter, réduire, compenser ». Il doit aussi anticiper les usages imprévus de l'intelligence artificielle qui pourraient éventuellement affecter la frugalité de ce service.

L'intelligence artificielle frugale s'inscrit plus largement dans une démarche de soutenabilité du développement de l'intelligence artificielle et de ses usages, en prenant en compte les enjeux sociaux et environnementaux liés à ces nouveaux usages. Pour cela, elle s'appuie sur plusieurs piliers clés :

  • La conception de modèles plus efficients : Cela passe par la réduction de la complexité des modèles, l'utilisation d'algorithmes plus légers et l'optimisation des processus d'entraînement.
  • L'utilisation de données de qualité et en quantité adaptée : Il est essentiel de sélectionner les données pertinentes pour l'entraînement des modèles et d'éviter la sur-utilisation de données inutiles.
  • Le déploiement de modèles sur des infrastructures efficaces : Cela implique de choisir des infrastructures de calcul adaptées aux besoins des modèles, d'optimiser leur utilisation et de privilégier les énergies renouvelables.
  • L'évaluation de l'impact environnemental des modèles : Il est nécessaire de mettre en place des méthodologies pour mesurer l'empreinte carbone des modèles d'intelligence artificielle tout au long de leur cycle de vie.

La frugalité de l'intelligence artificielle peut être approchée par l'utilisation de :

  • Moins de données : Les modèles d'intelligence artificielle frugaux sont entraînés sur des ensembles de données plus petits et plus ciblés.
  • Moins de calculs : Ils nécessitent moins de puissance de calcul pour fonctionner.
  • Des algorithmes plus efficaces : Des algorithmes optimisés permettent de réduire la complexité des modèles.

Techniques

Les recherches sur l'intelligence artificielle frugale sont relativement récentes. Elles se concentrent sur plusieurs axes :

  • Sparsification des modèles : La sparsification consiste à rendre la majorité des connexions entre les neurones nulles d'une couche à la suivante (ou à la même dans le cas des récurrents), dont les produit matriciels ne sont pas calculés. Ils s'opposent aux réseaux denses actuellement couramment utilisés et sont similaires en cet aspect aux réseaux de neurones biologiques.
  • Réduction de la taille des modèles, via des techniques de compression de modèles, et de quantification visant à réduire la taille des réseaux de neurones.
    • Compression : Il est possible de diminuer le nombre de paramètres d'un modèle tout en préservant ses performances, ce qui permet de réduire les coûts de calcul, de stockage et d'entraînement du modèle.
    • Quantification : Cette technique consiste à réduire la précision numérique des poids d'un réseau de neurones, par exemple en passant d'une représentation en 32 bits à une représentation en 8 bits, voire 1.58 bits (ternaires). On peut ainsi beaucoup réduire la taille du modèle d'intelligence artificielle, sans perte significative de performance.
    • Pruning (ou élagage) : il s'agit ici de supprimer les connexions les moins importantes dans le réseau de neurones (des connexions ayant peu d'impact sur les performances du modèle, mais contribuent à sa complexité et à sa consommation d'énergie).
    • Knowledge distillation : technique de transfert des connaissances d'un grand modèle (enseignant) vers un modèle plus petit (étudiant). Le modèle étudiant apprend à imiter les prédictions du modèle enseignant, tout en étant architecturalement plus simple.
  • Optimisation des algorithmes d'apprentissage, par exemple en réduisant le nombre d'itérations nécessaires à la convergence, pour réduire le temps de calcul et la consommation de ressources en mémoire.
    • Alternatives à la rétropopagation : algorithmes locaux (apprentissage hebbien), neuromodulation, Forward-Forward…
    • Optimiseurs : ces algorithmes spéciaux mettent à jour les poids d'un réseau de neurones lors de l'entraînement. Des optimiseurs plus efficaces, comme Adam ou AdaGrad, peuvent accélérer la convergence et réduire le nombre d'itérations nécessaires.
    • Apprentissage par transfert : il réutilise un modèle pré-entraîné sur une tâche similaire ou proche, pour une nouvelle tâche. Ceci permet de réduire le temps d'entraînement, car le modèle a déjà acquis des connaissances générales. L'apprentissage par transfert est particulièrement utile dans les domaines où les données d'entraînement sont limitées. Par exemple, un modèle pré-entraîné sur un grand ensemble d'images peut être utilisé comme point de départ pour la classification d'images médicales, en ajustant uniquement les dernières couches du réseau pour la tâche spécifique.
    • Quantification des activations : Comme pour les poids, les activations peuvent être quantifiées pour réduire la taille des représentations intermédiaires et la consommation de mémoire.
    • Apprentissage fédéré : il permet d'entraîner des modèles d'intelligence artificielle sur des données distribuées sans les centraliser, et ainsi de protéger la vie privée.
  • Utilisation de puces spécialement optimisées pour l'intelligence artificielle, capables d'accélérer les calculs tout en consommant moins d'énergie.

Utilisation de ressources publiques et open source[15]

  • L'exploitation de bases de données open-source permet de limiter la duplication de données similaires et permet de se baser sur des données existantes, évitant une nouvelle collecte.

Générer des données synthétiques pour enrichir ses données[15]

  • Une autre solution face à la disponibilité limitée de données est de générer des données synthétiques. Celles-ci sont produites par des algorithmes, en s’appuyant sur des données existantes et contextuelles, comblant ainsi les lacunes laissées par les données réelles. L'utilisation de données synthétiques peut s'inscrire dans une démarche frugale en évitant la collecte énergivore de données réelles, et en réduisant le besoin de stockage massif. Elle ne produit que les informations strictement nécessaires, ce qui contribue à minimiser le gaspillage de données inutilisables. En parallèle, cette approche peut aussi améliorer l'éthique des processus d'annotation, en automatisant cette tâche et en limitant le recours à une main-d'œuvre sous-encadrée, souvent soumise à des conditions difficiles et à un fort impact psychologique.

Initiatives à l'international et en France

Face à la consommation croissante d'énergies et de ressources par l'informatique, et par l'IA en particulier. L'Union européenne souhaitent l'émergence d'une IA frugale.

Réglementation et incitations : L’UE travaille sur des réglementations encourageant l’IA frugale. Par exemple, des référentiels ont été publiés pour aider les entreprises à évaluer et réduire l’impact environnemental de leurs systèmes d’IA1.

Recherche et innovation : L’UE finance des projets rendant l’IA plus économes en énergie et en ressource tout en conservant des performances élevées.

Sensibilisation et formation : Des initiatives visent à sensibiliser les entreprises et les développeurs aux avantages et enjeux de l’IA frugale. Cela inclut des formations et des ressources pour adopter des pratiques plus durables 2

Collaboration internationale : L’UE collabore avec d’autres régions et organisations internationales pour partager des bonnes pratiques et harmoniser les efforts en matière de durabilité de l’IA 3.

France : un Référentiel Général sur l'IA frugale

Face aux préoccupations grandissantes concernant l'empreinte carbone et l'empreinte énergétique des systèmes d'IA, de plus en plus gourmands en énergie et en ressources, un nouveau référentiel AFNOR Spec 2314 a été publié le 28 juin 2024 en France, en tant que norme AFNOR SPEC, pour doter les entreprises qui le souhaitent d'un outil concret de mesure de l'empreinte carbone de leurs modèles d'IA tout au long de leur cycle de vie[16],[17].

Initié par Ecolab, il a été rédigé avec la contribution de plus d'une centaine d'experts issus du monde de la recherche, des entreprises, des associations et des administrations, réunis en janvier 2024 dans un groupe de travail. S'appuyant sur une approche de cycle de vie pour évaluer les impacts environnementaux des systèmes d'intelligence artificielle, il prend en compte différents facteurs, tels que l'équipement utilisé, l'énergie consommée, les émissions de gaz à effet de serre et les impacts liés à la fabrication et au recyclage des composants. Il fournit des recommandations détaillées, des bonnes pratiques et une boîte à outils pour aider les acteurs du secteur à adopter une approche plus responsable[17].

Contenant une définition précise de l'IA frugale, il est proposé comme cadre commun de référence, et pour la définition et la promotion d'une intelligence artificielle frugale, basée sur des algorithmes et modèles d'IA moins gourmands en ressources (plus respectueuse de l'environnement et des limites planétaires). Il rappelle que les centres de données doivent être optimisés, mais que l'utilisation des données doit l'être aussi[17].

Il se veut être un outil permettant aux acteurs du domaine de l'IA d'orienter leurs choix technologiques tout en contribuant à la transition écologique.

Initiatives des grandes entreprises technologiques pour compenser leur empreinte carbone

Certaines grandes entreprises du secteur technologique ont déjà mis en place des stratégies visant à compenser, au moins en partie, leurs émissions de CO2[18]. Par exemple, Google depuis 2017 et Meta depuis 2020, investissent chaque année dans l'achat d'une quantité d'énergie renouvelable, principalement par le biais de crédits d'énergie renouvelable (CER), équivalente à leur consommation énergétique totale.

En ce qui concerne la réduction de l'impact environnemental des modèles d'intelligence artificielle, Google a développé une approche nommée les "4M" (Model, Machine, Mechanization, Map optimization). Cette stratégie inclut l'utilisation de modèles plus efficaces et moins gourmands en ressources, le recours à des processeurs modernes et optimisés, la mutualisation des ressources à travers des clouds partagés, ainsi que la sélection de sites où l'énergie utilisée est majoritairement propre. Ces actions permettraient de réduire jusqu'à 100 fois la consommation énergétique requise pour l'entraînement des modèles d'IA, et jusqu'à 1 000 fois les émissions de CO2 liées à l'utilisation de Google Cloud. Depuis 2019, grâce à ces mesures, Google a réussi à maintenir la proportion d'énergie utilisée pour les opérations d'apprentissage automatique en dessous de 15 % de sa consommation totale.

Limites et critiques du concept

Selon une étude, l'efficience énergétique ne suffit pas à elle seule à rendre un système d'IA soutenable[19].

L'IA, générative notamment, peut elle véritablement être ou devenir « frugale » ? s'interrogent en 2024 le philosophe Thierry Ménissier et l'informaticien Denis Trystram (dans The Conversation[20]). L'IA a un fort potentiel d'aide à l'amélioration de l'écoconception, de l'efficience énergétique, de l'économie circulaire, elle peut potentiellement aider à résoudre les crises environnementales, ainsi que l'innovation frugale et soutenable (qui vise particulièrement à maximiser l'efficacité avec moins de ressources)[21]. Cependant, à cause des cascades d'effets indirects, et à cause des effets rebonds déjà observés, cette possibilité est questionnée, paraissant plus ou moins atteignable selon qu'on se limite à une définition minimale de la frugalité ou que l'on intègre plus largement les enjeux éthiques environnementaux de la question.

Références

  1. ↑ (en) Anne-Laure Ligozat, Julien Lefevre, Aurélie Bugeau et Jacques Combaz, « Unraveling the Hidden Environmental Impacts of AI Solutions for Environment Life Cycle Assessment of AI Solutions », Sustainability, vol. 14, no 9,‎ , p. 5172 (ISSN 2071-1050, DOI 10.3390/su14095172, lire en ligne, consulté le ).
  2. ↑ (en) Christian Le Bas, « Frugal innovation as environmental innovation », International Journal of Technology Management, vol. 83, nos 1/2/3,‎ , p. 78 (ISSN 0267-5730 et 1741-5276, DOI 10.1504/ijtm.2020.10031386, lire en ligne, consulté le ).
  3. ↑ (en) Marija Cubric, « Drivers, barriers and social considerations for AI adoption in business and management: A tertiary study », Technology in Society, vol. 62,‎ , p. 101257 (ISSN 0160-791X, DOI 10.1016/j.techsoc.2020.101257, lire en ligne, consulté le ).
  4. ↑ (en) Martin Albert, « Sustainable frugal innovation - The connection between frugal innovation and sustainability », Journal of Cleaner Production, vol. 237,‎ , p. 117747 (ISSN 0959-6526, DOI 10.1016/j.jclepro.2019.117747, lire en ligne, consulté le ).
  5. ↑ (en) Júlia Quintino Sant’Ana, Linda Jessica De Montreuil Carmona et Giancarlo Gomes, « Mapping the future of frugal innovation research through CAQDAS technique », International Journal of Innovation Science,‎ (ISSN 1757-2223 et 1757-2223, DOI 10.1108/ijis-11-2022-0224, lire en ligne, consulté le ).
  6. ↑ (en) Yannick Meneceur, « Les trois grands défis posés par la gouvernance de l'intelligence artificielle et de la transformation numérique », Éthique publique, no vol. 23, n° 2,‎ (ISSN 1488-0946 et 1929-7017, DOI 10.4000/ethiquepublique.6323, lire en ligne, consulté le ).
  7. ↑ (en) Weiwei Qin, « How to unleash frugal innovation through internet of things and artificial intelligence: Moderating role of entrepreneurial knowledge and future challenges », Technological Forecasting and Social Change, vol. 202,‎ , p. 123286 (ISSN 0040-1625, DOI 10.1016/j.techfore.2024.123286, lire en ligne, consulté le ).
  8. ↑ (en) Martin Albert, « Sustainable frugal innovation - The connection between frugal innovation and sustainability », Journal of Cleaner Production, vol. 237,‎ , p. 117747 (ISSN 0959-6526, DOI 10.1016/j.jclepro.2019.117747, lire en ligne, consulté le ).
  9. ↑ (en) Dipti Chauhan, Pritika Bahad et Jay Kumar Jain, Sustainable AI, Chapman and Hall/CRC, , 1–15 p. (ISBN 978-1-003-45717-6, lire en ligne).
  10. ↑ (en) Margaret A. Goralski et Tay Keong Tan, Artificial intelligence and sustainable development, vol. 18, , 100330 p. (ISSN 1472-8117, DOI 10.1016/j.ijme.2019.100330, lire en ligne).
  11. (en) Kannan Govindan, « How Artificial Intelligence Drives Sustainable Frugal Innovation : A Multitheoretical Perspective », IEEE Transactions on Engineering Management, vol. 71,‎ , p. 638–655 (ISSN 0018-9391 et 1558-0040, DOI 10.1109/TEM.2021.3116187, lire en ligne, consulté le ).
  12. ↑ (en) Jozef Andraško, Matúš Mesarčík et Ondrej Hamuľák, « The regulatory intersections between artificial intelligence, data protection and cyber security: challenges and opportunities for the EU legal framework », AI & SOCIETY,‎ (ISSN 0951-5666 et 1435-5655, DOI 10.1007/s00146-020-01125-5, lire en ligne, consulté le ).
  13. ↑ (en) Marlen Gabriele Arnold, « Sustainability value creation in frugal contexts to foster Sustainable Development Goals », Business Strategy & Development, vol. 1, no 4,‎ , p. 265–275 (ISSN 2572-3170 et 2572-3170, DOI 10.1002/bsd2.36, lire en ligne, consulté le ).
  14. ↑ Ndeye-Emilie Mbengue, « Une mesure de l’empreinte environnementale des modèles d’IA pour une utilisation plus frugale », Management & Data Science, vol. 8, no 2 « Exploiter l’Intelligence artificielle »,‎ (ISSN 2555-7017 et 2555-7033, lire en ligne).
  15. « L’IA Frugale bouleverse les codes technologiques : décryptage des solutions techniques innovantes depuis la Silicon Valley - France-Science », (consulté le ).
  16. ↑ AFNOR (2024), Référentiel général pour l'IA frugale - Mesurer et réduire l'impact environnemental de l'IA url = https://www.boutique.afnor.org/fr-fr/norme/afnor-spec-2314/referentiel-general-pour-lia-frugale-mesurer-et-reduire-limpact-environneme/fa208976/421140.
  17. « Vers une IA éco-responsable : publication de l’AFNOR Spec 2314 pour une IA frugale », sur ActuIA (consulté le ).
  18. ↑ « Adopter l’IA frugale : concepts, leviers et initiatives - France-Science », (consulté le ).
  19. ↑ Wright, D., Igel, C., Samuel, G., & Selvan, R. (2023). Efficiency is not enough: A critical perspective of environmentally sustainable AI. ArXiv preprint "arXiv:2309.02065", url="https://arxiv.org/abs/2309.02065".
  20. ↑ Denis Trystram et Thierry Ménissier, « L’IA peut-elle vraiment être frugale ? », The Conversation,‎ (lire en ligne, consulté le ).
  21. ↑ Kannan Govindan, « How Artificial Intelligence Drives Sustainable Frugal Innovation: A Multitheoretical Perspective », IEEE Transactions on Engineering Management, vol. 71,‎ , p. 638–655 (ISSN 0018-9391 et 1558-0040, DOI 10.1109/TEM.2021.3116187, lire en ligne, consulté le ).

Voir aussi

Bibliographie

  • (en) Gerrit Anton de Waal, John Thangarajah et Adela J. McMurray, « Artificial intelligence and frugal innovation: A formidable alliance in future education », dans Agata Stachowicz-Stanusch et Wolfgang Aman, Management and business education in the time of artificial intelligence: the need to rethink, retrain, and redesign, Charlotte (Caroline du Nord), Information Age Publishing, (ISBN 978-1-64113-809-3, 978-1-64113-810-9 et 978-1-64113-811-6), p. 55-76.
  • (en) Mohammed Majeed, « Artificial Intelligence and Innovation in Organizations », dans Artificial Intelligence in Business Management, Bentham Science publishers, (ISBN 978-981-5238-21-1, DOI 10.2174/9789815238211124010009), p. 113-132.
  • Arnault Pachot et Céline Patissier, Intelligence artificielle et environnement : alliance ou nuisance ? : l'IA face aux défis écologiques d'aujourd'hui et de demain, Paris, Dunod, , 188 p. (ISBN 978-2-10-083568-3, BNF 47073310, DOI 10.3917/dunod.pacho.2022.01.0183), p. 183-185.

Articles connexes

  • Portail de l’intelligence artificielle
  • Portail de l’informatique
Cet article est issu de Wikipédia. Sauf mention contraire, le texte est disponible sous licence Creative Commons Attribution-Share Alike 4.0. Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.