L'utilisation d'applications basées sur des systèmes algorithmiques ou sur l'intelligence artificielle (IA) est déjà largement répandue dans les écoles. Le graphique ci-dessous le montre clairement: plus de 80% des élèves dès le degré secondaire I utilisent déjà des programmes de traduction basés sur l'IA. Les générateurs de texte sont également très utilisés dans les gymnases et dans la formation professionnelle. Ce qui est moins clair, c'est la fréquence d'utilisation des systèmes algorithmiques et de l'IA dans l'administration de l'éducation et l'organisation scolaire. On ne dispose pas de chiffres fiables à ce sujet. Néanmoins, il existe également un potentiel pour l'utilisation de tels systèmes dans ces domaines d'application.

KI in der Bildung
L'utilisation de l'IA est entrée dans les écoles
Remarque: au total, quelque 5300 élèves âgés de 8 à 18 ans ont été interrogés en 2024 sur l'utilisation de l'IA à l'école. Lors de l'enquête, une distinction a été faite entre les applications d'IA suivantes: générateurs de texte, programmes de traduction et générateurs d'images. Les résultats sont présentés par niveau scolaire. Source: CSRE (2024).

Défis des systèmes algorithmiques

Toute utilisation de systèmes algorithmiques entraîne également des défis qui doivent être relevés par le système éducatif. Ainsi, le traitement des données par des systèmes algorithmiques entraîne des incertitudes quant aux questions juridiques. Comme le montre une étude juridique commandée par nous, le cadre juridique actuel de la protection des données n'empêche pas en soi l'utilisation de systèmes algorithmiques dans la formation.

Il reste plutôt à clarifier la question de principe suivante: les lois sur l'éducation, qui définissent les traitements de données autorisés pour l'accomplissement du mandat de formation, autorisent-elles également les traitements de données par des systèmes d'IA? Ces derniers se trouvent en effet en tension notamment avec le principe de proportionnalité (minimisation des données): les systèmes d'IA fonctionnent mieux lorsque davantage de données sont traitées.

En outre, les systèmes algorithmiques dans la formation posent des défis dans les domaines suivants:

  • Manipulation et transparence: les systèmes d'IA générative peuvent être utilisés à des fins de manipulation, en particulier lorsqu'il n'est pas évident qu'il s'agit de contenus générés par l'IA. Outre la reconnaissance lors de l'utilisation, il doit être possible d'expliquer comment les résultats des systèmes algorithmiques sont obtenus lors de décision individuelle automatisée. Or, en l'état actuel de la recherche, les systèmes d'IA sont généralement considérés comme des boîtes noires, ce qui rend difficile une explication pratique de la prise de décision.
  • Discrimination: le système éducatif ne doit pas être discriminatoire. Les systèmes algorithmiques peuvent toutefois renforcer la discrimination. L'une des raisons en est que les systèmes d'IA peuvent générer des résultats discriminatoires, car ils reproduisent les distorsions existantes dans les données d'entraînement.
  • Égalité des chances: l'accès à la formation doit être possible pour toutes et tous de manière égale. La forte utilisation de l'IA à l'école (voir illustration) peut avoir une influence négative sur l'égalité des chances, par exemple lorsqu'il s'agit de services pour lesquels les versions payantes donnent de meilleurs résultats.

Pour relever ces défis, il convient de prendre une série de mesures juridiques et organisationnelles et de se concentrer davantage sur les données utilisées dans les systèmes algorithmiques.

Clarification de questions juridiques fondamentales

La question de savoir si les lois sur l'éducation autorisent l'utilisation de systèmes algorithmiques pour le traitement des données doit être clarifiée au moyen d'avis de droit cantonaux. Il s'agit d'examiner la manière dont les systèmes algorithmiques traitent les données quant à leur admissibilité dans le cadre du mandat de formation. En effet, si la manière dont les données personnelles sont traitées présente un risque particulier pour les droits fondamentaux des personnes concernées (par ex. par le biais d'un profilage), elle doit être consignée dans une loi au sens formel.

Si le traitement de données personnelles par des systèmes algorithmiques dépasse, par sa nature et son contenu, le mandat de formation, une pesée minutieuse des intérêts doit être effectuée au niveau du canton – ou, mieux encore, de manière coordonnée au niveau intercantonal (cf. encadré d'information). Dans le cas où des systèmes algorithmiques doivent être utilisés, une nouvelle base légale dans le droit de l'éducation peut légitimer leur utilisation. Si la pesée des intérêts montre que les risques dépassent les avantages, il convient de renoncer à l'utilisation de systèmes algorithmiques. Lors de cette pesée des intérêts, les «sandboxes» ou les projets pilotes peuvent offrir un soutien important.

Projets de réglementation de l'IA au niveau fédéral

Les discussions sur les réglementations relatives à l'IA se poursuivront également au niveau fédéral avec l'élaboration d'une consultation sur la mise en œuvre de la Convention IA du Conseil de l'Europe. Le système éducatif doit à cet égard déterminer ses propres besoins, les regrouper et, si nécessaire, exercer une influence coordonnée sur le processus politique.

Renforcer la transparence et la protection contre les manipulations

Afin d'améliorer la transparence et de prévenir les manipulations, l'utilisation de systèmes algorithmiques dans la formation doit être rendue publique. La tenue d'un registre public des systèmes algorithmiques est une bonne solution pour la publication. La création de ce registre permet à l'administration de l'éducation elle-même d'avoir une vue d'ensemble de l'utilisation des systèmes algorithmiques. La mise à disposition publique du registre peut en outre instaurer la confiance vis-à-vis de l'utilisation de systèmes algorithmiques et créer plus de transparence à ce sujet.

De plus, les interactions avec les systèmes algorithmiques et les contenus issus de ces systèmes, qui ont lieu ou sont utilisés explicitement dans le contexte de la formation, doivent être reconnaissables et donc transparents pour toutes les participantes et tous les participants. Pour ce faire, les écoles et les administrations de l'éducation doivent être soumises à une obligation d'information aussi simple que possible pour les interactions entre les personnes et les systèmes algorithmiques (par ex. avec un chatbot) ou pour les contenus générés par l'IA (par ex. dans une application d'apprentissage).

Enfin, les systèmes algorithmiques seront probablement plus souvent utilisés à l'avenir pour la prise de décision – ce qui peut tout à fait optimiser les décisions dans certaines situations. Afin de rendre cette collaboration entre les systèmes décisionnels algorithmiques et les personnes aussi transparente que possible, l'obligation d'information existante pour une «décision individuelle automatisée» (art. 21 LPD) devrait être étendue à une «décision individuelle largement automatisée». L'obligation d'information pourrait alors suivre une approche basée sur les risques: pour une décision basée sur des systèmes algorithmiques et ayant une influence considérable sur le corps enseignant, les élèves et leurs responsables légaux, le devoir d'information doit être conçu de manière stricte (par ex. pour une décision de promotion). Inversement, l'obligation d'information doit être assouplie lorsqu’une décision n’a pas de répercussions importantes.

Garantie des normes de qualité et de l'égalité des chances

Afin de minimiser le risque de discrimination lié à l'utilisation de systèmes d'IA dans le système éducatif, il convient d'accorder une attention particulière à l'exactitude et à la qualité des données. Dans la mesure du possible, les données d'entrée et de sortie des systèmes d'IA doivent donc faire l'objet de contrôles de qualité réguliers. Dans l'idéal, les normes de qualité correspondantes doivent être définies à un niveau d'action supérieur. Les projets de réglementation internationaux, les programmes de recherche (par ex. KITQAR) ou les réflexions des pouvoirs publics sur la gouvernance des données fournissent des points de repère pour le contenu de ces normes de qualité.

Le système éducatif est également mis à contribution dans l'optique de l'égalité des chances. Dès le degré secondaire I, tous les élèves devraient avoir accès à des variantes de base des systèmes d'IA. Une telle offre ne garantirait pas l'égalité des chances. Cependant, une «offre de base» de systèmes d'IA génératifs permettrait au moins à tous les élèves d'acquérir de l'expérience dans l'utilisation de tels systèmes. Dans la mesure du possible, il convient de privilégier les solutions «open source» afin de garantir la souveraineté numérique des écoles et des administrations de l'éducation.

Suivre le rythme de l'utilisation

L'illustration ci-dessus le montre clairement: les systèmes algorithmiques et surtout l'IA sont entrés dans le quotidien des écoles. Le système éducatif a parfois du mal à suivre cette diffusion rapide lors de l'utilisation. Pour que les systèmes algorithmiques ne conduisent pas à la manipulation, à la discrimination et à l'inégalité des chances, le système éducatif doit prendre rapidement des mesures juridiques et organisationnelles et surveiller la qualité des données dans les systèmes algorithmiques. C'est ainsi que l'on parviendra à exploiter les nombreux potentiels des systèmes algorithmiques dans la formation.

 

Liens complémentaires