À l’ère de l’intégration croissante de la technologie dans tous les aspects de la vie, les écoles se trouvent à l’avant-garde d’une tendance inquiétante : l’utilisation généralisée de logiciels basés sur l’IA pour surveiller et analyser le comportement et la santé mentale de leurs élèves. Ce qui a commencé comme un effort bien intentionné pour protéger les enfants contre l’automutilation s’est transformé en un scénario complexe et souvent troublant, où la surveillance et les algorithmes d’IA déterminent si les enfants sont suicidaires en fonction de leur activité informatique .
Le New York Times a récemment fait état de l’utilisation de logiciels comme GoGuardian Beacon , qui enregistre chaque mot tapé sur les appareils fournis par l’école afin d’identifier d’éventuelles idées suicidaires. Cependant, les résultats sont loin d’être rassurants. Le logiciel interprète souvent mal les communications des élèves, ce qui entraîne de fausses alertes et, dans certains cas, l’intervention des forces de l’ordre.
Un logiciel de surveillance IA envoie la police au domicile des étudiants
À Neosho, dans le Missouri, une jeune fille de 17 ans a été réveillée au milieu de la nuit par la police après qu’un poème qu’elle avait écrit il y a des années a été signalé par GoGuardian Beacon. L’incident a été décrit par sa mère comme l’une des expériences les plus traumatisantes de sa vie. Ce n’est qu’un des nombreux incidents documentés qui soulèvent de sérieuses questions sur l’efficacité et l’éthique de cette technologie.
Ces systèmes, qui reposent sur une collecte de données sophistiquée , constituent une atteinte importante à la vie privée des étudiants, et leur efficacité est peu prouvée. Les groupes de défense des droits civiques sont particulièrement alarmés par l’implication des forces de l’ordre dans ce qui s’avère souvent être de fausses alertes. Le manque de transparence et de responsabilité des entreprises à l’origine de ces technologies constitue une autre préoccupation majeure.
De plus, le déploiement d’outils d’IA dans les salles de classe ne se limite pas aux systèmes d’intervention d’urgence. Des plateformes comme SchoolAI prétendent aider les enseignants à répondre non seulement aux besoins académiques, mais aussi aux aspects sociaux, comportementaux et de santé mentale de leurs élèves. Cette approche holistique semble prometteuse à première vue, mais elle soulève également de sérieuses questions sur les véritables intentions derrière cette technologie.
Par exemple, certains enseignants utilisent l’outil « sonnerie » de SchoolAI pour interagir avec les élèves grâce à un chatbot qui recueille des informations sur leur humeur et leur attitude à l’égard de l’apprentissage. Le système génère ensuite une « carte thermique » permettant à l’enseignant de surveiller les émotions des élèves. Si les partisans de cette méthode affirment qu’elle aide les enseignants à identifier les élèves qui ont besoin de soutien, beaucoup y voient une autre forme de surveillance intrusive.
Les systèmes de surveillance de l’IA peuvent élargir le fossé entre les interactions humaines, perpétuant ainsi les luttes mentales
Ces systèmes d’IA constituent-ils vraiment la meilleure approche pour assurer le bien-être mental des élèves ? Cette technologie semble fournir une solution superficielle, en offrant aux enseignants un « centre de commandement et de contrôle » pour surveiller l’état émotionnel de leurs élèves . Cependant, elle soulève des inquiétudes quant à l’impact à long terme d’une telle surveillance constante sur la vie privée et l’autonomie des élèves.
De plus, l’utilisation de l’IA dans les centres de conseil scolaire pour recueillir et analyser des données sur les niveaux de santé mentale des élèves, tels que l’anxiété, la dépression et le bonheur général, semble brouiller les frontières entre thérapie et surveillance. À mesure que ces outils deviennent plus sophistiqués, ils peuvent fournir des informations en temps réel sur le comportement des élèves, mais ils risquent également de transformer les écoles en environnements où la vie privée n’est qu’une considération secondaire et où l’attention d’un conseiller ou d’un enseignant humain est réduite à une simple collecte de données, au lieu d’une véritable préoccupation humaine.
L’IA dans les écoles est souvent présentée comme un moyen d’améliorer l’efficacité et l’allocation des ressources. Les enseignants et les administrateurs n’hésitent pas à souligner les avantages potentiels, comme la réduction de la charge de travail et l’amélioration du soutien émotionnel des élèves. Cependant, les risques sont tout aussi importants : les élèves se sentent moins soutenus émotionnellement qu’avant, les administrateurs jouent sur leur humeur et s’immiscent dans leurs pensées.
Alors que nous continuons d’intégrer l’IA dans nos écoles, nous devons nous demander : est-ce que nous nous attaquons vraiment aux causes profondes de la détresse des élèves, ou est-ce que nous créons simplement un environnement dans lequel les élèves sont constamment surveillés, leurs paroles et leurs actions analysées à la recherche d’éventuels signaux d’alerte ? La promesse de la technologie pour aider les élèves est indéniable, mais elle doit être mise en balance avec les préoccupations bien réelles en matière de confidentialité, d’autonomie et de risque d’utilisation abusive.
Les sources incluent :
Voir l’article original cliquez ci-dessous :
En savoir plus sur THE BLACK SUN
Abonnez-vous pour recevoir les derniers articles par e-mail.
THE BLACK SUN 