Les risques systémiques (définis par l'article 3(65) de l'AI Act) désignent un niveau de danger que ces modèles peuvent représenter pour la santé publique, la sûreté, la sécurité publique, les droits fondamentaux ou la société dans son ensemble.
Cela inclut notamment des atteintes potentielles aux droits fondamentaux dû à une perte de contrôle du modèle.
En application de l’article 51 du règlement, un modèle peut être classé comme présentant un risque systémique selon l’une des deux conditions suivantes :
Il présente des capacités à fort impact, c’est-à-dire qu’elles égalent ou dépassent celles observées dans les modèles les plus avancés (article 3(64) du règlement). Cet impact doit avoir une incidence significative sur le marché de l'Union.
Cette présomption s’applique notamment lorsque la puissance de calcul utilisée pour l’entraînement dépasse 10^25 FLOPs (article 51(2)), un seuil pouvant être estimé même avant l’exécution de l’entraînement.- Ce seuil n’est pas figé : la Commission européenne peut l’ajuster pour tenir compte des évolutions technologiques.
Le modèle est désigné d’office par la Commission, ou à la suite d’un signalement émanant du comité scientifique relatif à ses capacités à fort impact.
Les grands modèles de langage sont généralement considérés comme des GPAI présentant des risques systémiques, en raison de leurs capacités à fort impact et de la grande puissance de calcul mobilisée pour leur entraînement.