L’AI Act distingue plusieurs catégories de systèmes d’IA, chacune donnant lieu à des obligations juridiques spécifiques.
Au sommet de cette hiérarchie figurent les systèmes présentant un risque inacceptable : ces usages, tels que la notation sociale, la manipulation comportementale ou certains dispositifs de reconnaissance faciale en temps réel, sont strictement interdits sur le marché de l’Union européenne afin de prévenir des atteintes graves aux droits fondamentaux.
En découle donc une interdiction de mettre sur le marché (moment où le produit est accessible pour être vendu/distribué, qu'il soit ou non utilisé immédiatement) ou en service (entrée en fonction d'un SIA dans un environnement d'usage) les systèmes d’IA qui contreviennent aux valeurs de l'UE et portent atteinte aux droits fondamentaux et qui répondent à l'un des cas énumérés à l'article 5 du RIA :
Utilise des techniques subliminales, manipulatrices ou trompeuses visant à altérer le comportement d’une personne de manière à ce qu’elle prenne une décision qu’elle n’aurait pas prise autrement, causant un préjudice.
Exploite des vulnérabilités liées à l’âge, au handicap ou à la situation sociale/économique d’une personne, avec un effet substantiel sur son comportement, entraînant un préjudice important pour elle ou pour un tiers.
Évalue ou classe les personnes selon leur comportement social (type “crédit social”) ou des caractéristiques personnelles (connues ou inférées), entraînant un traitement préjudiciable ou défavorable.
Évalue le risque qu’une personne commette une infraction pénale uniquement sur la base d’un profilage de traits de personnalité ou de caractéristiques personnelles.
Crée ou développe des bases de données de reconnaissance faciale par moissonnage non ciblé d’images sur internet ou vidéosurveillance.
Infère les émotions d’une personne sur le lieu de travail ou dans un établissement d’enseignement (hors exception médicale ou sécuritaire).
Utilise des catégorisations biométriques pour classer individuellement des personnes et déduire leur origine raciale, opinions politiques, convictions religieuses/philosophiques, vie ou orientation sexuelle, sauf justification technique objective.
Utilise un système d'identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives