Je décrirais cela comme une dégradation de l’autorité : les autorisations opérationnelles accordées à un système d’IA diminuent à mesure que l’incertitude quant à sa fiabilité augmente. Le concept répond à une faiblesse de la gouvernance conventionnelle de l’IA. Les organisations définissent souvent ce qu’un système d’IA peut faire lorsqu’il fonctionne normalement, mais beaucoup moins définissent avec une précision comparable ce qu’il peut continuer à faire lorsque sa fiabilité devient incertaine. Cette incertitude peut provenir non pas du modèle lui-même mais de l'environnement qui l'entoure : alimentation instable, communications intermittentes, flux de données indisponibles, capteurs conflictuels, isolement du réseau ou personnel réduit. Une IA fonctionnelle opérant sur une représentation dégradée de la réalité n’est pas nécessairement une IA digne de confiance.
Les organisations doivent donc identifier une capacité de décision minimale : la plus petite combinaison de personnes, d'informations, de communications et de procédures nécessaires pour continuer à prendre des décisions essentielles en toute sécurité lorsque l'assistance numérique avancée n'est pas disponible ou n'est pas fiable. Cette capacité devrait être conçue avant une crise et exercée régulièrement. Une salle de contrôle qui s'appuie normalement fortement sur l'IA devrait parfois fonctionner avec une partie de cette capacité indisponible afin que les opérateurs comprennent quelles décisions deviennent plus lentes, quelles actions nécessitent une approbation supplémentaire et quelles opérations doivent être suspendues. Un tel exercice ne prouve pas que l’IA n’est pas fiable ; c’est la preuve que l’organisation qui utilise l’IA est résiliente.
L’Afrique du Sud et les Émirats arabes unis pourraient constituer un environnement utile pour de tels tests, car leurs atouts sont différents. Un exercice conjoint pourrait placer une opération d’infrastructure soutenue par l’IA dans des conditions de détérioration progressive tout en laissant initialement l’IA elle-même disponible. Une source de données fiable pourrait devenir peu fiable, la latence des communications pourrait augmenter, les capteurs pourraient entrer en conflit et un cyberincident pourrait forcer l'isolement d'une partie du réseau. Enfin, les opérateurs pourraient être informés que l’IA reste techniquement opérationnelle mais que ses recommandations ne peuvent plus être considérées comme fiables. Le test examinerait ensuite à quelle vitesse l’organisation réduit l’autorité de l’IA, qui peut le faire, si les opérations essentielles se poursuivent et combien de temps les opérations dégradées peuvent être maintenues.
L’exercice devrait également tester quelles preuves sont requises avant que l’autorité ne soit restituée à AI. Les organisations planifient souvent comment arrêter les systèmes automatisés, mais passent beaucoup moins de temps à définir comment restaurer la confiance. La restauration d'un flux de données ayant échoué ne devrait pas restaurer automatiquement les autorisations précédentes de l'IA. La restauration de l'autorité doit être délibérée, produisant un cycle de résilience complet : autorité normale, confiance réduite, dégradation de l'autorité, contrôle humain ou alternatif, capacité de décision minimale, validation et restauration de l'autorité contrôlée. La confiance n’est pas une propriété permanente accordée à une machine après un premier test ; c'est une condition opérationnelle qui peut augmenter, diminuer et nécessiter une réévaluation.
L’épisode politique de l’Afrique du Sud offre une analogie institutionnelle plus large. Le point important n’est pas seulement qu’un problème grave s’est produit, mais que ce problème a déclenché un retrait et un réexamen. Les organisations avancées auront besoin de la même volonté en matière d’IA opérationnelle. Il ne devrait y avoir aucun embarras à réduire l’autorité d’un système lorsque les preuves changent. La culture la plus dangereuse est celle dans laquelle une organisation a investi tellement de confiance, d’argent et de prestige dans l’automatisation que les opérateurs hésitent à la remettre en question.
La résilience de l’IA dépend donc en partie de la technologie et en partie de la permission organisationnelle de douter. L’opérateur le plus fort n’est ni celui qui fait aveuglément confiance à l’automatisation, ni celui qui la rejette instinctivement. C'est la personne qui comprend quand le système mérite une autorité, quand cette autorité doit être restreinte, quelles preuves justifient la restriction et comment la mission se poursuit par la suite. Ceci est particulièrement important dans les salles de contrôle, où les opérations offrent rarement un choix clair entre une automatisation parfaite et un contrôle humain parfait.
La reprise des infrastructures en Afrique du Sud et l’intégration numérique rapide des Émirats arabes unis mettent en lumière les différentes facettes d’un même défi. Nous devrions continuer à créer des systèmes d’IA plus précis, plus explicables et plus fiables, mais nous devrions arrêter de concevoir les organisations comme si la confiance, une fois gagnée, restait constante pour toujours. Les conditions, les données, les menaces et les modèles changent. Parfois, la décision responsable n’est pas de désactiver complètement l’IA, mais de lui faire abandonner son autorité en douceur pendant que l’organisation continue de fonctionner. Le test ultime du contrôle humain sur l’IA n’est pas de savoir si nous pouvons donner de l’autorité à une machine. Il s’agit de savoir si, au moment où la confiance commence à disparaître, nous pouvons reprendre cette autorité sans perdre avec elle la mission.
Abdulla Saeed Alhebsi (AS Alhebsi) est un auteur et chercheur émirati spécialisé dans la sécurité, la gestion des risques et les opérations des salles de contrôle.
