Très intéressant, merci France Culture ! Dommage que ce soit coupé à la fin et que le titre rende compte de l'erreur de jugement à ne pas commettre que dénonce l'invitée...
Dommage sujet intéressant avec apparemment une invitée compétente,coupé avant la fin,trop court et aucun descriptif ou nom des invitées sous la vidéo...France culture je vous kiffe mais svp faîte un effort🙏🙂
L'algorithme n'a pas "échappé" au contrôle de ses créateurs, il a dépassé leur espérances. Le but est de faire en sorte que les utilisateurs restent à consommer des PUBlications.
Je comprends qu'à l'oral on puisse dire docteur en science s'il a zappé un truc sur sa fiche mais l'erreur est aussi dans la description de la vidéo, c'est moyen. Mais très belle découverte de cette chercheuse, merci pour ça.
C'est normal que les algorithmes dépassent les créateurs. C'est de plus en plus le cas en raison de la complexité de ces systèmes. N'importe quel chercheur en IA le confirmera. Pourquoi on s'étonne d'un donné ? Parce qu'on maîtrise mal le sujet. Les algorithmes reflètent aujourd'hui le monde tel qu'il est et l'objectif de rentabilité économique.
Au delà de la dangerosité de certains humains qui vont indubitablement programmer des IA de manière négative et très dangereuse, le véritable danger de l'IA réside à mon avis dans la problématique des FONCTIONS D'ÉVALUATION. Une fonction d'évaluation en IA est généralement programmée par un humain pour désigner un objectif à atteindre avec des critères spécifiques à optimiser. Exemple : on souhaite qu'un petit robot à chenilles partant d'un point A touche un poteau, situé aléatoirement en un point B, sur un plan comportant des obstacles placés aléatoirement, avec comme critères d'accomplissement la précision : combien le centre avant du robot est centré sur le centre du poteau (ou bien la distance la plus courte entre les deux repères A et B) ainsi que la rapidité (le temps mis pour atteindre l'objectif défini). Tant que les fonctions d'évaluation sont définies par des humains, "tout va bien", mais le jour où ce sont les IA qui les définissent, et où celles-ci sont définies en cascade, alors là surviennent de suprêmes dangers : l'IA n'ayant aucune conscience (c'est un processus 100% mécanique qui jamais n'aura conscience d'elle-même, il faut bien le comprendre), alors la notion de morale n'a aucun sens pour ce processus 100% mécanique et déterministe : seule la satisfaction numérique des fonctions d'évaluation et d'optimisation de leur critères d'accomplissement jouent. Ainsi, une IA peut faire apparaître (par un système d'algorithmes génétiques par exemple) et décider d'utiliser une fonction d'évaluation qui décime des êtres humains, dans le but d'optimiser l'un de ses critères d'accomplissement, critères que l'on pourrait génériquement appeler "EFFICACITÉ". Il est là le risque. Et il est immense... Et contrôler ce risque est très difficile : cela revient à évaluer, d'un point de vue de la dangerosité, chaque fonction d'évaluation, une tâche ultra-ardue, et qui devient quasiment impossible lorsqu'il y a des fonctions d'évaluation en cascade, qui prises isolément, ne semblent pas opérer chacune une fonction dangereuse, mais qui ensemble font en réalité un véritable carnage en bout de ligne. Sans vouloir gagner un point Godwin, c'est le même problème que la division de la responsabilité dans l'holocauste des juifs : une armée de fonctionnaires appliqués et sérieux, ne faisant chacun qu'une petite tâche inoffensive (hormis les décideurs qui savent ainsi que ceux qui sont en bout de la chaîne) qui conduisent in fine à la catastrophe. Fabriquer une voie ferrée, construire un camp de prisonniers, conduire un train, etc, ne sont pas des tâches intrinsèquement malfaisantes et dangereuses, mais qui concourent néanmoins à un but global ici totalement désastreux. Seule une vision d'ensemble, une faculté seulement possible pour une conscience, peut se rendre compte de la nocivité du processus entier. Et encore... : certains n'on rien vu. Enfin, même si on parvenait à inclure un logiciel très performant de surveillance de ce risque, disons fonctionnant avec une sécurité de 99,999% (ce qui est un score performant et remarquable), et bien on est sûr que la catastrophe se produirait quand même. Et cela à cause du nombre extrêmement grands de lancements de processus impliquant les fonctions d'évaluation (c'est comme si on jetait cinq dés un très grand nombre de fois : à un moment, on peut être sûr, il est inévitable, qu'on va tomber sur cinq six). Si il n'y en a qu'une centaine de processus, le risque de non détection est petit, mais si une machine (ou un ensemble de machines) réalise un milliard de ces processus par seconde (voire bien plus, ce qui va s'avérer plus que probable), alors il est bien évident qu'on va tomber, vu le nombre de cas, sur l'un d'entre eux qui occasionnera une catastrophe parce-qu'il n'a pas été détecté par le logiciel de surveillance très fort mais hélas imparfait. Et il est totalement illusoire d'espérer en réaliser un qui détecte à 100% ce risque systémique. Ainsi donc : *Le danger en IA est donc un risque systémique lié aux fonctions d'évaluation en cascade décidées par la machine, qui deviennent incontrôlables d'un point de vue moral, éthique, ou de la dangerosité.*
C'est intéressant ce que vous dites mais ne pensez vous pas qu'il suffirait de mettre des interdictions (comme il est possible dans tout algorythme) comme tout simplement "interdiction de tuer les humains pour arriver au but". On pourrait faire passer les humains comme des obstacles au même titre qu'un poteau. Au contraire de vous, je pense qu'il sera possible que la machine ait conscience d'elle même et de sa finitude. Après nous, nous sommes aussi programmé d'une certaine manière et la morale est aussi une création sociétale (programmer une éthique me semble plus complexe néanmoins) et je ne vois donc pas pourquoi la morale ne pourrais pas être inculqué aux machines. C'est plutôt à cet endroit que cela deviendra dangereux : lorsque les machines développerons une éthique et par la même une conscience d'une pseudo singularité.
@@r.g1654 "interdiction de tuer les humains pour arriver au but" : ça ne marchera pas car tuer un humain est une notion plus subtile que vous ne le pensez. On peut agir et tuer un humain par inadvertance, d'une infinité de façon. Et puis l'efficacité peut amener uen fonction à négliger le paramètre humain. Dans les situations où des vies sont en jeu, c'est pire : le programme peut décider de sacrifier des gens pour en sauver d'autres, ou pour atteindre un but prioritaire qui lui est assigné. Enfin, JAMAIS, aucune machine n'engendrera une conscience, un être. Je vais essayer de vous faire lire un article sur cela, mais comme TH-cam a un algo terrible de filtrage, je vais devoir morceller en plusieurs messages l'explication pour y accéder.
Ben les responsabilités devraient incomber non pas à l'algorithme mais les responsables en l’occurrence chez fb qui l'ont orchestrés, Zuckerberg compris. C’est facile et lâche de se dédouaner ainsi, comme si quelqu'un qui renverse un piéton disait ce n'est pas moi c'est ma voiture... mais qui est au volant ?!?
Non en vrai je stan complet madame, et je suis navrée qu'on en soit encore au "moi aussi je fais ça" pour se justifier d'être compétente tout en étant une femme (je comprends je le fais aussi).
« Docteure en sciences » n’existe pas. Aurelie Jean est « docteure en sciences des matériaux et en mécanique numérique ». Faites un effort, Guillaume Erner, svp.
Il me semble que docteur en sciences désigne plutôt les médecins qui, après leurs doctorats en médecine, font de la recherche pour obtenir un autre doctorat en sciences, qui correspond donc plus à un doctorat classique de recherche.
C'est peine perdue de vouloir récupérer des algorithmes pour les évaluer quand il s'agit de réseaux de neurones avec bcp de paramètres. Il faudrait les jeux de données d'apprentissage qui évoluent en permanence en temps réel parfois, et les modèles résultants. Désolé pour les termes techniques mais les développeurs en IA comprendront.
"On finira par inventer des téléautomates capables d'agir comme s'ils avaient une intelligence propre, et leur avènement créera une révolution." Nicolas Tesla, il y'a plus d'un siècle maintenant.
Vouloir encadrer les algorithmes de deep learning c'est se tirer une balle dans le pied, prétendre pouvoir expliquer des systèmes d'inéquations différentiels composés de millions d'inconnues c'est tout simplement impossible, l’imprédictibilité semble vous échapper !
Le monde libéral ne contient pas le concept de régulation. Il peut alors s'y passer n'importe quoi. Et c'est bien ce qui se passe. La techno et les techno-geek n'ont rien à voir la dedans à part la complicité avec le cancer libéral. Tout ça au non de la liberté. Vertigineux.
![[LIVE] : ONE ลุมพินี 89 | คู่เอก "ยอดไอคิว vs คิริลล์"](http://i.ytimg.com/vi/Z3vYkHJ_5Ig/mqdefault.jpg)
Très intéressant, merci France Culture !
Dommage que ce soit coupé à la fin et que le titre rende compte de l'erreur de jugement à ne pas commettre que dénonce l'invitée...
Dommage sujet intéressant avec apparemment une invitée compétente,coupé avant la fin,trop court et aucun descriptif ou nom des invitées sous la vidéo...France culture je vous kiffe mais svp faîte un effort🙏🙂
L'algorithme n'a pas "échappé" au contrôle de ses créateurs, il a dépassé leur espérances.
Le but est de faire en sorte que les utilisateurs restent à consommer des PUBlications.
7:49 «… comment ils les ont fixées … » traduction : réparées. À ce r(h)ythme, bientôt on dira « comment ils les ont mendées. »
Je comprends qu'à l'oral on puisse dire docteur en science s'il a zappé un truc sur sa fiche mais l'erreur est aussi dans la description de la vidéo, c'est moyen.
Mais très belle découverte de cette chercheuse, merci pour ça.
C'est normal que les algorithmes dépassent les créateurs. C'est de plus en plus le cas en raison de la complexité de ces systèmes. N'importe quel chercheur en IA le confirmera. Pourquoi on s'étonne d'un donné ? Parce qu'on maîtrise mal le sujet.
Les algorithmes reflètent aujourd'hui le monde tel qu'il est et l'objectif de rentabilité économique.
Au delà de la dangerosité de certains humains qui vont indubitablement programmer des IA de manière négative et très dangereuse, le véritable danger de l'IA réside à mon avis dans la problématique des FONCTIONS D'ÉVALUATION.
Une fonction d'évaluation en IA est généralement programmée par un humain pour désigner un objectif à atteindre avec des critères spécifiques à optimiser. Exemple : on souhaite qu'un petit robot à chenilles partant d'un point A touche un poteau, situé aléatoirement en un point B, sur un plan comportant des obstacles placés aléatoirement, avec comme critères d'accomplissement la précision : combien le centre avant du robot est centré sur le centre du poteau (ou bien la distance la plus courte entre les deux repères A et B) ainsi que la rapidité (le temps mis pour atteindre l'objectif défini).
Tant que les fonctions d'évaluation sont définies par des humains, "tout va bien", mais le jour où ce sont les IA qui les définissent, et où celles-ci sont définies en cascade, alors là surviennent de suprêmes dangers : l'IA n'ayant aucune conscience (c'est un processus 100% mécanique qui jamais n'aura conscience d'elle-même, il faut bien le comprendre), alors la notion de morale n'a aucun sens pour ce processus 100% mécanique et déterministe : seule la satisfaction numérique des fonctions d'évaluation et d'optimisation de leur critères d'accomplissement jouent. Ainsi, une IA peut faire apparaître (par un système d'algorithmes génétiques par exemple) et décider d'utiliser une fonction d'évaluation qui décime des êtres humains, dans le but d'optimiser l'un de ses critères d'accomplissement, critères que l'on pourrait génériquement appeler "EFFICACITÉ". Il est là le risque. Et il est immense...
Et contrôler ce risque est très difficile : cela revient à évaluer, d'un point de vue de la dangerosité, chaque fonction d'évaluation, une tâche ultra-ardue, et qui devient quasiment impossible lorsqu'il y a des fonctions d'évaluation en cascade, qui prises isolément, ne semblent pas opérer chacune une fonction dangereuse, mais qui ensemble font en réalité un véritable carnage en bout de ligne. Sans vouloir gagner un point Godwin, c'est le même problème que la division de la responsabilité dans l'holocauste des juifs : une armée de fonctionnaires appliqués et sérieux, ne faisant chacun qu'une petite tâche inoffensive (hormis les décideurs qui savent ainsi que ceux qui sont en bout de la chaîne) qui conduisent in fine à la catastrophe. Fabriquer une voie ferrée, construire un camp de prisonniers, conduire un train, etc, ne sont pas des tâches intrinsèquement malfaisantes et dangereuses, mais qui concourent néanmoins à un but global ici totalement désastreux. Seule une vision d'ensemble, une faculté seulement possible pour une conscience, peut se rendre compte de la nocivité du processus entier. Et encore... : certains n'on rien vu.
Enfin, même si on parvenait à inclure un logiciel très performant de surveillance de ce risque, disons fonctionnant avec une sécurité de 99,999% (ce qui est un score performant et remarquable), et bien on est sûr que la catastrophe se produirait quand même. Et cela à cause du nombre extrêmement grands de lancements de processus impliquant les fonctions d'évaluation (c'est comme si on jetait cinq dés un très grand nombre de fois : à un moment, on peut être sûr, il est inévitable, qu'on va tomber sur cinq six). Si il n'y en a qu'une centaine de processus, le risque de non détection est petit, mais si une machine (ou un ensemble de machines) réalise un milliard de ces processus par seconde (voire bien plus, ce qui va s'avérer plus que probable), alors il est bien évident qu'on va tomber, vu le nombre de cas, sur l'un d'entre eux qui occasionnera une catastrophe parce-qu'il n'a pas été détecté par le logiciel de surveillance très fort mais hélas imparfait. Et il est totalement illusoire d'espérer en réaliser un qui détecte à 100% ce risque systémique. Ainsi donc :
*Le danger en IA est donc un risque systémique lié aux fonctions d'évaluation en cascade décidées par la machine, qui deviennent incontrôlables d'un point de vue moral, éthique, ou de la dangerosité.*
C'est intéressant ce que vous dites mais ne pensez vous pas qu'il suffirait de mettre des interdictions (comme il est possible dans tout algorythme) comme tout simplement "interdiction de tuer les humains pour arriver au but". On pourrait faire passer les humains comme des obstacles au même titre qu'un poteau. Au contraire de vous, je pense qu'il sera possible que la machine ait conscience d'elle même et de sa finitude. Après nous, nous sommes aussi programmé d'une certaine manière et la morale est aussi une création sociétale (programmer une éthique me semble plus complexe néanmoins) et je ne vois donc pas pourquoi la morale ne pourrais pas être inculqué aux machines. C'est plutôt à cet endroit que cela deviendra dangereux : lorsque les machines développerons une éthique et par la même une conscience d'une pseudo singularité.
@@r.g1654 "interdiction de tuer les humains pour arriver au but" : ça ne marchera pas car tuer un humain est une notion plus subtile que vous ne le pensez. On peut agir et tuer un humain par inadvertance, d'une infinité de façon. Et puis l'efficacité peut amener uen fonction à négliger le paramètre humain. Dans les situations où des vies sont en jeu, c'est pire : le programme peut décider de sacrifier des gens pour en sauver d'autres, ou pour atteindre un but prioritaire qui lui est assigné.
Enfin, JAMAIS, aucune machine n'engendrera une conscience, un être. Je vais essayer de vous faire lire un article sur cela, mais comme TH-cam a un algo terrible de filtrage, je vais devoir morceller en plusieurs messages l'explication pour y accéder.
@@r.g1654 Trouver le SsS-i-TtT-e de b-lUue-m-Aan (sans les caractères spéciaux et les majuscules que j'ai insérés ici).
@@r.g1654 Sur la page du somme aire, à gauche, choisir Ly un et un faure ma scions diverses et variées du moment.
@@r.g1654 Dans le champ de saisie de recherche, taper : neurones tromperie, et lancer la recherche.
Tout ça pour que les utilisateurs masquent ce qu'on leur propose. On préfère ce que mange la voisine, quoi qu'il arrive. Merci !
Ben les responsabilités devraient incomber non pas à l'algorithme mais les responsables en l’occurrence chez fb qui l'ont orchestrés, Zuckerberg compris. C’est facile et lâche de se dédouaner ainsi, comme si quelqu'un qui renverse un piéton disait ce n'est pas moi c'est ma voiture... mais qui est au volant ?!?
Alors ok moi ça me va, mais alors pourquoi youtube n'arrête pas de me coller des pubs pour des yaoi ??
Non en vrai je stan complet madame, et je suis navrée qu'on en soit encore au "moi aussi je fais ça" pour se justifier d'être compétente tout en étant une femme (je comprends je le fais aussi).
« Docteure en sciences » n’existe pas. Aurelie Jean est « docteure en sciences des matériaux et en mécanique numérique ». Faites un effort, Guillaume Erner, svp.
Il me semble que docteur en sciences désigne plutôt les médecins qui, après leurs doctorats en médecine, font de la recherche pour obtenir un autre doctorat en sciences, qui correspond donc plus à un doctorat classique de recherche.
Peut-on avoir la suite?
Sujet central, complexe, déterminant... une invitée qui semble compétente et claire... Pourquoi se limiter à minutes ?
C'est peine perdue de vouloir récupérer des algorithmes pour les évaluer quand il s'agit de réseaux de neurones avec bcp de paramètres. Il faudrait les jeux de données d'apprentissage qui évoluent en permanence en temps réel parfois, et les modèles résultants. Désolé pour les termes techniques mais les développeurs en IA comprendront.
"On finira par inventer des téléautomates capables d'agir comme s'ils avaient une intelligence propre, et leur avènement créera une révolution."
Nicolas Tesla, il y'a plus d'un siècle maintenant.
Vouloir encadrer les algorithmes de deep learning c'est se tirer une balle dans le pied, prétendre pouvoir expliquer des systèmes d'inéquations différentiels composés de millions d'inconnues c'est tout simplement impossible, l’imprédictibilité semble vous échapper !
Bonjour
Comparer un animal à un algorithme 🙉😩😤
Le monde libéral ne contient pas le concept de régulation. Il peut alors s'y passer n'importe quoi. Et c'est bien ce qui se passe. La techno et les techno-geek n'ont rien à voir la dedans à part la complicité avec le cancer libéral. Tout ça au non de la liberté. Vertigineux.
Le créateur est la DARPA...
Oui bien sûr. Cela ne serait pas plutôt Yann Le Cun par hasard?