La percée d'OpenAI sur les hallucinations de l'IA est un pas en arrière pour l'IA dans son ensemble

Les grands modèles de langage suivant les instructions, tels que ChatGPT d'OpenAI, et les systèmes rivaux tels que Bard de Google et Claude d'Anthropic, ont le potentiel de révolutionner les affaires. Mais de nombreuses entreprises ont du mal à comprendre comment les utiliser. C'est principalement parce qu'ils ne sont pas fiables et ont tendance à fournir des informations faisant autorité mais inexactes. C'est aussi parce que le contenu généré par ces modes d'IA peut présenter des risques. Ils peuvent émettre un langage toxique ou encourager les utilisateurs à adopter un comportement dangereux ou illégal. Ils peuvent révéler des données que les entreprises souhaitent protéger. Des dizaines d'entreprises se précipitent pour trouver comment résoudre ce problème, et il y a un pot d'or pour celui qui y arrive en premier.

La semaine dernière, OpenAI a publié un document de recherche et un article de blog qui l'accompagne défendant ce qu'il a dit être un pas en avant potentiellement majeur vers cet objectif, ainsi que vers la résolution du "problème d'alignement" plus large. Le "problème d'alignement" fait référence à la manière d'imprégner de puissants systèmes d'IA d'une compréhension des concepts et des valeurs humaines. Les chercheurs qui travaillent dans le domaine connu sous le nom de "Sécurité de l'IA" le considèrent comme essentiel pour garantir que les futurs logiciels d'IA ne constitueront pas une menace au niveau de l'extinction pour l'humanité. Mais, comme je vais l'expliquer, je pense que la solution proposée par OpenAI démontre en fait à quel point les grands modèles de langage actuels sont limités. À moins que nous ne trouvions une architecture fondamentalement différente pour l'IA générative, il est probable que la tension entre « alignement » et « performance » signifie que la technologie ne sera jamais à la hauteur de son plein potentiel. En fait, on pourrait dire que la formation des LLM de la manière suggérée par OpenAI dans ses dernières recherches est un pas en arrière pour le domaine.

Pour expliquer pourquoi, passons en revue ce que les dernières recherches d'OpenAI ont montré. Tout d'abord, vous devez comprendre que l'une des façons dont les chercheurs ont essayé d'apprivoiser les sorties sauvages des grands modèles de langage est par le biais d'un processus appelé apprentissage par renforcement à partir de la rétroaction humaine (ou RLHF en abrégé). Cela signifie que les humains évaluent les réponses qu'un LLM produit, généralement juste un simple pouce vers le haut ou vers le bas (bien que certaines personnes aient expérimenté des systèmes de rétroaction moins binaires) et que le LLM est ensuite affiné pour produire des réponses qui sont plus susceptibles d'être pouce levé. Une autre façon d'amener les LLM à produire des réponses de meilleure qualité, en particulier pour des tâches telles que des questions de logique ou de mathématiques, consiste à demander au LLM de "raisonner étape par étape" ou de "réfléchir étape par étape" au lieu de simplement produire une réponse finale. La raison exacte pour laquelle cette soi-disant "chaîne de pensée" fonctionne n'est pas entièrement comprise, mais elle semble toujours produire de meilleurs résultats.

Ce qu'OpenAI a fait dans ses dernières recherches, c'est de voir ce qui s'est passé lorsqu'un LLM a été invité à utiliser le raisonnement en chaîne de pensée et a également été formé à l'aide de RLHF sur chacune des étapes logiques de la chaîne (au lieu de la réponse finale). OpenAI a appelé cela la "supervision des processus" par opposition à la "supervision des résultats" qu'elle utilisait auparavant. Eh bien, il s'avère, peut-être sans surprise, que donner des commentaires sur chaque étape produit de bien meilleurs résultats. Vous pouvez penser que cela ressemble à la façon dont votre professeur de mathématiques du premier cycle du secondaire vous a toujours exhorté à "montrer votre travail" aux examens. De cette façon, elle pourrait vous voir si elle comprenait le raisonnement nécessaire pour résoudre la question, et pourrait vous donner un crédit partiel même si vous avez fait une simple erreur arithmétique quelque part dans le processus.

Il n'y a que quelques problèmes. Premièrement, comme certains autres chercheurs l'ont souligné, il n'est pas clair si cette "supervision du processus" aidera avec toute la gamme d'hallucinations présentées par les LLM, en particulier celles impliquant des citations inexistantes et des citations inexactes, ou si elle ne traite qu'un sous-ensemble d'inexactitudes qui impliquent la logique. Il devient de plus en plus clair qu'essayer d'aligner les LLM pour éviter bon nombre des résultats indésirables que les entreprises craignent peut nécessiter une refonte beaucoup plus fondamentale de la façon dont ces modèles sont construits et formés.

En fait, un groupe d'informaticiens israéliens de l'Université hébraïque et des laboratoires AI21, a récemment exploré si RLHF était une méthode d'alignement robuste et a trouvé de sérieux problèmes. Dans un article publié ce mois-ci, les chercheurs ont déclaré qu'ils avaient prouvé que pour tout comportement qu'un modèle d'IA pouvait présenter, aussi improbable soit-il, il existait une invite qui pouvait susciter ce comportement, les comportements moins probables nécessitant simplement des invites plus longues. "Cela implique que tout processus d'alignement qui atténue les comportements indésirables mais ne les supprime pas complètement n'est pas à l'abri des attaques contradictoires", ont écrit les chercheurs. Pire encore, ils ont découvert que des techniques telles que RLHF permettaient en fait de pousser plus facilement un modèle à présenter un comportement indésirable, pas moins probable.

Il y a aussi un problème beaucoup plus important. Même si cette technique réussit, elle limite finalement, et non améliore, ce que l'IA peut faire : En fait, elle risque de gâcher le génie de Move 37. Qu'est-ce que je veux dire ? En 2016, AlphaGo, un système d'intelligence artificielle créé par ce qui est maintenant Google DeepMind, a franchi une étape importante dans l'informatique en battant le meilleur joueur humain du monde à l'ancien jeu de stratégie Go dans un match de démonstration au meilleur des cinq. Dans le deuxième match de ce concours, au 37e coup du jeu, AlphaGo a placé une pierre de manière si inhabituelle et, pour les experts humains de Go, de manière si contre-intuitive, que presque tout le monde a supposé que c'était une erreur. AlphaGo lui-même a estimé qu'il y avait moins d'une chance sur dix mille qu'un humain joue un jour ce coup. Mais AlphaGo a également prédit que cette décision le placerait dans une excellente position pour gagner le match, ce qu'il a fait. Le coup 37 n'était pas une erreur. C'était un coup de génie.

Plus tard, lorsque les experts ont analysé le jeu d'AlphaGo sur des centaines de jeux, ils ont découvert qu'il avait découvert une façon de jouer qui bouleversait 1 000 ans d'expertise humaine et d'intuition sur les meilleures stratégies de Go. De même, un autre système créé par DeepMind, Alpha Zero, qui pouvait réussir une variété de jeux de stratégie différents, jouait aux échecs dans un style qui semblait, aux grands maîtres humains, si bizarre mais si efficace, que certains l'ont qualifié d '"échecs extraterrestres". En général, il était prêt à sacrifier des pièces supposées de grande valeur afin de gagner une position sur le plateau d'une manière qui rendait les joueurs humains mal à l'aise. Comme AlphaGo, AlphaZero a été formé à l'aide de l'apprentissage par renforcement, jouant des millions de parties contre lui-même, où la seule récompense qu'il recevait était de gagner ou de perdre.

En d'autres termes, AlphaGo et AlphaZero n'ont reçu aucun retour d'experts humains indiquant si une mesure intermédiaire qu'ils ont prise était positive ou négative. En conséquence, le logiciel d'IA a pu explorer toutes sortes de stratégies de manière impartiale par les limites de la compréhension humaine existante du jeu. Si AlphaGo avait reçu une supervision de processus à partir de commentaires humains, comme OpenAI le postule pour les LLM, un expert humain aurait presque certainement donné un coup de pouce à Move 37. Après tout, les maîtres de Go humains ont jugé le Move 37 illogique. Il s'est avéré être brillant. Et c'est le problème avec l'approche suggérée par OpenAI. C'est finalement un kluge - une solution de contournement grossière conçue pour dissimuler un problème qui est fondamental pour la conception des LLM.

Les systèmes d'IA générative d'aujourd'hui sont très doués pour le pastiche. Ils régurgitent et remixent le savoir humain. Mais, si ce que nous voulons vraiment, ce sont des systèmes d'IA qui peuvent nous aider à résoudre les problèmes les plus difficiles auxquels nous sommes confrontés, du changement climatique à la maladie, alors ce dont nous avons besoin n'est pas simplement un masala d'idées anciennes, mais des idées fondamentalement nouvelles. Nous voulons une IA capable de faire avancer de nouvelles hypothèses, de faire des percées scientifiques et d'inventer de nouvelles tactiques et méthodes. La supervision des processus avec rétroaction humaine est susceptible d'être préjudiciable à la réalisation de cet objectif. Nous nous retrouverons avec des systèmes d'IA bien alignés, mais incapables de génie.

Sur ce, voici la suite de l'actualité de cette semaine en IA

Mais, avant de poursuivre votre lecture : souhaitez-vous entendre certains des acteurs les plus importants qui façonnent la révolution de l'IA générative et découvrir comment les entreprises utilisent la technologie pour réinventer leurs activités ? Bien sûr, vous le faites! Alors viens àTechnologie Brainstorm de Fortune2023conférence,10-12 juillet à Park City, Utah. je vais passer un entretienDario Amodei, PDG d'Anthropicsur la construction de l'IA, nous pouvons faire confiance etJordi Ribas, vice-président de Microsoft sur la façon dont l'IA transforme Bing et la recherche. Nous entendrons égalementAntonio Neri, PDG de Hewlett Packard Enterprise, sur la manière dont l'entreprise tient la promesse de l'IA,Arati Prabhakar, directeur du Bureau de la politique scientifique et technologique de la Maison Blanchesur les dernières réflexions de l'administration Biden sur les États-Unis peuvent réaliser le potentiel de l'IA, tout en promulguant la réglementation nécessaire pour garantir que nous nous prémunissons contre ses risques importants,Meredith Whittaker, présidente de la Fondation Signal, sur la protection de la vie privée à l'ère de l'IA,et bien d'autres encore, y compris certains desprincipaux investisseurs en capital-risque soutenir le boom de l'IA générative. Tout ça, pluspêche à la mouche, VTT et randonnée . J'aimerais que les lecteurs d'Eye on AI se joignent à nous ! Vous pouvez postuler pour y assister ici.

Jérémy Kahn@[email protected]

L'Australie prévoit une réglementation de l'IA. C'est selon Reuters, qui a déclaré que l'Australie prévoyait une législation pour interdire les contrefaçons profondes et la production de contenu trompeur généré par l'IA. Un rapport du National Science and Technology Council d'Australie a récemment souligné la possibilité que le contenu généré par l'IA soit utilisé pour influencer l'opinion publique lors des élections législatives. L'Australie prévoit également de mettre à jour ses lois et réglementations pour combler les lacunes dans des domaines tels que le droit d'auteur, la confidentialité et la protection des consommateurs. L'Australie a été parmi les premières à introduire un cadre d'éthique volontaire pour l'IA en 2018. Les législateurs européens finalisent actuellement une loi historique sur l'IA qui pourrait servir de modèle à d'autres économies avancées, y compris une approche de la réglementation basée sur les risques que l'Australie pourrait envisager de suivre.

La ligne d'assistance sur les troubles de l'alimentation tire un chatbot qui a donné des conseils préjudiciables. La National Eating Disorder Association (NEDA) a dû suspendre son utilisation d'un chatbot appelé Tessa, conçu pour conseiller les personnes souffrant de troubles de l'alimentation, après qu'un message viral sur les réseaux sociaux ait révélé sa promotion d'habitudes alimentaires dangereuses, a rapporté Vice News. Le message de l'activiste Sharon Maxwell décrivait comment Tessa encourageait la perte de poids intentionnelle, le comptage des calories et un régime strict, toutes les activités qui, selon Maxwell, avaient contribué à développer un trouble de l'alimentation en premier lieu. La NEDA a d'abord nié le récit de Maxwell, mais a reconnu plus tard le problème, déclarant que les réponses de Tessa étaient contraires à leurs politiques et à leurs croyances fondamentales. La NEDA avait auparavant été critiquée pour sa décision de mettre fin à sa ligne d'assistance téléphonique après 20 ans en réponse aux tentatives des travailleurs de la ligne d'assistance de se syndiquer, remplaçant l'ensemble du service par un chatbot.

Faux de Poutine utilisé dans le cadre de la campagne de désinformation "La Russie attaquée". Des pirates ont organisé une cyberattaque au cours de laquelle un faux appel d'urgence télévisé généré par l'IA, conçu pour donner l'impression qu'il avait été lancé par le président russe Vladimir Poutine, a été diffusé, a rapporté Politico. Dans la vidéo, Poutine a affirmé avoir déclaré la loi martiale après que les troupes ukrainiennes auraient pénétré sur le territoire russe. Le discours deepfake d'apparence réaliste a exhorté les citoyens à évacuer et à se préparer à une guerre totale avec l'Ukraine. Mais l'attaché de presse de Poutine a confirmé que le discours n'avait jamais eu lieu. L'incident met en évidence le risque croissant de contrefaçons profondes et de désinformation.

Getty demande au tribunal britannique une injonction pour arrêter la commercialisation de Stability AI Stable Diffusion. L'agence photo a demandé à un tribunal britannique d'arrêter les ventes du logiciel de génération d'images de Stability AI dans le pays, a rapporté Reuters. Getty a déjà poursuivi Stability, qui a aidé à créer le populaire logiciel d'IA texte-image open source Stable Diffusion, au Royaume-Uni et aux États-Unis pour violation du droit d'auteur, alléguant que Stable Diffusion a été formé sur des millions d'images appartenant à Getty. à partir d'Internet sans licence appropriée. L'affaire est surveillée de près pour le précédent qu'elle pourrait créer quant à savoir si l'utilisation de matériel protégé par le droit d'auteur sans consentement pour la formation à l'IA bénéficiera d'une sorte d'exemption "d'utilisation équitable".

Selon le rapport, le fondateur et PDG de Stability AI a exagéré ses références et les relations de l'entreprise avec ses partenaires, y compris Amazon. Une histoire d'enquête dans Forbes indique qu'Emad Mostaque, le fondateur et PDG de Stability AI, a fait des déclarations trompeuses sur ses antécédents et les partenariats de l'entreprise. Selon l'histoire, Mostaque a faussement prétendu avoir une maîtrise d'Oxford, a déformé son rôle et le rôle de Stability dans les grands projets d'IA, y compris la création du système d'IA signature de l'entreprise à ce jour, Stable Diffusion, et a fait des déclarations douteuses sur les partenariats et la stratégie. alliances, y compris avec le fournisseur de cloud d'Amazon, AWS. D'anciens employés ont également signalé que l'entreprise tardait à payer les salaires et faisait l'objet d'une enquête pour ne pas avoir payé les charges sociales à temps, tandis que des fonds étaient transférés du compte bancaire de l'entreprise vers le compte personnel de l'épouse de Mostaque. Selon Forbes, la société, qui a obtenu un financement de 101 millions de dollars à une valorisation supérieure à 1 milliard de dollars en octobre, a maintenant du mal à obtenir des fonds de capital-risque supplémentaires.

Pourquoi les grands modèles de langage semblent-ils si brillamment intelligents et si stupides en même temps ? Des recherches menées par des informaticiens de l'Allen Institute for Artificial Intelligence, de l'Université de Washington, de l'Université de Chicago et de l'Université de Californie du Sud ont tenté d'examiner pourquoi les LLM peuvent gérer avec aisance autant de tâches apparemment complexes tout en ayant du mal à produire des résultats précis sur les tâches. que les humains trouvent insignifiant. « Ces erreurs sont-elles accidentelles ou signalent-elles des limitations plus importantes ? » ont demandé les chercheurs. Ils ont étudié les performances du LLM sur trois "tâches de composition" qui impliquent de décomposer un problème en sous-étapes, puis de synthétiser les résultats de ces sous-étapes pour produire une réponse : multiplication à plusieurs chiffres, puzzles de grille logique et programmation dynamique classique. Leurs trouvailles ? Les LLM, qui sont construits sur une sorte d'architecture d'apprentissage en profondeur appelée Transformer, fonctionnent en réduisant le raisonnement compositionnel en plusieurs étapes en une série d'efforts pour déterminer le meilleur ensemble de mots susceptibles de répondre à chaque composante de la question, mais sans réellement apprendre de manière systématique. des talents pour la résolution des problèmes. (Cela peut également expliquer pourquoi le fait d'insister pour que LLM « réfléchir étape par étape » dans une invite produise de meilleurs résultats que de simplement demander la réponse. Au moins, cela oblige l'IA à effectuer une série de recherches enchaînées pour les réponses les plus probables au lieu de simplement essayer pour trouver la réponse la plus probable à l'invite initiale.) En conséquence, selon les chercheurs, les performances des LLM vont nécessairement se détériorer - " déclin rapide " sont les mots qu'ils utilisent - à mesure que les tâches deviennent de plus en plus complexes. En d'autres termes, peut-être que les LLM ne sont pas la bonne voie pour augmenter l'intelligence de type humain après tout. Et peut-être que ce cycle de battage médiatique actuel se dirige vers une chute.

Un problème de correction automatique gênant de l'iPhone est enfin résolu - et tout cela grâce à l'IA - par Prarthana Prakash

Le responsable n ° 2 du FMI affirme que les experts ont eu tort d'ignorer les emplois perdus à cause de l'automatisation - et prévient que nous "n'avons pas le temps de réglementer l'IA" - par Prarthana Prakash

Les écrivains hollywoodiens ont un moment steampunk, dit Barclays. L'IA va vraiment tout changer, d'ici quelques décennies, par Rachel Shin

L'IA va changer les trajectoires de carrière, déclare le PDG de HP : "De faire les choses à les interpréter" - par Steve Mollman

Un manque de GPU va-t-il tuer la révolution de l'IA générative dans son berceau ? J'ai écrit plus tôt cette semaine à propos d'un article de blog qui aurait renversé les mèches sur ce que le PDG d'OpenAI, Sam Altman, a déclaré lors d'une réunion à huis clos de PDG de startups et de développeurs d'IA lorsqu'il était à Londres il y a quelques semaines. (Le billet de blog a été rapidement supprimé à la demande d'OpenAI, mais pas avant d'avoir été capturé par les archives Internet et lié aux médias sociaux et aux forums de discussion des développeurs.) Lors de la réunion, l'une des choses qu'Altman a révélées était la mesure dans laquelle OpenAI's sa croissance est limitée par son incapacité à sécuriser suffisamment d'unités de traitement graphique (GPU) pour répondre à la demande croissante de ses produits. Le manque de GPU a empêché OpenAI de déployer des fonctionnalités, telles qu'une fenêtre contextuelle beaucoup plus longue (permettant des invites et des réponses plus longues), pour correspondre à celle offerte par des concurrents, tels qu'Anthropic, qui offre une énorme fenêtre contextuelle de 100 000 jetons aux utilisateurs. Mais, bien sûr, on se demande si Anthropic n'a pu le faire que parce qu'il n'a pas encore la reconnaissance de marque qu'OpenAI et ChatGPT ont. S'il commence soudainement à attirer plus d'utilisateurs, peut-être qu'Anthropic aura également du mal à avoir suffisamment de GPU pour répondre à cette demande.

Même les énormes titans Big Tech sont confrontés à ce problème. Le partenaire d'OpenAI, Microsoft, a, selon une histoire de CNBC, signé un accord d'une valeur potentielle de milliards de dollars sur plusieurs années pour acheter une capacité GPU supplémentaire auprès du partenaire Nvidia CoreWeave. Pendant ce temps, les journalistes testant "l'expérience de recherche" alimentée par l'IA générative de Google ont tous noté à quel point le système est lent à générer des réponses, probablement également en raison de la capacité limitée du GPU chez le géant de l'Internet.

Et rappelez-vous, les applications d'IA génératives en sont encore à leurs balbutiements. Il n'est pas clair si Nvidia, qui est actuellement le principal producteur de GPU, ou ses rivaux naissants de puces spécifiques à l'IA, seront en mesure d'augmenter la production assez rapidement pour répondre à la demande. Et cela peut signifier que la révolution de l'IA générative sera, sinon annulée, du moins atténuée.

Il s'agit de la version en ligne de Eye on AI, une newsletter gratuite livrée dans les boîtes de réception le mardi. Inscrivez-vous ici.