Depuis plus de six mois, une vaste collecte d'informations autour de GPT5 a été entreprise, attisant la curiosité du monde de l'intelligence artificielle. Le nom GPT5 a récemment été déposé par OpenAI, suscitant de nombreuses spéculations. À travers cet article, nous allons déconstruire ces rumeurs, analyser les prédictions et discuter des défis futurs que devra relever OpenAI.

GPT4, AGI et IA Multimodal

L'apparition de GPT4 a impressionné la communauté par son "intelligence". Bien qu'il ne soit qu'un modèle de langage génératif limité à prédire le prochain mot, ses performances ont démontré des capacités qui ressemblent à celles d'une Intelligence Artificielle Générale (AGI). Une AGI complète pourrait accomplir toutes les tâches qu'un humain peut faire, comprendre le langage naturel, prendre des décisions complexes, apprendre de nouvelles compétences et bien plus encore. Bien que ce concept reste encore lointain, GPT4 coche plusieurs cases d'une petite AGI.

Un autre concept intéressant est celui de l'IA multimodale, une promesse non encore totalement concrétisée par OpenAI. L'IA multimodale peut analyser des données autres que le texte et générer des sorties autres que le texte. Aujourd'hui, il existe des IAs partiellement multimodales comme Bard et BingAI qui peuvent analyser des images. Des avancées ont également été faites dans le domaine des modèles de langage de grande taille (Large Language Models - LLM), qui apprennent à partir des données textuelles qu'ils reçoivent.

GPT5 : Prédictions et Analyse

À quoi s'attendre ?

La progression logique voudrait que GPT5, suivant le même rythme que son prédécesseur, possède 10 fois plus de paramètres que GPT4. Cependant, le nombre de paramètres n'est pas directement corrélé à la pertinence. Selon certaines sources, OpenAI aurait récemment commandé 25 000 GPU, ce qui pourrait indiquer une préparation pour entraîner GPT5.

En ce qui concerne les améliorations, on s'attend à une capacité multimodale très avancée, une gestion améliorée de la mémoire à long terme, l'intégration d'une reconnaissance vocale via Whisper, une plus grande véracité des informations et une prise de conscience plus précise du temps.

Informations & Date de sortie

D'après Siqi Chen, un entrepreneur de la Silicon Valley très proche de l'équipe d'OpenAI, la date de sortie de GPT5 est prévue pour la mi-2024. Pour le moment, l'entraînement de GPT5 n'est pas encore en cours. Notons que l'entraînement de GPT4 avait nécessité 25 000 GPU et pris 90 jours, suivis de six mois de tests et d'améliorations avant sa publication.

Défis à relever

OpenAI devra surmonter plusieurs défis pour se rapprocher d'une mini AGI avec GPT5. Le principal est celui de l'entraînement : la quantité de données textuelles accessibles sur le web devient insuffisante, et le recours à des plateformes comme YouTube s'impose, ce qui soulève des problèmes techniques. De plus, la véracité de l'information représente un défi majeur, tout comme le problème d'alignement, qui consiste à s'assurer que l'énorme quantité de données gérées par GPT5 respecte nos règles humaines. Enfin, la mémoire à long terme et la sensibilité du prompt constituent d'autres obstacles à surmonter.

Conséquences et opportunités de GPT5 / d’une AGI sur le monde

L'avènement de GPT5 ou d'une AGI pourrait avoir des conséquences importantes sur notre monde. Du côté des opportunités, on peut évoquer une productivité accrue, une amélioration de la prise de décision, un accès plus large à l'éducation et un soutien à la recherche. Cependant, l'automatisation pourrait menacer de nombreux emplois. De plus, des inégalités pourraient se creuser dans l'accès à l'IA, et la sécurité (Fake news, Manipulation, etc.) pourrait être compromise.

Les problèmes présents et futurs que va rencontrer OpenAI avec GPT5 pour s'approcher d'une mini AGI sur certains segments

Au fur et à mesure que nous progressons vers des modèles de plus en plus performants, nous sommes également confrontés à des problèmes de plus en plus complexes. L'un des défis majeurs auxquels OpenAI est confronté concerne la disponibilité des données de formation. Avec le web saturé de données textuelles ouvertes, la tâche suivante serait de scrapper des plateformes comme YouTube, une tâche techniquement complexe.

La véracité de l'information représente un autre problème. GPT4, comme les autres modèles de langage de grande taille, est orienté vers les probabilités, et non vers les vérités. Il est capable de fournir une réponse erronée avec une assurance trompeuse. C'est une difficulté que GPT5 devra certainement surmonter.

En outre, il y a le défi de l'alignement. Comment pouvons-nous être sûrs que cet immense volume de données géré par GPT5 sera aligné avec nos normes et valeurs humaines ?

La mémoire à long terme est un autre domaine où GPT4 et les modèles similaires montrent des limites. Il est impossible d'enseigner à GPT4 de nouvelles informations sans qu'il n'en efface d'autres lorsqu'il a accumulé trop de données.

Enfin, il y a la sensibilité du prompt. Modifier un seul mot peut changer l'intégralité de la réponse, ce qui ajoute une couche supplémentaire de complexité à la maîtrise de ces outils.

Conséquences et opportunités de GPT5 et d'une AGI sur le monde

Comme toute technologie disruptive, GPT5 et l'éventuelle réalisation d'une AGI complète auront un impact majeur sur notre société. Du côté positif, ces outils peuvent augmenter considérablement la productivité, améliorer la prise de décision, démocratiser l'accès à l'éducation et accélérer la recherche.

Cependant, il faut également être conscient des conséquences négatives potentielles. L'automatisation de nombreux emplois pourrait avoir un impact dévastateur sur certaines industries et certains travailleurs. Par ailleurs, la crainte que les avantages de l'IA ne soient pas également répartis, accentuant ainsi les inégalités sociales, est une réalité à ne pas négliger.

En outre, des questions de sécurité se posent, comme le risque accru de fausses nouvelles et de manipulation. Pourtant, ces problèmes ne sont pas insurmontables. Ils demandent une attention particulière, des réglementations adéquates et une prise de conscience de l'importance de l'éthique dans le domaine de l'IA.

En conclusion, le développement de GPT5 par OpenAI s'annonce comme une étape importante vers la réalisation d'une AGI complète. Malgré les nombreux défis techniques et éthiques à surmonter, les potentialités d'un tel système sont immenses et pourraient redéfinir notre interaction avec la technologie. Alors que nous nous dirigeons vers cette nouvelle ère, il est essentiel de continuer à questionner et à débattre des implications de ces avancées afin de garantir que l'IA nous aide à créer un avenir meilleur pour tous.

Conclusion

L'arrivée potentielle de GPT5 et le cheminement vers l'AGI soulèvent de nombreuses interrogations. Alors que les prédictions se multiplient, les défis techniques et éthiques augmentent également. Il est important de continuer à suivre ces évolutions, à questionner les opportunités et les risques, et à veiller à ce que les développements futurs de l'IA soient réalisés de manière responsable et équitable. En définitive, le futur de l'IA est entre nos mains.

Article condensé via mes notes autour de GPT5 :

• Vidéos segmentés en 3 parties
  • Point actuel autour de GPT4, du concept d’AGI & le concept d’IA Multimodal
  • GPT5
    • À quoi s’attendre ?
    • Informations & Date
    • Les problèmes présents / futurs que va rencontrer OpenAI
  • Et une toute petite parenthèse sur les conséquences de GPT5 / d’une AGI sur le monde, mais une vidéo dédiée arrive si le sujet vous intéresse.
• J’accumule des infos sur GPT5 depuis ~6 mois, mais j’attendais une confirmation que ça bouge du côté de chez OpenAI pour vous faire cette vidéo
  • OpenAI à déposé le nom GPT5 il y a moins de 24 heures : https://twitter.com/DataChaz/status/1686368934390611969
• Pas mal d’infos et terme techniques, mais je vais essayer de vulgariser au maximum, si vous comprenez un point, n’hésitez pas à venir poser la question sur le Discord

GPT4, AGI & IA Multimodal

• GPT4 a bluffé le monde de l’IA par son “intelligence”, malgré que les résultats de GPT4 à certains problèmes soient bluffants, c’est une IA générative (elle est limité à deviner le prochain mot)
• On se retrouve donc avec un GPT4 qui s’apparente aux prémices d’une AGI : Intelligence artificielle générale !
  • Une AGI complète serait capable de faire tout ce qu'un humain peut faire. Elle pourrait comprendre le langage naturel, reconnaître des objets et des visages, prendre des décisions complexes, apprendre de nouvelles compétences et bien plus encore.
  • C’est un concept encore lointain, mais GPT4 coche plusieurs cases d’une petite AGI
    • Compréhension du langage naturel
    • Génération de contenu écrit
    • Réponses aux questions
    • Traduction de langues
    • Conversations
  • D’après Microsoft GPT4 est une première étape vers l’AGI : https://arxiv.org/pdf/2303.12712.pdf GPT4 est capable de résoudre des problèmes complexes qu’on lui soumet.
• Ensuite on à le concept d’une IA multimodal, une promesse d’OpenAI qui ne s’est pas encore concrétisé à 100% sur ChatGPT directement

  • Une IA multimodal est capable de se baser sur des entrées autres que du texte, de l’analyser et de renvoyer d’autres sorties que du simple texte

    

  • Aujourd’hui, on a des IA multimodal partielle, par exemple Bard est capable d’analyser une image, BingAI est également capable.

    • GPT4 capable de capter l’humour d’une photo : https://twitter.com/swyx/status/1680362482664374272
    • Bard capable de recoder un screenshot : https://twitter.com/sirjoeldean/status/1679738138166706176?s=20

  • Depuis peu Code Interpreter permet d’interagir avec ces 3 types d’entrées, on avance donc encore sur les IA Multimodal

  • Travaux de Meta à ce sujet : https://ai.meta.com/blog/imagebind-six-modalities-binding-ai/https://ai.meta.com/blog/imagebind-six-modalities-binding-ai/

• GPT3.5 et GPT4 sont des “Large language model”, Modèle de Langage de Grande Taille
  • Ces modèles apprennent à partir des données de texte qu'ils reçoivent, en identifiant les modèles et les structures dans le texte. Ils n'ont pas une compréhension innée du langage ou des règles grammaticales, mais apprennent plutôt ces règles en observant comment les mots et les phrases sont structurés dans les données d'entraînement.
  • D’après Yann Le Cun, les LLM seront dépassés dans 5 ans

GPT5

À quoi s’attendre ?

• Si on suit la logique, GPT4 ayant 10x + de params que GPT3.5 (voir ma vidéo sur le fonctionnement de GPT4) GPT5 devrait avoir 10x + de params

  • Si on devait entrainer GPT4 maintenant, ça couterait 2 à 3 moins chères à OpenAI qu’il y a 10-12 mois, quand ils l’ont entrainé. Ça confirme donc qu’ils auraient l’argent pour entrainer GPT5.
  • Pertinence multiplie par 2 et par 3-4 sur certains sujets. Le nombre de params n’est pas directement corrélé avec la pertinence
  • OpenAI aurait récemment commandé 25,000 GPU (le nombre de GPU qu’ils ont du loué pendant 3 mois pour entrainer GPT4), et aimerait atteindre les 100,000 : https://www.omgpu.com/openai-pourrait-creer-un-modele-dia-avance-qui-connecte-10-millions-de-gpu-nvidia/

• Un multimodal très poussé, voir 100% ok : Selon moi, ils incluront des plugins codés sur les 4 + 1 types d’entrées (Images, Son, Vidéos, Texte et pourquoi pas stats), pour avoir un maximum de stabilité. J’ai du mal à voir un Code Interpreter amélioré pour gérer l’aspect multimodal !

• 64, 128 ou 256k de tokens : Comme Claude100k, mais avec la pertinence de GPT5

• Fin du système de LLM : Vers un nouveau type de modèle ?

• Un changement d’algo pour favoriser la mémoire à longterme

  • Ou des modules externes en prévisions

• Intégration d’une reconnaissance vocale via Whisper, une librairie OpenSource d’OpenAI

• Une véracité accrue, ou au moins une précision plus claire quand l’IA invente.

• La prise de conscience du temps, comme Llama 2, on devrait pouvoir fixer la date limite sur laquelle peut se baser GPT5

  

• Une petite AGI complète ?

Informations & Date

• OpenAI n’entraîne toujours pas GPT-5 en juin 2023 : https://www.youtube.com/watch?v=H1hdQdcM-H4
• Une information importante pour cette section : l’entrainement de GPT4 à nécessité 25,000 GPU et demandé 90 jours et 6 mois de tests & améliorations avant d’être publiquement publié.
• Les informations qu’on a vienne de Siqi Chen, un entrepreneur de la Silicon Valley très proche de l’équipe d’OpenAI : https://twitter.com/blader/status/1640217165822578688
• Il y a 4 mois : d’après Siqi Chen, un invest d’OpenAI, GPT5 devrait être prêt fin décembre (pas disponible publiquement) : https://intelligence-artificielle.developpez.com/actu/343590/Le-PDG-d-OpenAI-confirme-que-l-entreprise-ne-travaille-pas-actuellement-sur-GPT-5-Nous-ne-le-faisons-pas-et-ne-le-ferons-pas-avant-un-certain-temps/
  • Sam Altman a démenti quelques jours après, en indiquant que l’entrainement de GPT5 n’était pas à l’ordre du jour
• GPT4.5 serait attendu pour Octobre / Novembre
• GPT5 pour milieu 2024, donc Septembre

Les problèmes présents / futurs que va rencontrer OpenAI avec GPT5 pour s’approcher d’une mini AGI sur certains segments

• Problème d’entrainement, sur le web il n’y a plus assez de data texte open, ils vont être obligé de scrapper Youtube ou autre, c’est complexe techniquement.
• Le problème de la véracité de l’information : GPT4 à du mal avec la vérité, il est capable de vous apporter une mauvaise réponse en étant sur de lui et de manière très discrète. GPT4 et les modèles LLM sont orientés probas, et non vérités, si la suite d’un mot correspond en terme de proba, ils l’enverront, même si ce mot transforme la phrase en fausse réponse.
• Le problème de l’alignement : Comment être sur que cette immense quantité de data géré par GPT5 sera aligné avec nos règles en tant qu’humain
• Mémoire à longterme : Impossible d’apprendre à GPT4 de nouvelles informations, il en effacera certaines quand il en aura trop accumulés.
• Sensibilité du prompt, vous changez un mot et l’ensemble de la réponse peut changer

Conséquences / opportunités de GPT5 / d’une AGI sur le monde

• Opportunités : Productivité accrue, Amélioration de la prise de décision, Accès à l'éducation, Amélioration de la recherche
• Conséquences : Automatisations de pas mal de jobs, Inégalités IA, Il existe des craintes que les avantages de l'IA ne soient pas répartis également et Sécurité (Fake news, Manipulation, etc)