GPT-4o (abréviation de « GPT-4 omni ») est un transformateur pré-entraîné génératif (grand modèle de langage, ou LLM) multilingue et multimodal conçu par l'entreprise OpenAI.
Il est dit multimodal (OpenAi parle d'« omnimodèle », d'où la lettre « O » ou l'appellation « omni »)[2] c'est à dire qu'il peut à la fois, et en temps réel, traiter et générer : du texte, du son et des images. Il peut converser avec un ou plusieurs interlocuteurs, en plusieurs langues, en utilisant la parole en temps réel. Utilisé via un smartphone, il peut même adapter ses réponses après avoir analysé l'environnement visuel et les signaux émotionnels de ses interlocuteurs.
Son API est deux fois plus rapide que son prédécesseur, GPT-4 Turbo[3]. Son nouveau tokenizer utilise moins de tokens, notamment pour les langues non basées sur l'alphabet latin, ce qui rend ce modèle moins « coûteux » en ressources pour ces langues[4].
Historique
Ce modèle a été annoncé par Mira Murati, CTO d'OpenAI, lors d'une démo diffusée en direct le 13 mai 2024, et intégré à ChatGPT le même jour ; soit la veille de « Google I/O », la conférence où Google annonce de nouveaux produits (Google est l'un des principaux concurrents d'OpenAI dans les domaines des LLM[5]).
Avant ce lancement, GPT-4o a été initialement lancé sur LMSYS, sous la forme de trois modèles différents : gpt2-chatbot, im-a-good-gpt2-chatbot et im-also-a-good-gpt2-chatbot. Le 7 mai 2024, Sam Altman a publié le tweet « im-a-good-gpt2-chatbot », interprété comme une confirmation du fait qu'OpenAI était responsable de ces nouveaux modèles (alors mystérieux) et effectuait des tests A/B[6].
Il ne sera gratuit via ChatGPT que pour un certain nombre de questions, en fonction du degré d'utilisation du modèle, et de la demande ; quand cette limite sera atteinte, ChatGPT basculera la conversation sur GPT-3.5.
Capacités
GPT-4o a obtenu des résultats de pointe sur des tests de performance en qualité vocale, vision et multilinguisme ; et selon OpenAI, il est 2 fois plus rapide, deux fois moins cher que GPT-4 Turbo[4].
- Contrairement à GPT-3.5 et GPT-4 (qui dépendent d'autres modèles pour traiter le son), GPT-4o prend en charge, nativement, les conversations vocales, avec des réponse plus fluides et rapides[4] (Remarque : cette fonctionnalité n'a pas encore été publiée, la fonctionnalité vocale de l'application ChatGPT est toujours l'ancienne version[7]).
- Son API est deux fois plus rapide que son prédécesseur, GPT-4 Turbo[3]. Ars Technica (mai 2024) note qu'une réponse à une entrée audio se fait en environ 320 millisecondes (moyenne), un score comparable au temps de la moyenne linguistique d'une réponse humains dans une conversation normale (« interaction verbale informelle » mesuré par une étude publiée dans PNAS en 2009). Ce délai est bien plus court que le décalage antérieur de 2 à 3 secondes qui caractérisaient les meilleurs des modèles précédents[2], et GPT-4o se comporte de plus en plus comme un locuteur humain, en répondant quand vient son tour, en évitant les lacunes et les chevauchements, en s'appuyant sur les indices fournis par la grammaire, la prosodie, le ton et le vocabulaire pour déterminer quand lancer sa réponse orale, dans un timing optimisé ;
- GPT-4o a battu de nouveaux records en termes de traduction automatique[8], avec plus de 50 langues prises en charge[10], couvrant donc plus de 97 % des locuteurs. Lors de l'événement de démonstration par OpenAI, en direct le 13 mai 2024, Mira Murati a montré la capacité multilingue du modèle en lui parlant en italien et en le faisant traduire entre anglais et l'italien[8].
- Le nouveau tokenizer réduit pour plusieurs langues le nombre de tokens nécessaires pour encoder des phrases, diminuant ainsi les coûts énergétiques et financiers pour les serveurs d'OpenAI. En particulier pour les langues qui ne sont pas basées sur l'alphabet latin[4].
- GPT-4o a atteint un score de 88,7 % au test de performance Massive Multitask Language Understanding (MMLU), contre 86,5 % pour GPT-4 Turbo.
- GPT-4o a été rapidement qualifié de chatbot émotionnel (par Ars Technica par exemple) car il peut, assez fidèlement, analyser les émotions des personnes qui interagissent avec lui. Il le fait en mode audio-vidéo via le micro et la caméra du smartphone ou de l'ordinateur, en exploitant des indices subtils détectés, via la caméra et le micro, dans les expressions faciales, le langage corporel (non verbal, avec par exemple, la position de la tête, des hochements de tête ou mouvements de négation, les jeux de regard ou mouvements de main, etc., qui chez l'humain s'intègrent dans la conversation, plus ou moins inconsciemment ou parfois intrusivement et ce, avant même les réponses verbales en général), ainsi que dans le ton de la voix[2]. Le modèle peut alors s'adapter, en temps réel, au contexte émotionnel de la conversation, et à l’humeur de l'interlocuteur en changeant notamment de ton et de style verbal d'une manière qui permet à l'intelligence artificielle d'engager des conversations bien plus naturelles et empathiques que précédemment avec les utilisateurs[2].
À son lancement en mai 2024, GPT-4o est le meilleur grand modèle de langage du classement Elo de LMSYS, avec un avantage particulièrement significatif en programmation informatique[11]. Une fois largement disponible, il aura accès à la navigation Web, à l’analyse des données, au GPT Store et à des fonctionnalités de mémoire jusqu'alors réservées aux abonnés à ChatGPT Plus, Team et Enterprise[2].
Jionghao Lin et al. (mai 2024) notent que dans le domaine éducatif ou professionnel, les rétroactions, bilans et corrections faites par ce type d'intelligence artificielle pourraient bénéficier de leur caractère nativement multimodal. En effet, de tels « feedback multimodaux » permettent a priori d'améliorer l'apprentissage grâce à des commentaires pouvant associer le son et l'image au texte habituel. Automatiser la production de feed-backs mobilisant trois canaux sensoriels pourrait permettre de renforcer les acquisitions, et ce pour un grand nombre d’apprenants[12].
Risques, limites, précautions
OpenAI se dit conscient des défis de sécurité et de protection des données alors que ce modèle fonctionne en temps réel. Selon OpenAI, pour accroître la sécurité des interaction des humains avec ce modèle :
- GPT-4o intègre la sécurité par son design initial, et pour toutes les modalités, grâce à des techniques de type filtrage des données d’entraînement ; l’affinement du comportement du modèle par post-entraînement ; filtrage des sorties vocales ;
- GPT-4o est testé par « une vaste équipe rouge externe avec plus 70 experts externes dans des domaines tels que la psychologie sociale, les biais les préjugés et l’équité et la désinformation, pour identifier les risques introduits ou amplifiés par les modalités nouvellement ajoutées ». Et les utilisateurs seront invités à signaler d'éventuels problèmes, au fur et à mesure de leur découverte »[2] ;
- GPT-4o est lancé avec quelques voix prédéfinies et respectant les politiques de sécurité de l'entreprise qui a stoppé.
