L’avenir incertain de l’IA face à l’épuisement des textes. 5x3q4g
L’intelligence artificielle (IA), avec des systèmes comme ChatGPT, dépend énormément des vastes collections de textes humains pour s’améliorer. Cette soif insatiable pour de nouvelles données pourrait bien atteindre ses limites, car les mots écrits par les humains ne sont pas une ressource infinie.
Lire aussi :
- Les Français résistent encore et toujours à l’envahisseur ChatGPT
- ChatGPT : La grosse alerte lancée par les employée d’OpenAi sur des accords curieux signés avec la firme
La course contre la montre pour les données 3sc3b
Selon une étude récente de Epoch AI, les entreprises technologiques pourraient épuiser la réserve disponible de données d’entraînement pour les modèles linguistiques d’IA d’ici 2032. Cela est souvent comparé à une « ruée vers l’or » qui finirait par tarir les ressources naturelles, une métaphore utilisée pour illustrer l’urgence et la frénésie autour de l’acquisition de nouvelles données.
Se tourner vers des sources alternatives 61m8
À court terme, des entreprises comme OpenAI, créateur de ChatGPT, et Google se précipitent pour sécuriser et parfois payer pour accéder à des sources de données de haute qualité. Ces efforts incluent des accords pour exploiter le flux constant de phrases issues de forums Reddit et de médias d’information.
Le dilemme à long terme 6p6r6o
À plus long terme, la production insuffisante de nouveaux blogs, articles de presse et commentaires sur les réseaux sociaux pourrait ne pas suffire à soutenir la trajectoire actuelle du développement de l’IA. Cela mettrait les entreprises sous pression pour exploiter des données sensibles actuellement considérées comme privées, telles que les e-mails ou les messages textuels, ou pour se reposer sur des « données synthétiques » moins fiables produites par les chatbots eux-mêmes.
Défis et solutions possibles 53g1o
Tamay Besiroglu, auteur de l’étude, met en lumière un « goulot d’étranglement sérieux ». Si les entreprises atteignent ces limites de données, elles ne pourront plus agrandir efficacement leurs modèles. Agrandir les modèles a été jusqu’à présent la méthode principale pour améliorer leurs capacités et la qualité de leurs sorties.
Renforcer l’utilisation des données existantes 235d4v
Au fil des ans, les chercheurs en IA ont développé de nouvelles techniques pour mieux exploiter les données déjà disponibles, parfois en « sur-entraînant » sur les mêmes sources plusieurs fois. Cependant, ces méthodes atteignent également leurs limites.
Perspectives d’experts extérieurs 4h71j
Nicolas Papernot, professeur adt en génie informatique à l’Université de Toronto, souligne qu’il n’est pas nécessaire de former continuellement des modèles plus grands. Former des modèles plus spécialisés pour des tâches spécifiques pourrait également améliorer les systèmes d’IA. Cependant, il exprime des inquiétudes quant à l’entraînement des systèmes d’IA générative sur les sorties qu’ils produisent eux-mêmes, ce qui peut mener à une baisse de performance connue sous le nom de « collapse du modèle ».
Réflexion sur les données créées par l’homme 5bx46
Ceux qui gèrent les trésors de données les plus recherchés, comme les sites Web Reddit et Wikipedia, ainsi que les éditeurs de nouvelles et de livres, doivent réfléchir sérieusement à la manière dont leurs données sont utilisées. Selena Deckelmann de la Wikimedia Foundation partage cette préoccupation, tout en espérant que les gens continueront de contribuer, surtout face à l’augmentation des contenus de faible qualité générés automatiquement.
L’Angleterre choque la communauté scientifique avec une utilisation nouvelle et insolite du charbon
Cet article explore la complexité des défis auxquels l’IA est confrontée avec l’épuisement potentiel des données textuelles. Le besoin croissant de données pour entraîner des modèles linguistiques sophistiqués pourrait bientôt se heurter à un mur, forçant l’industrie à innover ou à recourir à des mesures moins éthiques pour continuer à progresser.
Source : Cornell University
