LinuxFr.org : les journaux  -  LLM (encore), effondrement et travail humain

 -  17 février - 

Cher Nal,

Oui encore un fil sur les LLM mais sur deux aspects qui n'ont pas été, me semble-t-il, abordés et liés :

• l'effondrement des modèles par alimentation par des données provenant d'autres modèles
• les besoins massifs de travailleurs pour servir les grands de l'IA.

Si dans les pays occidentaux, l'inquiétude concerne l'emploi, un documentaire sur France 2 sur Les sacrifiés de l'IA (pas vu) témoigne de l'ampleur et de l'exploitation de ces salariés. Je n'ai pas vu mais lu une interview du réal sur France Culture.
Seulement il est mentionné une étude de l'OIT (Organisation internationale du travail) et de la Banque mondiale qui révélerait que cette industrie numérique emploierait entre 150 à 430 millions de personnes dans le monde. Ce qui en ferait, même en fourchette basse, la première industrie de ce point de vue, et de loin.
Je n'ai pas trouvé ce document mais une page de l'OIT estimant à des dizaines de millions de personnes.
Si tant est que des prédictions dans cette société et ce domaine soient significatives, toujours selon ce docu, Google estimerait ainsi que les besoins monteraient à 1 milliards de personnes d'ici une décennie.

Quoiqu'il en soit Les conditions de travail sont éprouvantes, aussi intenses que répétitives, 10h/j et 6 ou 7/7j.
Le docu semble évoquer également les filtreurs des plateformes dont de nombreux sont atteints de stress post-traumatiques en étant soumis à des contenus violents.

Les grands de l'IA ne tiennent pas à parler de cet aspect (sauf Google ?) et des NDA sont demandées et parfois même des menaces pour ces salariés.

L'autre aspect est le phénomène d'effondrement lorsqu'un modèle est alimenté par les données générées par d'autres modèles.
Le phénomène était prévu, connu et observé. Mais certains pensent qu'il serait catastrophique pour les modèles actuels car leur correction serait impossible ou difficile et coûteuse. D'autres pensent qu'avec suffisamment de données réelles cela n'arrivera pas.
De ce que je retire de ma seule lecture sur le sujet, l'art. Wikipedia, (sur lequel les aspects mathématiques m'échappent), c'est, notamment, que ces données artificielles auraient notamment une variance en forte baisse.

Ainsi donc, on exploite des millions de gens pour raffiner et actualiser les corpus.
A la vitesse où le domaine évolue, si ce problème d'effondrement est résolu, ces gens serait lourdé rapidement et massivement.

Pour le moment, on abrutit des gens pour rendre des LLM plus « intelligents ». L'inanité de cette société dégénérée.

Liens :

• Docu FTV
• reportage FC
• page OIT

Nal, moules, auriez-vous des opinions et surtout des précisions ?

Commentaires : voir le flux Atom ouvrir dans le navigateur

par Quinane