IA & Hermann Rorschach
-
@sqallax je pense que le problème que tu soulèves et lié à une représentation erronée de ce qu'est un llm (la faute aux fausses promesses marketing de la startup nation et aux journalistes non spécialisés...). As tu entendu parler des RAG?
-
@Dave2000 Je peux pas lire et synthétiser 50 livres en une demie-heure non. Le travail c'est de sélectionner les sources en fonction de ce que l'on veut, ce n'est pas forcément une mince affaire.
-
Au final quand on regarde youtube, la ligne "l'IA" va détruire le monde" est assez mainstream. Avec son corollaire des investissements massifs dans la chose, à l'image du discours et des actions de Musk. "Ils se moquent bien de ce que vous pensez. Ils veulent que vous le pensiez sans nuance."
-
@Dave2000 Du vieux qui picolent doit y en avoir oui mais comme je ne participe jamais aux soirées du Beaujolais nouveau je communique rarement avec eux…
Puis au moment où ON se pose une question ON doit avoir tout de suite la réponse c’est la nouvelle règle : exit toute forme de frustration ! Tu penses quand même pas que je vais prendre mon tel et appeler tous les p’tits vieux de la commune dis !
(C’est quoi du capivin sinon ? J’ai pas encore posé la question à chtgpt viiite !) -
Tiens, ta tête a encore explosée ! Le Capivin, c' est une marque de vin blanc vraiment pas très bon du tout qu' on pouvait trouver dans les épiceries de nuit alsaciennes quand Aphex twin chantait "come to daddy".
@funge le truc est que tout Youtube est mainstream ...
Tu n' as pas répondu à propos de "l' infrastructure" évoquée par Julien ? T' as des processeurs chinois ?? -
A propos de l' aspirateur grandes contenances auquel Julien fait allusion plus haut :
https://datascientest.com/retrieval-augmented-generation-tout-savoirLe RAG illustre parfaitement comment la synergie entre différentes branches de l’IA peut conduire à des avancées significatives promettant de repousser encore les limites de ce que l’IA peut accomplir.
LOL
-
https://www.courrierinternational.com/article/technologie-comment-l-ia-devore-la-terre_229349
Technologie. Comment l’IA dévore la Terre
Gourmande en énergie, en eau et en minerais, l’intelligence artificielle est au cœur de la course aux ressources qui oppose les grandes puissances. D’après l’hebdomadaire allemand “Die Zeit”, son essor pourrait même mener à une lutte pour les terres rares, lancée sur Terre et dans l’espace, au détriment du combat contre le dérèglement climatiqueUne puissance qui change tout sur son passage : le moindre recoin de la planète, le moindre aspect de la vie humaine. “L’intelligence artificielle [IA] a une composante physique énorme, déclare Kate Crawford. Ses infrastructures engloutissent des quantités incroyables de ressources.” Eau, énergie, minerais, données, main-d’œuvre. Pourtant, “IA”, ça fait virtuel. On pense à un nuage de données. Comme si tout cela n’avait aucun prix. “Un malentendu dangereux”, précise Kate Crawford. Elle est bien placée pour le savoir. Cette professeure [australo-]américaine est experte en intelligence artificielle et compte parmi les cent spécialistes les plus importants au monde.
Mais surtout, elle a compris il y a quelques années le prix qu’avait l’IA. À l’époque, la chercheuse s’était rendue à Silver Peak, un trou perdu du Nevada. Elle s’était retrouvée dans le désert, devant des lacs d’un vert malsain qui s’évaporaient au soleil – jusqu’à ce que toute l’eau ait disparu et qu’il ne reste plus qu’un de ces matériaux que le monde s’arrache : le lithium. “Les minerais sont la colonne vertébrale de l’IA, l’énergie son élixir de vie”, écrivit-elle plus tard dans un livre. -
@Dave2000 je vois pas la réf. Le hardware est dépassé oui il a atteint ses limites. Aussi parce qu'on s'obstine à faire des gros modèles omnipotents pour satisfaire aux modèles économiques.
-
@Judex-Franju a dit dans IA & Hermann Rorschach :
son essor pourrait même mener à une lutte pour les terres rares, lancée sur Terre et dans l’espace, au détriment du combat contre le dérèglement climatique
Ouh là là ! -
C'est un des enjeux de la guerre à l'est ouai. Le climat je vois pas trop le rapport. Mars se réchauffe aussi alors qu'il n'y a ni vache ni barbecue, ni industrie lourde, ni italo-dance, et ce n'est pas la seule.
-
@dada a dit dans IA & Hermann Rorschach :
@Judex-Franju a dit dans IA & Hermann Rorschach :
son essor pourrait même mener à une lutte pour les terres rares, lancée sur Terre et dans l’espace, au détriment du combat contre le dérèglement climatique
Ouh là là !... et l' éradication du gluten ? Ouai hein ...
-
@funge
@Julien-Millot a dit dans IA & Hermann Rorschach :@funge , tu disposes de l'infrastructure pour faire de l'entraînement de modèle ?
-
@Dave2000 tu peux louer des gpu sur divers sites dont google ou aws pour quelques centimes de l'heure. En local aussi c'est possible pour des petits modèles avec une carte graphique, à partir de 8go de vram je pense
-
@Dave2000 tu parles d'inférence pas d’entraînement. Avec l'infra dont tu parles tu peux effectivement fine-tuner un modèle de diffusion mais certainement pas l'entrainer. J'ai un GPU compatible CUDA sur mon laptop et une instance de stable diffusion (ainsi que ollama pour inférer des llm open sourcés) qui tourne parfaitement bien en local y compris pour du Low Rank, mais d'ici à entraîner mon propre llm ou modèle de diffusion localement c'est pas demain la veille.
-
@Julien-Millot c'est possible sur du texte je pense, ou même des images mais là le problème c'est le temps que ça va prendre.
-
@funge a dit dans IA & Hermann Rorschach :
@Julien-Millot c'est possible sur du texte je pense, ou même des images mais là le problème c'est le temps que ça va prendre.
Tu peux effectivement entraîner un modèle "léger", (300 millions de poids) sur un ordi de gamer en 5 ou 6 jours mais ça reste très théorique. Le gros problème c'est qu'avec une infra bricolée (et un data set que tu auras volé toi même, soyons clair) tu as énormément de risque que ça crash et dans ce cas là il faut comprendre d'où ça vient et reprendre de zéro... Et lorsque tu auras éventuellement réussi à entraîner ton modèle de 300M avec un dataset tout pété, tu auras potentiellement l'impression de parler à un copain sous cocktail chimique n'ayant pas dormi depuis 3 jours en free party
-
@Julien-Millot tu peux sauvegarder ton training régulièrement au nombre d'epochs ou de steps que tu veux. Un pc de gamer si c'est du haut de game ça doit être abordable pour les plus petits modèles d'image ou les loras. Faut tester pour savoir, comme souvent dans ce domaine, je suis moins pessimiste que toi en tout cas.
Edit: ici il fait un lora sur sd1.5 en 20mn avec 8go de vram et 16mo de ram, une carte moyenne gamme.
-
@funge oui pour du low rank, mais c'est pas vraiment de l'entraînement c'est plus de l'optimisation de poids. C'est juste que tu avais l'air de dire qu'on pouvait facilement s'émanciper des gros modèles propriétaires en entraînant sur des datasets perso... Pour le moment c'est pas vraiment le cas à performances équivalentes... Et je suis pas pessimiste 😁 ça bouge vite (yaqua voir ollama comment ça s'est étoffé)
-
@Julien-Millot pour les chatbots oui c'est possible. Du fine tune oui à partir de llm open sources. Pas avec mon téléphone par contre donc je peux pas tester. je faisais tout par cloud quand j'avais un ordi. ça coûtait quelques euros pour un training.
-
