LEBIGDATA.FR I.A, Cloud & Cybersécurité
Les modèles d’IA capables de réfléchir et de vérifier leurs réponses deviennent plus simples – et nettement moins coûteux – à concevoir, on dirait. Le vendredi 10 janvier, par exemple, l’équipe NovaSky, du Sky Computing Lab de l’Université de Californie à Berkeley, a dévoilé Sky-T1-32B-Preview.
Il s’agit d’un modèle de raisonnement qui rivalise avec une version précédente d’o1 d’OpenAI sur plusieurs tests techniques majeurs. Ce qui le rend vraiment spécial , c’est le fait qu’il soit entièrement open source.
Les données d’entraînement et le code pour le reproduire de A à Z sont disponibles pour tout le monde. Il faut croire que ce Sky-T1-32B-Preview est unique en son genre, pour l’instant, du moins.
Au début, j’ai parié qu’il a coûté une fortune mais non…
Dans leur communiqué, les chercheurs de NovaSky ont souligné le détail qui m’a le plus impressionné : le modèle Sky-T1 n’a coûté que 450 dollars à entraîner. C’est tout sauf abordable j’en suis consciente.
Toutefois, il y a encore peu, concevoir un modèle similaire demandait des millions de dollars. Par exemple, Writer, une autre entreprise spécialisée, a récemment formé un modèle similaire, du nom de Palmyra X 004, pour environ 700 000 dollars.
Et jusqu’à vendredi, c’était le moins cher des coûts de développement d’IA de l’histoire. Mais là encore, on est à des milliers de kilomètres de 450 $. Comment est-ce possible ? Apparemment, les données d’entraînement synthétiques – c’est-à-dire générées par d’autres IA–, ont aidé à abaisser les coûts.
Je dois vous dire que contrairement aux IA classiques, les modèles de raisonnement, comme Sky-T1, prennent un peu plus de temps pour donner une réponse. Cependant, ils compensent largement avec une précision accrue et ça en vaut la peine.
Ils se vérifient eux-mêmes, réduisant ainsi les erreurs dans des domaines complexes comme la physique, les sciences ou encore les mathématiques.
Alors comme ça Sky-T1 est d’une performance digne de la version préliminaire d’o1 d’OpenAI ?
Au fait, pour entraîner Sky-T1, NovaSky a utilisé une méthode ingénieuse, ce qui me rappelle cette phrase que j’ai lu quelque part : « Les champions ne sont pas toujours les plus forts, ce sont les mieux entraînés. »
NovaSky a d’abord généré un ensemble de données grâce à QwQ-32B-Preview, le modèle développé par Alibaba. Ensuite, les informations ont été retravaillées avec GPT-4o-mini d’OpenAI.
En seulement 19 heures et grâce à huit GPU Nvidia H100, Sky-T1 a vu le jour, fort de ses 32 milliards de paramètres (l’équivalent de ses capacités à résoudre des problèmes).
Résultat : Sky-T1 a surpassé la version préliminaire d’o1 sur des tests exigeants comme MATH500 (une évaluation mathématique de haut niveau) et LiveCodeBench (un banc d’essai en programmation).
Dans d’autres domaines comme les sciences naturelles, testées via GPQA-Diamond, en revanche, il reste derrière o1. Malgré ses limites actuelles, Sky-T1 marque un pas de géant dans la démocratisation de l’IA avancée.
Et NovaSky assure que ce n’est qu’un début. L’équipe travaille, d’ailleurs, déjà sur des modèles encore plus performants et efficaces, tout en restant fidèles à l’open source.
Le message est clair : l’IA n’est plus réservée aux géants de la tech. Avec des outils open source et un coût réduit, chacun peut envisager de créer sa propre IA performante. Vous pouvez créer votre propre IA performante.
Ou bien cela ne vous bronche pas ?
Restez à la pointe de l'information avec LEBIGDATA.FR !
- Partager l'article :
