Writer émerge comme un acteur audacieux dans le domaine des grands modèles de langage (LLM). Alors qu’OpenAI s’impose avec ses solutions génératives, Writer mise sur une approche radicalement différente et innovante. En se concentrant sur des modèles verticaux adaptés à des secteurs spécifiques, cette entreprise bouleverse les paradigmes traditionnels.
Des coûts d’entraînement réduits et une qualité de réponse supérieure définissent sa stratégie. L’optimisation des données grâce à des techniques avancées permet à Writer de rivaliser directement avec des géants tel que GPT-4. À la croisée des chemins entre efficacité et éthique, Writer annonce un avenir où la personnalisation des modèles ne sera plus seulement une option, mais une nécessité.
Basée à San Francisco, la société Writer s’impose comme un acteur innovant dans le domaine des grands modèles de langage (LLM). Depuis sa création en 2020, elle a réussi à lever 326 millions de dollars, attirant l’attention pour son approche unique axée sur la verticalisation des modèles de langue. Contrairement à OpenAI, qui se concentre sur des modèles généralisés tels que ChatGPT, Writer développe des LLM spécialisés adaptés à divers secteurs, comme le retail, la finance, la santé ou encore le support client.
Une méthode d’entraînement novatrice
Writer a conçu son propre LLM, nommé Palmyra, qui comprend 20 milliards de paramètres. Ce modèle a été entraîné sur 800 milliards de tokens, composés en grande partie de données synthétiques. Cette approche permet de contourner les coûts élevés liés à la labellisation manuelle des informations d’entraînement, que l’on estime à 100 millions de dollars pour GPT-4. L’investissement de Writer pour son modèle se chiffre à seulement 700 000 dollars, une différence significative qui témoigne de sa stratégie efficace.
Kev Chung, chief strategy officer de Writer, souligne que « créer un LLM qui coûte plus cher que ce qu’il rapporte n’a aucun sens ». Cette déclaration met en exergue l’importance de l’efficience et de la précision dans le développement des modèles d’IA. Writer réussit à offrir des résultats plus performants grâce à sa stratégie de verticalisation, tout en minimisant les coûts.
Des données à l’appui des performances
Pour développer ses LLM, Writer s’appuie également sur des données d’entraînement sous licences, permettant de justifier la pertinence et la robustesse des résultats obtenus. Ce choix stratégique vise à limiter le risque d’hallucinations – un problème récurrent avec certains modèles d’OpenAI.
Writer adopte également des techniques de modèles auto-évolutifs, contraires aux systèmes traditionnels statiques. Ces modèles intègrent de nouvelles informations au fil du temps, améliorant leur précision et leur pertinence. Ils se basent sur trois éléments clés : une mémoire intégrée, un apprentissage basé sur l’identification d’incertitudes et un processus autonome de mise à jour des connaissances.
Génération augmentée de récupération
Un mécanisme novateur de génération augmentée de récupération (RAG) orienté graph est également en cours de développement. Grâce à ce procédé, Writer parvient à améliorer le degré de précision des réponses générées à partir des bases documentaires de ses clients. En exploitant les relations sémantiques, Writer exécute des analyses robustes et rapides, transformant les données en informations exploitables.
Une vision d’automatisation des workflows
Writer envisage un avenir où les LLM deviendront une commodité. La société projette de proposer une plateforme personnalisable, permettant aux clients d’adapter les modèles de langue avec leurs propres données. Kev Chung insiste sur l’importance d’intégrer ces modèles aux applications courantes utilisées par ses clients, comme Salesforce et d’autres logiciels de grande envergure.
Les progrès réalisés par Writer expérimentent la révolution agentique, où les modèles se connectent à diverses applications tierces pour automatiser les workflows. Par exemple, dans le marketing, il est envisageable de créer un produit et de gérer tous les contenus associés via une intégration fluide avec des outils comme Salesforce.
Une clientèle prestigieuse
Writer a déjà réussi à séduire un grand nombre de clients, parmi lesquels figurent des entreprises réputées telles qu’Accenture, Goldman Sachs et Jaguar Land Rover. La société compte également sur la coopération du français L’Oréal, qui déploie les solutions de Writer dans ses différentes géographies. Fort de 500 employés, Writer s’est internationalisé, avec des bureaux à New York, Londres et Singapour.
Avec des ambitions croissantes, Writer se concentre sur la recherche et le développement, notamment dans l’amélioration des modèles auto-évolutifs pour renforcer leur efficacité. Le souhait de Writer est de s’intégrer harmonieusement aux applications que ses clients utilisent quotidiennement, maximisant ainsi les avantages des nouvelles technologies.
Questions et réponses sur Writer, un expert en LLM qui prend le contre-pied d’OpenAI
Qu’est-ce que Writer et comment se distingue-t-il d’OpenAI ?
Writer est une entreprise spécialisée dans le développement de modèles de langue verticaux, offrant des solutions adaptées à des domaines spécifiques comme le retail, la finance et la santé. Contrairement à OpenAI, qui propose des modèles généralistes, Writer se concentre sur l’efficacité et la précision en créant des LLM spécialisés.
Quels sont les avantages d’utiliser des LLM verticaux développés par Writer ?
Les LLM verticaux de Writer sont conçus pour donner des résultats plus précis et performants en fonction des besoins spécifiques des industries. Cela permet de réduire les erreurs et d’améliorer la pertinence des réponses fournies, en ajustant le modèle aux contextes applicatifs.
Comment Writer aborde-t-il les questions de coût dans le développement de ses LLM ?
Writer met l’accent sur l’optimisation des coûts en utilisant des données synthétiques pour entraîner ses modèles, ce qui limite les dépenses d’apprentissage à environ 700 000 dollars, tout en évitant les coûts élevés associés à la labellisation manuelle des données.
Quelles technologies Writer utilise-t-il pour limiter les risques d’hallucinations dans ses LLM ?
Writer utilise des données d’entraînement sous licences pour garantir que les résultats sont pertinents et maîtrisés, réduisant ainsi le risque d’hallucinations, c’est-à-dire des réponses incorrectes ou inexactes générées par le modèle.
Comment fonctionnent les modèles auto-évolutifs développés par Writer ?
Les modèles auto-évolutifs de Writer s’adaptent au fil du temps en intégrant de nouvelles informations. Ils reposent sur une mémoire intégrée, un apprentissage basé sur l’identification des incertitudes et un processus autonome de mise à jour des connaissances, ce qui améliore leur précision.
En quoi consiste la stratégie de génération augmentée de récupération (RAG) orientée graph de Writer ?
Cette stratégie permet d’améliorer la précision des réponses générées à partir des bases documentaires des clients grâce à l’analyse des relations sémantiques. Cela permet d’effectuer des analyses plus robustes et rapides pour des résultats encore plus pertinents.
Quels sont les principaux clients de Writer et dans quels secteurs opèrent-ils ?
Writer compte parmi ses clients de grandes entreprises telles qu’Accenture, Goldman Sachs, Nvidia et L’Oréal, opérant dans des secteurs variés comme la finance, le retail et les soins de santé.
Quels objectifs de recherche et développement Writer vise-t-il pour l’avenir ?
Writer se concentre sur l’intégration de sa plateforme avec des applications utilisées par ses clients, comme Salesforce et Adobe, et envisage des avancées dans le développement de modèles auto-évolutifs pour augmenter l’efficacité et la précision.
Comment Writer envisage-t-il l’avenir des LLM ?
Writer prévoit que les LLM deviendront une commodité, ce qui le pousse à développer une plateforme permettant aux utilisateurs de personnaliser les modèles de langue avec des données spécifiques à leurs besoins.