Snowflake confie à Cortex AI Gateway le choix du modèle

Le routage dynamique doit orienter chaque requête vers un modèle adapté à sa complexité, en tenant compte de la qualité, de la rapidité et du coût d’inférence.

L’augmentation du nombre de modèles disponibles complique progressivement le fonctionnement des applications et des agents d’intelligence artificielle. Utiliser un modèle avancé pour chaque demande peut augmenter inutilement les coûts, tandis que sélectionner manuellement une solution différente pour chaque tâche oblige les équipes à multiplier les évaluations et les intégrations. Snowflake ajoute un mécanisme de routage dynamique à Cortex AI Gateway afin d’automatiser cet arbitrage. La passerelle examine la qualité attendue, la rapidité, les préférences du client et le coût avant d’orienter la requête. Les opérations répétitives ou peu complexes peuvent ainsi être confiées à des modèles moins consommateurs de ressources. Les tâches nécessitant un raisonnement plus approfondi sont dirigées vers des modèles plus avancés.

Un routage commun aux applications et aux agents

La fonctionnalité doit être intégrée à Snowflake CoCo et Snowflake CoWork. Elle pourra également être utilisée par des agents d’IA tiers connectés à Cortex AI Gateway. Les entreprises conserveront la possibilité de définir les modèles et les fournisseurs accessibles à leurs utilisateurs. Cette architecture doit permettre de modifier les règles de routage lorsque les performances, les prix ou la disponibilité des modèles évoluent. Les applications et les agents pourront alors utiliser de nouvelles options sans que les équipes aient à reconstruire leurs intégrations.

Snowflake présente deux tests internes pour illustrer les gains attendus. Des agents ayant utilisé le routage dynamique ont construit un pipeline dbt avec une efficacité en matière de tokens jusqu’à trois fois supérieure à celle d’une approche reposant uniquement sur un modèle avancé, pour un niveau de qualité annoncé comme identique. Lors d’une autre évaluation, des équipes d’ingénierie ont réalisé le même nombre de pull requests avec une efficacité supérieure de 25 %. Ces résultats proviennent de tests réalisés par Snowflake et pourront varier selon les workloads et les configurations.

Le routage dynamique traduit un changement dans la manière de concevoir les applications d’IA. Le choix du modèle ne serait plus figé lors du développement, mais réévalué pour chaque tâche en fonction de son niveau de complexité et des contraintes définies par l’entreprise.

L’article Snowflake confie à Cortex AI Gateway le choix du modèle est apparu en premier sur IA News.