WEKA améliore l'efficacité des jetons grâce à NVIDIA BlueField-4 STX

WEKA annonce son intégration à l'architecture de référence STX de NVIDIA, multipliant par 6,5 la production de jetons à capacité GPU égale. Cette avancée réduit considérablement les coûts d'inférence pour les organisations utilisant l'IA. L'intégration des technologies NeuralMesh™ et Augmented Memory Grid™ de WEKA sur NVIDIA STX offre un stockage mémoire à haut débit, essentiel au bon fonctionnement des opérations d'IA.

L'infrastructure de cache clé-valeur partagée résout le problème du coût d'inférence en conservant le contexte entre les agents et les sessions, éliminant ainsi les calculs redondants. Cette intégration est essentielle pour la mise à l'échelle des systèmes multi-agents, notamment en génie logiciel, où l'infrastructure mémoire constitue souvent un goulot d'étranglement.

Des entreprises innovantes en IA comme Firmus révolutionnent l'économie de l'inférence grâce à la technologie Augmented Memory Grid sur NeuralMesh. Cette solution promet des améliorations considérables en termes de réactivité et d'évolutivité, tout en maintenant des taux d'accès élevés au cache KV et en évitant la dégradation des performances typique des architectures basées uniquement sur la DRAM.