Evaluation des LLM quantizés dans un pipeline RAG à faibles ressources pour la protection des données

Abstract

Les grands modèles de langage (LLM) ont connu une évolution remarquable ces dernières années. Cependant, ils présentent certaines limites telles que le fait que leurs connaissances restent figées aux données de leur entrainement. Face à cette contrainte, des techniques d’enrichissement spécialisé sont développées, c’est le cas de la génération augmentée par récupération (RAG). Le RAG introduit un nouveau paradigme pour améliorer les performances des LLM en ancrant la génération des réponses dans une base de connaissance externes à ces derniers. Cette étude se veut une contribution dans la démocratisation de l’évaluation des LLM en identifiant les éléments constitutifs d’un pipeline RAG dans un contexte de faibles ressources computationnelles. Elle permet aux usagers désireux d’évaluer des LLM de pourvoir choisir le mieux adapté à leur besoin en établissant leur propre benchmark d’évaluation. Elle évalue enfin un micro-benchmark sur la protection des données dont il ressort que les LLM les plus grands ne sont pas forcément les mieux adaptés.