Web

5$/h – IA Générative et Modèles de Langage : Fondements, Entraînement et Déploiement

Objectifs : 

Ce cours vous apprendra à développer des applications NLP innovantes pour résoudre des problèmes complexes. Vous maîtriserez les bibliothèques de NLP avancées et explorerez les applications pratiques de ces technologies.

Contenu du cours : 

Séance 1 : Préparation de l’environnement de travail

• Introduction à l’Intelligence Artificielle
• Installation des bibliothèques nécessaires : TensorFlow, NLTK, spaCy, etc.
• Présentation de l’environnement de développement : Jupyter Notebook, Pycharm.

Séance 2 : Préparation des données pour le NLP

• Collecte de données : Web scraping, API, fichiers texte.
• Nettoyage des données : Traitement des données manquantes, suppression des stopwords, lemmatisation, etc.
• Prétraitement des données : Tokenization, vectorisation (Bag-of-Words, TF-IDF), etc.

Séance 3 : Réseaux de neurones récurrents pour le NLP

• Introduction aux RNN : Architecture, avantages, limites.
• Application des RNN dans le NLP : Modèles de langage, classification de texte, etc.
• Exemples de code : Utilisation de TensorFlow pour implémenter des RNN pour des tâches NLP.

Séance 4 : Les Transformers et les Large Language Models

• Présentation des Transformers : Architecture, mécanisme d’auto-attention, etc.
• Introduction aux Large Language Models : Architecture.
• Exemples de code : Implémentation des transformers avec Tensorflow et Keras.

Séance 5 : Entraînement, Évaluation et Applications des LLM

• Entraînement des LLM : Stratégies d’entraînement, gestion de la taille des lots, choix des hyperparamètres.
• Fine-tuning des modèles pré-entraînés : Utilisation de Hugging Face Transformers pour adapter des modèles à des tâches spécifiques.
• Applications des LLM : Résumé automatique, question-réponse, génération de texte, etc.

Séance 6 : Application – Mise en production d’une application basée sur la génération à enrichissement contextuel (RAG)

• Présentation de RAG : Architecture, avantages pour la génération de texte.
• Développement d’une application : Utilisation de RAG pour une tâche spécifique, par exemple, un chatbot.
• Déploiement de l’application : Utilisation de frameworks web pour déployer l’application, Docker, API REST, Gradio.

Préalables

Une bonne connaissance du langage de programmation Python.

Connaissances de base du domaine de l’apprentissage machine et le deep learning.