Le paramètre dropConcepts permet de spécifier une liste de concepts primaires à exclure des tables CAS de sortie. Si une chaîne correspond au nom d'un concept de sortie, les résultats pour ce concept sont supprimés. Cette fonctionnalité est utile pour limiter le nombre de concepts prédéfinis inclus dans la sortie, tout en les conservant dans le modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting)..
Comment exclure certains concepts primaires des résultats d'extraction ?
Filtrage des Résultats : Le Paramètre dropConcepts
Exemples pour l'action applyConcept
Application du modèle de concept de base
Cet exemple illustre l'extraction d'entités via l'action applyConcept. Sans paramètre model, le moteur NLP déploie son modèle LISI natif pour isoler types d'entités et faits structurés.
Extraction avancée avec filtrage de concepts et optimisation mémoire
Cet exemple optimise l'action applyConcept : segmentation par chunks de 16 Ko, filtrage sélectif via dropConcepts et traçabilité des règles avec ruleMatchOut pour un scoring haute précision.
Conseil de l'Expert
Dans le développement de modèles LITI (Linguistic Information Text-Processing), nous créons très souvent des "sous-concepts" ou concepts intermédiaires. Ces briques de base sont indispensables pour construire des règles complexes (comme des SEQUENCE ou des PREDICATE_RULE), mais elles n'ont aucune valeur pour l'analyste métier final et ne font qu'alourdir la table CAS de sortie.
La meilleure pratique consiste à utiliser systématiquement dropConcepts pour masquer ces briques techniques au moment du scoring. C'est également extrêmement utile lorsque vous utilisez les modèles pré-entraînés de SAS (les concepts Out-of-the-Box) et que vous souhaitez ignorer certaines entités nommées par défaut (par exemple, exclure nlpDate ou nlpMeasure si vous vous concentrez uniquement sur nlpPerson et nlpOrganization). Cela permet de garder un modèle robuste tout en garantissant une table de résultats propre, légère et directement exploitable pour la DataViz.
La meilleure pratique consiste à utiliser systématiquement dropConcepts pour masquer ces briques techniques au moment du scoring. C'est également extrêmement utile lorsque vous utilisez les modèles pré-entraînés de SAS (les concepts Out-of-the-Box) et que vous souhaitez ignorer certaines entités nommées par défaut (par exemple, exclure nlpDate ou nlpMeasure si vous vous concentrez uniquement sur nlpPerson et nlpOrganization). Cela permet de garder un modèle robuste tout en garantissant une table de résultats propre, légère et directement exploitable pour la DataViz.
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Comment définir la table CAS source des documents à analyser ?
Comment fournir un modèle d'extraction de concepts personnalisé (fichier LI) ?
Quelle option permet de capturer les informations sur les correspondances de faits dans une table CAS distincte ?
Quel paramètre identifie la colonne des identifiants de document dans la table CAS ?
Quelles sont les options de correspondance pour l'extraction de concepts et leur impact ?