Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

---

5. Évaluation de la qualité du clustering

L'analyse cluster consiste à décomposer un ensemble de données en sous-ensembles, chaque sous-ensemble est appelé un cluster et l'ensemble de tous les sous-ensembles est appelé un cluster de l'ensemble d'objets. Un bon algorithme de clustering doit produire des clusters de haute qualité et des clusters de haute qualité, c'est-à-dire que la similarité globale au sein des clusters est la plus élevée, tandis que la similarité globale entre les clusters est la plus faible.Étant donné que de nombreux algorithmes de clustering incluent$k$-L'algorithme de moyenne, l'algorithme DBSCAN, etc. nécessitent tous que l'utilisateur spécifie à l'avance le nombre de clusters dans le cluster$k$, par conséquent, la méthode d’estimation simple de k sera discutée ci-dessous.

(1) Estimation du nombre de clusters

De nombreux algorithmes de clustering tels que $k$-Les algorithmes de moyenne, même les algorithmes DIANA, etc., doivent spécifier le nombre de clusters à l'avance$k$,et$k$La valeur de affectera grandement la qualité du clustering. Cependant, le nombre de clusters doit être déterminé à l'avance.$k$ Ce n’est pas une tâche facile. Nous pouvons d’abord considérer deux cas extrêmes.
(1) Mettez l'ensemble des données$S$considéré comme un cluster, c'est-à-dire $k=1$, cela semble simple et pratique, mais les résultats de cette analyse groupée n'ont aucune valeur.
(2) Mettez l'ensemble de données$S$Chaque objet de est traité comme un cluster, c'est-à-dire soit $k=|S|=n$ , produisant ainsi le clustering le plus fin. Par conséquent, il n’y a pas de différence intra-cluster dans chaque cluster et la similarité intra-cluster atteint le niveau le plus élevé.Mais ce type de clustering ne peut pas être utilisé pour$S$fournir toute information sur$S$une description générale.
On voit que le nombre de clusters$k$devrait au moins satisfaire $2\le k\le n-1$, mais le nombre de clusters$k$La valeur exacte la plus appropriée reste ambiguë.
Généralement considéré,$k$La valeur de peut être estimée par la forme et l'échelle de la distribution de l'ensemble de données, ainsi que par la résolution de regroupement requise par l'utilisateur, et les chercheurs disposent de nombreuses méthodes d'estimation différentes, telles que la méthode du coude, la méthode de validation croisée et la théorie de l'information. méthodes basées, etc.
Un outil simple et couramment utilisé$k$La méthode d'estimation empirique de la valeur estime que pour ceux qui ont$n$Un ensemble de données d'objets, le nombre de clusters dans lesquels il est regroupé$k$Prendre $\begin{array}{r}\sqrt{\frac{n}{2}}\end{array}$ Il est approprié.À l'heure actuelle, selon les attentes moyennes, chaque cluster a environ$\sqrt{2n}$ objets.Sur cette base, certaines personnes ont proposé des restrictions supplémentaires supplémentaires, à savoir le nombre de clusters$k<\sqrt{n}$。
Par exemple, supposons$n=8$, puis le nombre de clusters $k=2$ est approprié, et en moyenne il y a 4 points par cluster, et selon la formule empirique supplémentaire$k<2.83$ .En utilisant ces deux informations sur le nombre de clusters$k$La formule empirique semble être expliquée d'un côté, dans l'exemple 10-5 $k=2$ est le nombre de clusters le plus approprié.

(2) Évaluation externe de la qualité

Si nous avons une bonne estimation du nombre de clusters$k$, vous pouvez utiliser une ou plusieurs méthodes de clustering, par exemple :$k$ -L'algorithme moyen, l'algorithme hiérarchique agglomératif ou l'algorithme DBSCAN effectue une analyse de cluster sur des ensembles de données connus et obtient une variété de résultats de clustering différents. La question est maintenant de savoir quelle méthode donne les meilleurs résultats de clustering, ou en d’autres termes, comment comparer les résultats de clustering produits par différentes méthodes. Il s’agit de l’évaluation de la qualité du clustering.
À l’heure actuelle, il existe de nombreuses méthodes parmi lesquelles choisir pour l’évaluation de la qualité du clustering, mais elles peuvent généralement être divisées en deux catégories, à savoir l’évaluation de la qualité externe (extrinsèque) et l’évaluation de la qualité interne (intrinsèque).
L'évaluation externe de la qualité suppose qu'un cluster idéal existe déjà dans l'ensemble de données (généralement construit par des experts) et le compare en tant que méthode de référence couramment utilisée avec les résultats de clustering d'un certain algorithme. Son évaluation comparative comprend principalement l'entropie de clustering et le clustering. sont deux méthodes courantes pour la précision des classes.

1. Méthode d'entropie de clustering

Ensemble de données hypothétiques S = { X 1 , X 2 , … , X n } S={X_1,X_2,…,X_n}S={X1​,X2​,…,Xn​},et T = { T 1 , T 2 , … , T m } T={T_1,T_2,…,T_m}T={T1​,T2​,…,Tm​} est le regroupement standard idéal donné par les experts, et C = { C 1 , C 2 , … , C k } C={C_1,C_2,…,C_k}C={C1​,C2​,…,Ck​} est déterminé par un algorithme sur$S$Un cluster de , puis pour le cluster$C_{je}$Par rapport au clustering de référence$T$L'entropie de clustering de est définie comme
$$E(C_{je}|T)=-\sum _{j=1}^m\frac{|C_{je}\cap T_j|}{|C_{je}|}{\log }_2\frac{|C_{je}\cap T_j|}{|C_{je}|}\text{\hspace{1em}(10-20)}$$ et$C$À propos des benchmarks$T$L'entropie de clustering globale de est définie comme tous les clusters$C_{je}$À propos des benchmarks$T$La moyenne pondérée de l'entropie de clustering, c'est-à-dire
$$E(C)=\frac{1}{\sum _{je=1}^k|C_{je}|}\sum _{je=1}^k|C_{je}|\times E(C_{je}|T)\text{\hspace{1em}(10-21)}$$ La méthode d'entropie de clustering estime que,$E(C)$ Plus la valeur est petite, plus$C$Par rapport à la ligne de base$T$Plus la qualité du clustering est élevée.
Il est à noter que le dénominateur du premier terme à droite de la formule (10-21)$\begin{array}{r}\sum _{je=1}^k|C_{je}|\end{array}$ est la somme du nombre d'éléments dans chaque cluster et ne peut pas être utilisé$n$ remplacer.Parce que seulement quand$C$Lorsqu'il s'agit d'un cluster de partitionnement, le dénominateur est$n$, et le dénominateur des méthodes de clustering générales, telles que le clustering DBSCAN, peut être inférieur à$n$。

2. Précision du regroupement

L'idée de base de l'évaluation de l'exactitude (précision) du clustering est d'utiliser le plus grand nombre de catégories du cluster comme étiquette de catégorie du cluster, c'est-à-dire pour le cluster$C_{je}$, s'il existe$T_j$faire ∣ C i ∩ T j ∣ = max ⁡ { ∣ C i ∩ T 1 ∣ , ∣ C i ∩ T 2 ∣ , ⋯ , ∣ C i ∩ T m ∣ } |C_icap T_j|=max{|C_icap T_1|,|C_icap T_2|,cdots,|C_icap T_m|}∣Cje​∩Tj​∣=max{∣Cje​∩T1​∣,∣Cje​∩T2​∣,⋯,∣Cje​∩Tm​∣}, on considère que$C_{je}$La catégorie est$T_j$ .Par conséquent, le cluster$C_{je}$À propos des benchmarks$T$La précision est définie comme
J ( C i ∣ T ) = max ⁡ { ∣ C i ∩ T 1 ∣ , ∣ C i ∩ T 2 ∣ , ⋯ , ∣ C i ∩ T m ∣ } ∣ C i ∣ (10-22) J(C_i|T)=frac{max{|C_icap T_1|,|C_icap T_2|,cdots,|C_icap T_m|}}{|C_i|}tag{10-22}J(Cje​∣T)=∣Cje​∣max{∣Cje​∩T1​∣,∣Cje​∩T2​∣,⋯,∣Cje​∩Tm​∣}​(10-22) et$C$À propos des benchmarks$T$La précision globale de est définie pour tous les clusters$C_{je}$À propos des benchmarks$T$La moyenne pondérée de la précision du regroupement, c'est-à-dire
$$J(C)=\frac{1}{\sum _{je=1}^k|C_{je}|}\sum _{je=1}^k|C_{je}|\times J(C_{je}|T)\text{\hspace{1em}(10-23)}$$ La méthode de précision du clustering estime que,$J(C)$ Plus la valeur est grande, plus le regroupement$C$Par rapport à la ligne de base$T$Plus la qualité du clustering est élevée.
De plus, généralement$1-J(C)$ appelé$C$À propos des benchmarks$T$ taux d’erreur global.Par conséquent, la précision du regroupement$J(C)$ Taux d'erreur important ou global$1-J(C)$ Petit, cela montre que l'algorithme de clustering peut mieux regrouper les objets de différentes catégories dans différents clusters, c'est-à-dire que la précision du clustering est élevée.

(3) Évaluation de la qualité interne

Il n'existe pas de références externes connues pour l'évaluation interne de la qualité, seuls des ensembles de données sont utilisés.$S$et regroupement$C$Évaluer les caractéristiques et les ampleurs intrinsèques d’un cluster$C$ la qualité de. Autrement dit, l'effet de regroupement est généralement évalué en calculant la similarité moyenne au sein des grappes, la similarité moyenne entre les grappes ou la similarité globale.
L'évaluation de la qualité interne est liée à l'algorithme de clustering. L'indice d'efficacité du clustering est principalement utilisé pour évaluer la qualité de l'effet de clustering ou pour juger du nombre optimal de clusters. L'effet de clustering idéal est d'avoir la plus petite distance intra-cluster et la plus petite. le plus grand cluster. Par conséquent, l’efficacité du clustering est généralement mesurée par une certaine forme de rapport entre la distance intra-cluster et la distance inter-clusters. Les indicateurs couramment utilisés de ce type comprennent l'indicateur CH, l'indicateur Dunn, l'indicateur I, l'indicateur Xie-eni, etc.

1. Indicateur CH

L'indice CH est l'abréviation de l'indice de Calinski-Harabasz. Il calcule d'abord la somme des carrés de la distance entre chaque point du cluster et son centre du cluster pour mesurer la proximité au sein de la classe, puis il calcule la somme des carrés de la distance ; entre chaque point central du cluster et le point central de l'ensemble de données à mesurer. La séparation de l'ensemble de données et le rapport séparation/proximité sont l'indice CH.
installation${\overline{X}}_{je}$représente un cluster$C$point central (moyenne),$\overline{X}$représente un ensemble de données$S$le point central de$d({\overline{X}}_{je},\overline{X})$ pour${\overline{X}}_{je}$arriver$\overline{X}$Une certaine fonction de distance de , puis le regroupement$C$La compacité d’un cluster intermédiaire est définie comme
$$\text{Tracerrrr}(UN)=\sum _{je=1}^k\sum _{X_j\in C_{je}}d(X_j,{\overline{X}}_{je}{)}^2\text{\hspace{1em}(10-24)}$$ Par conséquent, Trace(A) est le cluster$C$ La somme des carrés des distances entre les centres du cluster.Et le regroupement$C$Le degré de séparation est défini comme
$$\text{Tracerrrr}(B)=\sum _{je=1}^k|C_{je}|d({\overline{X}}_{je},\overline{X}{)}^2\text{\hspace{1em}(10-25)}$$ Autrement dit, Trace(B) regroupe$C$Chaque point central du cluster de$S$La somme pondérée des distances carrées à partir du point central de .
De là, si$\begin{array}{r}N=\sum _{je=1}^k|C_{je}|\end{array}$ L’indicateur CH peut alors être défini comme
$$V_{\text{CH}}(k)=\frac{\text{Tracerrrr}(B)/(k-1)}{\text{Tracerrrr}(UN)/(N-k)}\text{\hspace{1em}(10-26)}$$ La formule (10-26) est généralement utilisée dans les deux situations suivantes :
(1) Évaluez quel clustering obtenu par les deux algorithmes est le meilleur.
Supposons que deux algorithmes soient utilisés pour analyser l'ensemble de données$S$Une analyse groupée a été réalisée et deux clusters différents (tous deux contenant$k$clusters), le clustering correspondant à la valeur CH la plus grande est meilleur, car plus la valeur CH est grande, cela signifie que chaque cluster du cluster est plus proche de lui-même et que les clusters sont plus dispersés.
(2) Évaluez lequel des deux clusters avec un nombre différent de clusters obtenus par le même algorithme est le meilleur.
Supposons qu'un algorithme possède un ensemble de données$S$Une analyse de grappes a été effectuée et le nombre de grappes a été obtenu comme suit :$k_1$et$b_2$ Parmi les deux clusters, le résultat du clustering avec une valeur CH plus grande est meilleur, ce qui signifie également que le nombre de clusters correspondant à ce cluster est plus approprié.Par conséquent, en appliquant à plusieurs reprises la formule (10-26), nous pouvons également obtenir un ensemble de données$S$Le nombre optimal de clusters pour le clustering.

2. Indicateur Dunn

L'indicateur Dunn utilise des clusters$C_{je}$avec grappe$C_j$distance minimale entre $d_m(C_{je},C_j)$ pour calculer la séparation inter-clusters en utilisant le plus grand diamètre de cluster parmi tous les clusters max ⁡ { Φ ( C 1 ) , Φ ( C 2 ) , . . . , Φ ( C k ) } max{varPhi(C_1), varPhi(C_2),...,varPhi(C_k)}max{Φ(C1​),Φ(C2​),...,Φ(Ck​)} Pour caractériser l'étroitesse au sein d'un cluster, l'indice de Dunn est la valeur minimale du rapport entre le premier et le second, soit
VD ( k ) = min ⁡ i ≠ jds ( C i , C j ) max ⁡ { Φ ( C 1 ) , Φ ( C 2 ) , . . . , Φ ( C k ) } (10-27) V_D(k)=min_{i≠j}frac{d_s(C_i,C_j)}{max{varPhi(C_1), varPhi(C_2),...,varPhi (C_k)}}balise{10-27}VD​(k)=je=jmin​max{Φ(C1​),Φ(C2​),...,Φ(Ck​)}dm​(Cje​,Cj​)​(10-27) Plus la valeur de Dunn est grande, plus la distance entre les clusters est grande et meilleur est le clustering correspondant.Semblable à l'indice d'évaluation CH, l'indice Dunn peut être utilisé pour évaluer la qualité des clusters obtenus par différents algorithmes, et peut également être utilisé pour évaluer quels clusters obtenus par le même algorithme avec un nombre différent de clusters sont les meilleurs, c'est-à-dire qu'il peut être utilisé pour rechercher$S$le nombre optimal de clusters.

6. Exploitation minière aberrante

Les valeurs aberrantes sont des données spéciales dans l'ensemble de données qui s'écartent considérablement de la plupart des données. L'objectif des algorithmes d'exploration de données tels que la classification et le clustering introduits précédemment est de découvrir des modèles réguliers qui s'appliquent à la plupart des données. Par conséquent, de nombreux algorithmes d'exploration de données tentent de réduire ou d'éliminer l'impact des valeurs aberrantes et de réduire les valeurs aberrantes lors de la mise en œuvre de l'exploration. ou ignorés en tant que bruit, mais dans de nombreuses applications pratiques, les gens soupçonnent que la déviation des points aberrants n'est pas causée par des facteurs aléatoires, mais peut être causée par d'autres mécanismes complètement différents, qui doivent être découverts pour une analyse et une utilisation spéciales. Par exemple, dans des domaines d’application tels que la gestion de la sécurité et le contrôle des risques, le modèle d’identification des valeurs aberrantes est plus précieux que le modèle des données normales.

(1) Aperçu des questions connexes

Le mot Outlier est généralement traduit par valeur aberrante, mais aussi par anomalie. Cependant, il existe de nombreux alias dans différentes situations d'application, telles que des points isolés, des points anormaux, des points nouveaux, des points d'écart, des points d'exception, du bruit, des données anormales, etc. L'exploration de données aberrantes a des termes similaires tels que l'exploration de données d'anomalies, la détection de données d'anomalies, l'exploration de données aberrantes, l'exploration de données d'exception et l'exploration d'événements rares dans la littérature chinoise.

1. La génération des valeurs aberrantes

(1) Les données proviennent d'anomalies causées par des fraudes, des intrusions, des épidémies, des résultats expérimentaux inhabituels, etc. Par exemple, la facture de téléphone moyenne d'une personne est d'environ 200 yuans, mais augmente soudainement jusqu'à plusieurs milliers de yuans au cours d'un certain mois ; la carte de crédit d'une personne consomme généralement environ 5 000 yuans par mois, mais au cours d'un certain mois, la consommation dépasse 30 000 yuans, etc. De telles valeurs aberrantes sont généralement relativement intéressantes en data mining et constituent l’un des points clés d’application.
(2) Causé par des changements inhérents aux variables de données, reflétant les caractéristiques naturelles de la distribution des données, telles que le changement climatique, les nouvelles habitudes d'achat des clients, les mutations génétiques, etc. C’est également l’un des domaines d’intérêt intéressants.
(3) Les erreurs de mesure et de collecte des données sont principalement dues à une erreur humaine, à une défaillance des équipements de mesure ou à la présence de bruit. Par exemple, la note d'un étudiant de -100 dans un certain cours peut être due à la valeur par défaut fixée par le programme ; le salaire des cadres supérieurs d'une entreprise est nettement supérieur à celui des employés ordinaires. Cela peut sembler aberrant, mais c'est le cas. Données raisonnables.

2. Problème minier aberrant

Habituellement, le problème minier aberrant peut être décomposé en trois sous-problèmes à décrire.
(1) Définir les valeurs aberrantes
Étant donné que les valeurs aberrantes sont étroitement liées à des problèmes pratiques, définir clairement quels types de données sont des valeurs aberrantes ou anormales est la prémisse et la tâche principale de l'exploration des valeurs aberrantes. En général, il est nécessaire de combiner l'expérience et les connaissances des experts du domaine pour fournir une analyse précise des valeurs aberrantes. . Donnez une description ou une définition appropriée.
(2) Valeurs aberrantes du secteur minier
Une fois les points aberrants clairement définis, l'algorithme à utiliser pour identifier ou exploiter efficacement les points aberrants définis est la tâche clé de l'exploration des valeurs aberrantes. L'algorithme d'exploration des valeurs aberrantes fournit généralement aux utilisateurs des données aberrantes suspectes du point de vue des modèles qui peuvent se refléter dans les données, afin d'attirer l'attention de l'utilisateur.
(3) Comprendre les valeurs aberrantes
Une explication raisonnable, une compréhension et des conseils sur l'application pratique des résultats de l'exploitation minière sont les objectifs de l'exploitation minière aberrante. Étant donné que le mécanisme par lequel les valeurs aberrantes sont générées est incertain, la question de savoir si les « valeurs aberrantes » détectées par l'algorithme d'exploration des valeurs aberrantes correspondent réellement au comportement anormal réel ne peut pas être expliquée et expliquée par l'algorithme d'exploration des valeurs aberrantes, mais ne peut être expliquée que par l'algorithme d'exploration des valeurs aberrantes. . Des experts du secteur ou du domaine pour comprendre et expliquer les instructions.

3. Relativité des valeurs aberrantes

Les valeurs aberrantes sont des données spéciales dans l'ensemble de données qui s'écartent évidemment de la plupart des données, mais « évidemment » et « principalement » sont relatives, c'est-à-dire que même si les valeurs aberrantes sont différentes, elles sont relatives. Par conséquent, plusieurs problèmes doivent être pris en compte lors de la définition et de l’exploration des valeurs aberrantes.
(1) Valeurs aberrantes mondiales ou locales
Un objet de données peut être une valeur aberrante par rapport à ses voisins locaux, mais pas par rapport à l'ensemble de données dans son ensemble. Par exemple, un élève mesurant 1,9 mètre est une exception dans la classe 1 de la spécialisation en mathématiques de notre école, mais pas parmi les gens à travers le pays, y compris les joueurs professionnels tels que Yao Ming.
(2) Nombre de valeurs aberrantes
Bien que le nombre de points aberrants soit inconnu, le nombre de points normaux devrait largement dépasser le nombre de points aberrants. Autrement dit, le nombre de points aberrants devrait représenter une proportion plus faible dans le grand ensemble de données. des points aberrants Il devrait être inférieur à 5 %, voire inférieur à 1 %.
(3) Facteur aberrant du point
Vous ne pouvez pas utiliser « oui » ou « non » pour indiquer si un objet est une valeur aberrante. Vous devez plutôt utiliser le degré d'écart de l'objet, c'est-à-dire le facteur de valeur aberrante (Outlier Factor) ou le score de valeur aberrante (Outlier Score). pour caractériser l'écart d'une donnée par rapport au degré du groupe, puis filtrer les objets présentant des facteurs aberrants supérieurs à un certain seuil, les fournir aux décideurs ou aux experts du domaine pour compréhension et explication, et les appliquer dans des travaux pratiques.

(2) Méthode basée sur la distance

1. Notions de base

Définition 10-11 Il existe un entier positif$k$, objet$X$de $k$-La distance du voisin le plus proche est un entier positif qui satisfait aux conditions suivantes $d_k(X)$：
(1) sauf$X$De plus, il y a au moins$k$objets$Y$satisfaire $d(X,Y)\le d_k(X)$。
(2) sauf$X$De plus, il y a au plus $k-1$ objets$Y$satisfaire $d(X,Y)<d_k(X)$。
dans$d(X,Y)$ est un objet$X$et$Y$une certaine distance fonctionne entre eux.

d'un objet $k$-Plus la distance du voisin le plus proche est grande, plus il est probable que l'objet soit éloigné de la plupart des données, donc l'objet peut être$X$de $k$-distance du voisin le plus proche $d_k(X)$ comme facteur aberrant.

Définition 10-12 faire D ( X , k ) = { Y ∣ d ( X , Y ) ≤ dk ( X ) ∧ Y ≠ X } D(X,k)={Y|d(X,Y)≤d_k(X)coin Y≠X}D(X,k)={Y∣d(X,Y)≤dk​(X)∧Y=X}, alors on l'appelle $D(X,k)$ Oui$X$de $k$-Voisin le plus proche (domaine).

Il ressort des définitions 10 à 12 que$D(X,k)$ Oui$X$comme centre, distance$X$Ne dépasse pas $d_k(X)$ Objet$Y$ La collection composée de. Cela mérite une attention particulière,$X$n'en fait pas partie $k$-le voisin le plus proche, c'est-à-dire $X\notin D(X,k)$ . En particulier,$X$de $k$-voisin le plus proche $D(X,k)$ Le nombre d'objets contenus peut dépasser de loin$k$,Tout de suite $|D(X,k)|\ge k$。

Définition 10-13 Il existe un entier positif$k$, objet$X$de $k$-Le facteur aberrant du voisin le plus proche est défini comme
$${\text{DE}}_1(X,k)=\frac{\sum _{Y\in D(X,k)}d(X,Y)}{|D(X,k)|}\text{\hspace{1em}(10-28)}$$

2. Description de l'algorithme

Pour un ensemble de données donné et le nombre de distances des voisins les plus proches$k$, nous pouvons utiliser la formule ci-dessus pour calculer le$k$-Les facteurs aberrants des voisins les plus proches, et les afficher par ordre de grand à petit, parmi eux, plusieurs objets avec des facteurs aberrants plus importants sont les plus susceptibles d'être des valeurs aberrantes. Généralement, ils doivent être analysés et jugés par les décideurs ou les experts de l'industrie. , Quels points sont vraiment aberrants.

Algorithme 10-8 Algorithme de détection des valeurs aberrantes basé sur la distance
Entrée : ensemble de données$S$, le nombre de distances entre voisins les plus proches$k$
Résultat : liste décroissante des points aberrants suspectés et des facteurs aberrants correspondants
（1）RÉPÉTER
(2) Prenez$S$un objet non traité dans$X$
(3) D'accord$X$de$k$-voisin le plus proche$D(X,k)$
(4) Calcul$X$de$k$-facteur aberrant du voisin le plus proche${\text{DE}}_1(X,k)$
(5)JUSQU'À$S$Chaque point a été traité
(6) Oui${\text{DE}}_1(X,k)$Trier par ordre décroissant et sortie$(X,{\text{DE}}_1(X,k))$

3. Exemples de calcul

Exemple 10-12 Un ensemble de données bidimensionnelles avec 11 points$S$Il est donné par le tableau 10-10, soit$k=2$, utilisez le calcul de la distance euclidienne au carré $X_7,X_{10},X_{11}$ Facteur aberrant par rapport à tous les autres points.

délier: Afin de comprendre intuitivement le principe de l’algorithme, nous allons$S$Les objets de données sont affichés sur le plan de la figure (10-27) ci-dessous.

Ce qui suit calcule respectivement les facteurs aberrants du point spécifié et des autres points.

(1) Objet de calcul$X_7$facteur aberrant
Comme le montre la figure, la distance$X_7=(6,8)$ Le point le plus proche est$X_{10}=(5,7)$,et $d(X_7,X_{10})=1.41$, d'autres points les plus proches peuvent être $X_{11}=(5,2)$，$X_9=(3,2)$，$X_8=(2,4)$；
Calculé$d(X_7,X_{11})=6.08$，$d(X_7,X_9)=6.71$，$d(X_7,X_8)=5.66$
parce que$k=2$,donc $d_2(X_7)=5.66$, donc selon la définition 10-11 nous avons D ( X 7 , 2 ) = { X 10 , X 8 } D(X_7,2)={X_{10},X_8}D(X7​,2)={X10​,X8​}
D'après la formule (10-28),$X_7$facteur aberrant
$$\begin{array}{rl}{\text{DE}}_1(X_7,2)& =\frac{\sum _{Y\in N(X_7,2)}d(X_7,Y)}{|N(X_7,k)|}=\frac{d(X_7,X_{10})+d(X_7,X_8)}{2}\\ & =\frac{1.41+5.66}{2}=3.54\end{array}$$(2) Objet de calcul$X_{10}$facteur aberrant ${\text{DE}}_1(X_{10},2)=2.83$

(3) Objet de calcul$X_{11}$facteur aberrant ${\text{DE}}_1(X_{11},2)=2.5$

(4) Objet de calcul$X_5$facteur aberrant ${\text{DE}}_1(X_5,2)=1$

De même, les facteurs aberrants des objets restants peuvent être calculés, voir le tableau suivant (10-11).

4. Seuil de facteur aberrant

selon$k$ -Dans la théorie du voisin le plus proche, plus le facteur de valeur aberrante est grand, plus il est probable qu'il s'agisse d'une valeur aberrante. Par conséquent, un seuil doit être spécifié pour distinguer les valeurs aberrantes des points normaux. La méthode la plus simple consiste à spécifier le nombre de points aberrants, mais cette méthode est trop simple et manque parfois de véritables points aberrants ou attribue trop de points normaux à d'éventuels points aberrants, ce qui rend difficile la tâche des experts du domaine ou des décideurs. dans la compréhension et l’interprétation des valeurs aberrantes.
(1) La méthode du seuil de segmentation des facteurs aberrants organise d'abord les facteurs aberrants par ordre décroissant, et en même temps renumérote les objets de données par ordre croissant en fonction des facteurs aberrants.
(2) Sur la base du facteur aberrant${\text{DE}}_1(X,k)$ est l'ordonnée et le numéro de série du facteur aberrant est l'abscisse, c'est-à-dire (numéro de série,${\text{DE}}_1$valeur) sont marqués sur le plan et connectés pour former une polyligne non croissante, et le point où la polyligne se croise avec une forte diminution et une légère diminution correspond au facteur aberrant comme seuil. supérieur ou égal à ce seuil sont des objets normaux, les autres sont d'éventuelles valeurs aberrantes.

Exemple 10-13 Ensemble de données pour l'exemple 10-12$S$ , ses facteurs aberrants sont résumés par ordre décroissant et numéro de série dans le tableau 10-11. Essayez de trouver le seuil des points aberrants en fonction de la méthode du seuil de segmentation des facteurs aberrants.

délier: Tout d'abord, utilisez le (numéro de série, ${\text{DE}}_1$ valeur) sous forme de points sur le plan, marqués sur le plan et reliés par des polylignes. Comme le montre la figure 10-28 ci-dessous.

En regardant ensuite la figure 10-28, nous pouvons constater que la polyligne à gauche du quatrième point (4, 1,27) chute très fortement, tandis que la polyligne à droite chute très doucement. Par conséquent, le facteur de valeur aberrante 1,27 est sélectionné comme facteur. seuil.parce que$X_7、X_{10}$ et$X_{11}$ Les facteurs aberrants sont respectivement de 3,54, 2,83 et 2,5, qui sont tous supérieurs à 1,27. Par conséquent, ces trois points sont très probablement des points aberrants, tandis que les points restants sont des points ordinaires.
En regardant à nouveau la figure 10-27, nous pouvons constater que$X_7、X_{10}$ et$X_{11}$ en effet loin de la majorité dense des objets sur la gauche, alors traitez-les comme un ensemble de données$S$Les valeurs aberrantes sont raisonnables.

5. Évaluation de l'algorithme

Le plus grand avantage de la méthode de détection des valeurs aberrantes basée sur la distance est qu'elle est simple dans son principe et facile à utiliser. Ses inconvénients se reflètent principalement dans les aspects suivants.
(1) Paramètres$k$La sélection ne dispose pas d'une méthode simple et efficace pour déterminer l'impact des résultats des tests sur les paramètres$k$Il n’existe pas de résultat analytique universellement accepté sur le degré de sensibilité.
(2) La complexité temporelle est$O(|S{|}^2)$, manque d’évolutivité pour des ensembles de données à grande échelle.
(3) En raison de l'utilisation d'un seuil global de facteur de valeur aberrante, il est difficile d'extraire les valeurs aberrantes dans des ensembles de données comportant des régions de densités différentes.

(3) Méthode basée sur la densité relative

La méthode de distance est une méthode globale de vérification des valeurs aberrantes, mais elle ne peut pas gérer des ensembles de données dans des zones de densité différentes, c'est-à-dire qu'elle ne peut pas détecter les valeurs aberrantes dans les zones de densité locales. Dans les applications pratiques, toutes les données ne sont pas distribuées avec une seule densité. Lorsque l'ensemble de données contient plusieurs distributions de densité ou est un mélange de différents sous-ensembles de densité, les méthodes globales de détection des valeurs aberrantes telles que la distance ne fonctionnent généralement pas bien, car le fait qu'un objet soit une valeur aberrante ne dépend pas seulement de sa relation avec les données environnantes. est lié à la densité du quartier.

1. Le concept de densité relative

Du point de vue du voisinage de densité, les valeurs aberrantes sont des objets situés dans des zones à faible densité. Par conséquent, il est nécessaire d'introduire les concepts de densité de quartier local et de densité relative des objets.

Définition 10-14 (1) un objet$X$de$k$-La densité locale (densité) du voisin le plus proche est définie comme
$$\text{dsty}(X,k)=\frac{|D(X,k)|}{\sum _{Y\in D(X,k)}d(X,Y)}\text{\hspace{1em}(10-29)}$$ (2) un objet$X$de$k$-Densité relative locale du voisin le plus proche (densité relative)
$$\text{rdsty}(X,k)=\frac{\sum _{Y\in D(X,k)}\text{dsty}(X,k)/|D(X,k)|}{\text{dsty}(X,k)}\text{\hspace{1em}(10-30)}$$ dans$D(X,k)$ C'est l'objet$X$de$k$- le voisin le plus proche (donné dans la Définition 10-12),$|D(X,k)|$ est le nombre d'objets dans la collection.

2. Description de l'algorithme

par $\text{rdsty}(X,k)$ comme une valeur aberrante${\text{DE}}_2(X,k)$, son calcul est divisé en deux étapes
(1) Selon le nombre de voisins$k$, calcule chaque objet$X$de$k$-Densité locale du voisin le plus proche $\text{dsty}(X,k)$
(2) Calcul$X$la densité moyenne des voisins les plus proches et$k$-Densité relative locale du voisin le plus proche $\text{rdsty}(X,k)$
Un ensemble de données se compose de plusieurs clusters naturels. La densité relative des objets proches du point central au sein du cluster est proche de 1, tandis que la densité relative des objets au bord du cluster ou à l'extérieur du cluster est relativement grande. Par conséquent, plus la valeur de densité relative est élevée, plus il est probable qu’il s’agisse d’une valeur aberrante.

Algorithme 10-9 Algorithme de détection des valeurs aberrantes basé sur la densité relative
Entrée : ensemble de données$S$, le nombre de voisins les plus proches$k$
Résultat : liste décroissante des points aberrants suspectés et des facteurs aberrants correspondants
（1）RÉPÉTER
(2) Prenez$S$un objet non traité dans$X$
(3) D'accord$X$de$k$-voisin le plus proche$D(X,k)$
(4) Utilisation$D(X,k)$calculer$X$Densité$\text{dsty}(X,k)$
(5)JUSQU'À$S$Chaque point a été traité
（6）RÉPÉTER
(7) Prenez$S$premier objet dans$X$
(8) D'accord$X$densité relative de$\text{rdsty}(X,k)$, et attribuez-le à${\text{DE}}_2(X,k)$
（9）JUSQU'À$S$Tous les objets ont été traités
(10) Droite${\text{DE}}_2(X,k)$Trier par ordre décroissant et sortie$(X,{\text{DE}}_2(X,k))$

Exemple 10-14 Pour l'ensemble de données bidimensionnelles donné dans l'exemple 10-12$S$ (Voir le tableau 10-10 pour plus de détails), donc$k=2$, essayez de calculer la distance euclidienne $X_7,X_{10},X_{11}$ Facteur aberrant basé sur la densité relative d’objets égaux.

délier:parce que$k=2$, nous avons donc besoin de la densité locale des 2 voisins les plus proches de tous les objets.

(1) Trouvez les 2 voisins les plus proches de chaque objet de données dans le tableau 10-11. $D(X_{je},2)$。
Selon la même méthode de calcul de l'exemple 10-12, on peut obtenir
D ( X 1 , 2 ) = { X 2 , X 3 , X 5 } ， D ( X 2 , 2 ) = { X 1 , X 6 } ， D ( X 3 , 2 ) = { X 1 , X 4 } ， D ( X 4 , 2 ) = { X 3 , X 5 } ， D ( X 5 , 2 ) = { X 1 , X 4 , X 6 , X 9 } ， D ( X 6 , 2 ) = { X 2 , X 5 , X 8 } ， D ( X 7 , 2 ) = { X 10 , X 8 } ， D ( X 8 , 2 ) = { X 2 , X 6 } ， D ( X 9 , 2 ) = { X 5 , X 4 , X 6 } ， D ( X 10 , 2 ) = { X 7 , X 8 } ， D ( X 11 , 2 ) = { X 9 , X 5 } $$begin{aligned} &D(X_1,2)={X_2,X_3,X_5}，D(X_2,2)={X_1,X_6}， D(X_3,2)={X_1,X_4}，\ &D(X_4,2)={X_3,X_5}， D(X_5,2)={X_1,X_4,X_6,X_9}，D(X_6,2)={X_2,X_5,X_8}，\ &D(X_7,2)={X_{10},X_8}， D(X_8,2)={X_2,X_6}， D(X_9,2)={X_5,X_4,X_6}，\ &D(X_{10},2)={X_7,X_8}， D(X_{11},2)={X_9,X_5} end{aligned}$$ ​D(X1​,2)={X2​,X3​,X5​}，D(X2​,2)={X1​,X6​}，              D(X3​,2)={X1​,X4​}，D(X4​,2)={X3​,X5​}，       D(X5​,2)={X1​,X4​,X6​,X9​}，D(X6​,2)={X2​,X5​,X8​}，D(X7​,2)={X10​,X8​}，     D(X8​,2)={X2​,X6​}，               D(X9​,2)={X5​,X4​,X6​}，D(X10​,2)={X7​,X8​}，     D(X11​,2)={X9​,X5​}​

(2) Calculer la densité locale de chaque objet de données $\text{dsty}(X_{je},2)$：

① Calculer$X_1$Densité
parce que D ( X 1 , 2 ) = { X 2 , X 3 , X 5 } D(X_1,2)={X_2,X_3,X_5}D(X1​,2)={X2​,X3​,X5​}, donc après calcul, on a $d(X_1,X_2)=1$，$d(X_1,X_3)=1$，$d(X_1,X_5)=1$；
D'après la formule (10-29), on obtient :
$$\begin{array}{rl}\text{dsty}(X_1,2)& =\frac{|D(X_1,2)|}{\sum _{Y\in N(X_1,2)}d(X_1,Y)}\\ & =\frac{|N(X_1,2)|}{d(X_1,X_2)+d(X_1,X_3)+d(X_1,X_5)}\\ & =\frac{3}{1+1+1}=1\end{array}$$

② Calcul$X_2$Densité
parce que D ( X 2 , 2 ) = { X 1 , X 6 } D(X_2,2)={X_1,X_6}D(X2​,2)={X1​,X6​}, donc le calculé $d(X_2,X_1)=1$，$d(X_2,X_6)=1$；
D'après la formule (10-29), on obtient :
$$\begin{array}{rl}\text{dsty}(X_2,2)& =\frac{|D(X_2,2)|}{\sum _{Y\in N(X_2,2)}d(X_2,Y)}=\frac{2}{1+1}=1\end{array}$$

La densité locale d'autres objets de données peut être calculée de la même manière, voir le tableau 10-12 ci-dessous.

(3) Calculer chaque objet$X_{je}$densité relative de $\text{rdsty}(X_{je},2)$, et le considère comme un facteur aberrant ${\text{DE}}_2$。
① Calculer$X_1$densité relative de
En utilisant la valeur de densité de chaque objet dans le tableau 10-12, selon la formule de densité relative (10-30) :
$$\begin{array}{rl}\text{rdsty}(X_1,2)& =\frac{\sum _{Y\in N(X_1,2)}\text{dsty}(Y,2)/|N(X_1,2)|}{\text{dsty}(X_1,2)}\\ & =\frac{(1+1+1)/3}{1}=1={\text{DE}}_2(X_1,2)\end{array}$$

② Un calcul similaire peut être obtenu $X_2、X_3、\dots 、X_{11}$ valeur de densité relative.
Par exemple$X_5$La densité relative de :
$$\begin{array}{rl}\text{rdsty}(X_5,2)& =\frac{\sum _{Y\in N(X_5,2)}\text{dsty}(Y,2)/|N(X_5,2)|}{\text{dsty}(X_5,2)}\\ & =\frac{(1+1+1+0.79)/4}{1}=0.95={\text{DE}}_2(X_5,2)\end{array}$$ Les résultats sont résumés dans les tableaux 10 à 13 ci-dessous.

Exemple 10-15 Compte tenu de l'ensemble de données présenté dans le tableau 10-14, veuillez utiliser la distance euclidienne pour$k=2,3,5$, calculez la valeur de chaque point$k$-densité locale du voisin le plus proche,$k$-Densité relative locale du voisin le plus proche (facteur aberrant${\text{DE}}_2$) et basé sur$k$-Facteur aberrant pour la distance du voisin le plus proche${\text{DE}}_1$。

délier: (1) Afin de faciliter la compréhension, il peut être$S$Les positions relatives des points sont marquées sur le plan bidimensionnel (Figure 10-30).

(2) Utiliser les algorithmes basés sur la distance et la densité relative 10-8 et 10-9 respectivement.Calculer chaque objet séparément$k$-Densité locale du voisin le plus proche$\text{dsty}$、$k$-Densité relative locale du voisin le plus proche (facteur aberrant${\text{DE}}_2$) et basé sur$k$-Facteur aberrant pour la distance du voisin le plus proche${\text{DE}}_1$, les résultats sont résumés dans le tableau 10-15.

(3) Analyse simple
① Comme le montre la figure 10-30,$X_{15}$et$X_{16}$Oui$S$Il existe deux valeurs aberrantes évidentes, et les méthodes basées sur la distance et la densité relative peuvent mieux les identifier ;
② A partir de cet exemple, les deux algorithmes ont$k$n'est pas aussi sensible que prévu, c'est peut-être une valeur aberrante.$X_{15}$et$X_{16}$La séparation des autres objets est très évidente.
③Comme le montre le tableau 10-15, peu importe$k$Prenez-en 2, 3 ou 5,$X_1$de la région $\text{dsty}$ les valeurs sont nettement inférieures à$X_7$de la région $\text{dsty}$ valeur, qui est cohérente avec la densité de zone illustrée à la figure 10-30.Mais la valeur de densité relative des deux régions${\text{DE}}_2$ Mais il n’y a pratiquement aucune différence évidente. Ceci est déterminé par la nature de la densité relative, c'est-à-dire que pour des points de données uniformément répartis, la densité relative des points centraux est de 1, quelle que soit la distance entre les points.

7. Autres méthodes de regroupement

1. Algorithme de clustering amélioré

  （1）$k$-mod ($k$-modes) l'algorithme est pour$k$ -L'algorithme de moyenne ne convient que pour la limitation des attributs numériques et est proposé pour réaliser un regroupement rapide de données discrètes.parce que$k$-L'algorithme modulaire utilise une simple méthode de correspondance 0-1 pour calculer la distance entre deux valeurs d'attribut sous le même attribut discret, ce qui affaiblit la différence entre les valeurs d'attribut ordinales, c'est-à-dire qu'il ne peut pas refléter pleinement la différence entre deux valeurs d'attribut. Sous le même attribut ordinal, il y a encore place à l'amélioration et à l'amélioration.
  （2）$k$-prototype ($k$-Prototype) algorithme combiné avec$k$-Algorithme de moyenne avec$k$ -L'avantage de l'algorithme modulaire est qu'il peut regrouper des ensembles de données avec des attributs à la fois discrets et numériques (appelés attributs mixtes).Il faut des attributs discrets$k$-Objet de calcul d'algorithme modulaire$X$et$Y$la distance entre $d_1(X,Y)$, pour les attributs numériques, utilisez$k$-Les méthodes de l'algorithme de moyenne calculent la distance entre les objets $d_2(X,Y)$, et enfin utiliser la méthode de pondération, c'est-à-dire $\alpha d_1(X,Y)+(1-\alpha )d_2(X,Y)$ en tant qu'objet d'ensemble de données$X$et$Y$la distance entre $d(X,Y)$,dans $\alpha \in [0,1]$ est le coefficient de poids, il peut généralement être$\alpha =0.5$。
(3) L'algorithme BIRCH (Balanced Iterative Reducing and Clustering Using Hierarchies) est une méthode de clustering hiérarchique complète.Il utilise les fonctionnalités de clustering (CF) et l'arbre de fonctionnalités de clustering (CF Tree, similaire à B-tree) pour résumer les clusters de clusters.$C_{je}$,dans ${\text{CF}}_{je}=(ni,{\text{LS}}_{je},{\text{SS}}_{je})$ est un triplet,$n_{je}$est le nombre d'objets dans le cluster,${\text{LS}}_{je}$Oui$n_{je}$somme linéaire des composants de l'objet,${\text{SS}}_{je}$Oui$n_{je}$La somme des carrés des composants d'un objet.
(4) L'algorithme CURE (Clustering Using Representatives) est destiné$k$ -Une autre amélioration de l'algorithme de moyenne. De nombreux algorithmes de clustering ne sont efficaces que pour regrouper des clusters sphériques, tandis que certains algorithmes de clustering sont plus sensibles aux points isolés. Afin de résoudre les deux problèmes ci-dessus, l'algorithme CURE a changé$k$-L'algorithme de moyenne utilise la somme centrale du cluster$k$-L'algorithme du point central utilise un seul objet spécifique pour représenter un cluster, une méthode traditionnelle, mais utilise plusieurs objets représentatifs dans le cluster pour représenter un cluster, afin qu'il puisse s'adapter au clustering de clusters non sphériques et réduire l'impact de bruit sur le clustering.
(5) L'algorithme ROCK (RObust Clustering using linK) est un algorithme de clustering proposé pour les ensembles de données d'attributs binaires ou catégoriels.
(6) L'algorithme OPTICS (Ordering Points To Identity the Clustering Structure) est utilisé pour réduire la densité de l'algorithme DBSCAN.$(\epsilon ,\text{MinPts})$ sensibilité des paramètres. Il ne génère pas explicitement de clusters de résultats, mais génère un classement de cluster augmenté pour l'analyse de cluster (par exemple, un diagramme de coordonnées avec la distance accessible comme axe vertical et l'ordre de sortie des points d'échantillonnage comme axe horizontal). Ce classement représente la structure de regroupement basée sur la densité de chaque point d'échantillonnage.Nous pouvons obtenir de ce tri en fonction de n'importe quel paramètre de densité$(\epsilon ,\text{MinPts})$ Résultats de clustering de l'algorithme DBSCAN.

2. Autres nouvelles méthodes de clustering

Utilisez de nouvelles théories ou techniques pour concevoir de nouvelles méthodes de clustering.

(1) Méthode de clustering basée sur une grille
La méthode basée sur une grille quantifie l'espace objet en un nombre limité de cellules pour former une structure de grille, et les informations de position des points de division dans chaque dimension sont stockées dans le tableau. Les lignes de séparation traversent tout l'espace et tout le regroupement. les opérations sont effectuées dans Effectué sur cette structure de grille (c'est-à-dire l'espace de quantification). Le principal avantage de cette méthode est que sa vitesse de traitement est très rapide. Sa vitesse de traitement est indépendante du nombre d'objets de données et n'est liée qu'au nombre de cellules dans chaque dimension de l'espace de quantification. Cependant, son amélioration en termes d'efficacité est faible. au détriment du regroupement des résultats, au détriment de la précision. Étant donné que l'algorithme de regroupement de grille pose le problème de l'échelle de quantification, nous commençons généralement par rechercher des clusters à partir de petites unités, puis augmentons progressivement la taille des unités et répétons ce processus jusqu'à ce que des clusters satisfaisants soient trouvés.

(2) Méthode de clustering basée sur un modèle
Les méthodes basées sur un modèle supposent un modèle pour chaque cluster et trouvent le meilleur ajustement des données au modèle donné. Les méthodes basées sur des modèles tentent d'optimiser l'adaptabilité entre des données données et certains modèles de données en établissant des fonctions de densité qui reflètent la distribution spatiale des échantillons pour localiser les grappes.

(3) Méthode de clustering basée sur un ensemble flou
Dans la pratique, il n'existe pas de valeur d'attribution stricte à laquelle appartiennent la plupart des objets. Il existe une valeur intermédiaire ou une incertitude dans leur valeur et leur forme d'attribution, ce qui convient à un partitionnement doux. Parce que l'analyse de clustering floue a l'avantage de décrire l'interdépendance de l'attribution des échantillons et peut refléter objectivement le monde réel, elle est devenue l'un des points chauds de la recherche actuelle sur l'analyse de cluster.
L'algorithme de clustering flou est une méthode d'apprentissage non supervisée basée sur la théorie mathématique floue et une méthode de clustering incertaine. Une fois que le clustering flou a été proposé, il a reçu une grande attention de la part de la communauté universitaire. Le clustering flou est une grande « famille » de clustering, et la recherche sur le clustering flou est également très active.

(4) Méthode de clustering basée sur un ensemble approximatif
Le clustering approximatif est une méthode de clustering incertaine basée sur la théorie des ensembles approximatifs. Du point de vue du couplage entre les ensembles approximatifs et les algorithmes de clustering, les méthodes de clustering approximatif peuvent être divisées en deux catégories : le clustering approximatif à couplage fort et le clustering approximatif à couplage faible.
Bien entendu, les nouvelles orientations de recherche en matière d'analyse de cluster sont bien plus que celles-ci. Par exemple, les algorithmes d'exploration de flux de données et de clustering, les données incertaines et leurs algorithmes de clustering, l'informatique quantique et les algorithmes de clustering génétique quantique sont tous des technologies de clustering qui ont émergé ces dernières années. . des sujets de recherche de pointe.

3. Autres méthodes d'extraction aberrantes

Les méthodes d'extraction aberrantes présentées précédemment ne sont que deux représentants de l'exploitation minière aberrante. Il existe de nombreuses méthodes d'extraction aberrantes plus matures dans les applications pratiques. Elles peuvent être déterminées à partir du type de technologie utilisée dans la méthode d'extraction ou de l'utilisation de connaissances antérieures. angles : degrés.

(1) Type de technologie utilisée
Il existe principalement des méthodes statistiques, des méthodes basées sur la distance, des méthodes basées sur la densité, des méthodes basées sur le regroupement, des méthodes basées sur l'écart, des méthodes basées sur la profondeur, des méthodes basées sur la transformation en ondelettes, des méthodes basées sur des graphiques, des méthodes basées sur des modèles et des réseaux neuronaux. méthodes, etc

(2) Utilisation des connaissances antérieures
En fonction de la disponibilité des informations sur les classes normales ou aberrantes, il existe trois approches courantes :
① Méthode de détection des valeurs aberrantes non supervisée, c'est-à-dire qu'il n'y a aucune connaissance préalable telle que les étiquettes de catégorie dans l'ensemble de données ;
② Méthode de détection des valeurs aberrantes supervisée, c'est-à-dire extraire les caractéristiques des valeurs aberrantes grâce à l'existence d'un ensemble de formation contenant des valeurs aberrantes et des points normaux ;
③ Méthode de détection des valeurs aberrantes semi-supervisée, les données d'entraînement contiennent des données normales étiquetées, mais il n'y a aucune information sur les objets de données aberrantes.