From 3bfc2b4d653fff4bc856d84ba834399dd60f01df Mon Sep 17 00:00:00 2001 From: Translator Date: Sun, 8 Jun 2025 00:42:40 +0000 Subject: [PATCH] Translated ['src/AI/AI-Unsupervised-Learning-algorithms.md'] to de --- src/AI/AI-Unsupervised-Learning-algorithms.md | 64 +++++++++---------- 1 file changed, 32 insertions(+), 32 deletions(-) diff --git a/src/AI/AI-Unsupervised-Learning-algorithms.md b/src/AI/AI-Unsupervised-Learning-algorithms.md index 299bba2e3..cb1fccac0 100644 --- a/src/AI/AI-Unsupervised-Learning-algorithms.md +++ b/src/AI/AI-Unsupervised-Learning-algorithms.md @@ -9,7 +9,7 @@ Unsupervised Learning ist eine Art des maschinellen Lernens, bei der das Modell ### K-Means Clustering K-Means ist ein zentroidbasierter Clustering-Algorithmus, der Daten in K Cluster partitioniert, indem jeder Punkt dem nächstgelegenen Cluster-Mittelwert zugewiesen wird. Der Algorithmus funktioniert wie folgt: -1. **Initialisierung**: Wählen Sie K anfängliche Clusterzentren (Zentroiden), oft zufällig oder über intelligentere Methoden wie k-means++. +1. **Initialisierung**: Wählen Sie K anfängliche Clusterzentren (Zentroiden), oft zufällig oder durch intelligentere Methoden wie k-means++. 2. **Zuweisung**: Weisen Sie jeden Datenpunkt dem nächstgelegenen Zentroiden basierend auf einer Distanzmetrik (z. B. euklidische Distanz) zu. 3. **Aktualisierung**: Berechnen Sie die Zentroiden neu, indem Sie den Mittelwert aller Datenpunkte, die jedem Cluster zugewiesen sind, nehmen. 4. **Wiederholen**: Schritte 2–3 werden wiederholt, bis die Clusterzuweisungen stabil sind (Zentroiden sich nicht mehr signifikant bewegen). @@ -25,7 +25,7 @@ Die Anzahl der Cluster (K) ist ein Hyperparameter, der vor dem Ausführen des Al #### Annahmen und Einschränkungen -K-Means geht davon aus, dass **Cluster sphärisch und gleich groß** sind, was nicht für alle Datensätze zutreffen muss. Es ist empfindlich gegenüber der anfänglichen Platzierung der Zentroiden und kann zu lokalen Minima konvergieren. Darüber hinaus ist K-Means nicht für Datensätze mit variierenden Dichten oder nicht-globulären Formen sowie für Merkmale mit unterschiedlichen Skalen geeignet. Vorverarbeitungsschritte wie Normalisierung oder Standardisierung können erforderlich sein, um sicherzustellen, dass alle Merkmale gleichmäßig zu den Distanzberechnungen beitragen. +K-Means geht davon aus, dass **Cluster sphärisch und gleich groß** sind, was nicht für alle Datensätze zutreffen muss. Es ist empfindlich gegenüber der anfänglichen Platzierung der Zentroiden und kann zu lokalen Minima konvergieren. Darüber hinaus ist K-Means nicht für Datensätze mit variierenden Dichten oder nicht globularen Formen sowie für Merkmale mit unterschiedlichen Skalen geeignet. Vorverarbeitungsschritte wie Normalisierung oder Standardisierung können notwendig sein, um sicherzustellen, dass alle Merkmale gleichmäßig zu den Distanzberechnungen beitragen.
Beispiel -- Clustering von Netzwerkereignissen @@ -56,7 +56,7 @@ print("Cluster centers (duration, bytes):") for idx, center in enumerate(kmeans.cluster_centers_): print(f" Cluster {idx}: {center}") ``` -In diesem Beispiel sollte K-Means 4 Cluster finden. Der kleine Angriffscluster (mit ungewöhnlich hoher Dauer ~200) wird idealerweise sein eigenes Cluster bilden, gegeben seiner Distanz zu normalen Clustern. Wir drucken die Clustergrößen und -zentren aus, um die Ergebnisse zu interpretieren. In einem realen Szenario könnte man das Cluster mit wenigen Punkten als potenzielle Anomalien kennzeichnen oder seine Mitglieder auf bösartige Aktivitäten untersuchen. +In diesem Beispiel sollte K-Means 4 Cluster finden. Der kleine Angriffscluster (mit ungewöhnlich hoher Dauer ~200) wird idealerweise seinen eigenen Cluster bilden, gegeben seiner Distanz zu normalen Clustern. Wir drucken die Clustergrößen und -zentren aus, um die Ergebnisse zu interpretieren. In einem realen Szenario könnte man den Cluster mit wenigen Punkten als potenzielle Anomalien kennzeichnen oder seine Mitglieder auf bösartige Aktivitäten untersuchen. ### Hierarchisches Clustering @@ -80,7 +80,7 @@ Hierarchisches Clustering nimmt keine bestimmte Clusterform an und kann geschach Beispiel -- Agglomeratives Clustering von Ereignissen -Wir werden die synthetischen Daten aus dem K-Means-Beispiel (3 normale Cluster + 1 Angriffscluster) wiederverwenden und agglomeratives Clustering anwenden. Wir veranschaulichen dann, wie man ein Dendrogramm und Clusterbezeichnungen erhält. +Wir werden die synthetischen Daten aus dem K-Means-Beispiel (3 normale Cluster + 1 Angriffscluster) wiederverwenden und agglomeratives Clustering anwenden. Wir veranschaulichen dann, wie man ein Dendrogramm und Clusterlabels erhält. ```python from sklearn.cluster import AgglomerativeClustering from scipy.cluster.hierarchy import linkage, dendrogram @@ -105,7 +105,7 @@ print(f"Cluster sizes for 3 clusters: {np.bincount(clusters_3)}") DBSCAN ist ein dichtebasiertes Clustering-Algorithmus, der Punkte gruppiert, die eng beieinander liegen, während Punkte in Regionen mit niedriger Dichte als Ausreißer markiert werden. Es ist besonders nützlich für Datensätze mit variierenden Dichten und nicht-sphärischen Formen. DBSCAN funktioniert, indem es zwei Parameter definiert: -- **Epsilon (ε)**: Die maximale Distanz zwischen zwei Punkten, um als Teil desselben Clusters betrachtet zu werden. +- **Epsilon (ε)**: Die maximale Entfernung zwischen zwei Punkten, um als Teil desselben Clusters betrachtet zu werden. - **MinPts**: Die minimale Anzahl von Punkten, die erforderlich ist, um eine dichte Region (Kernpunkt) zu bilden. DBSCAN identifiziert Kernpunkte, Randpunkte und Rauschpunkte: @@ -116,13 +116,13 @@ DBSCAN identifiziert Kernpunkte, Randpunkte und Rauschpunkte: Das Clustering erfolgt, indem ein unbesuchter Kernpunkt ausgewählt, als neues Cluster markiert und dann rekursiv alle Punkte hinzugefügt werden, die von ihm aus dichte-erreichbar sind (Kernpunkte und deren Nachbarn usw.). Randpunkte werden dem Cluster eines nahegelegenen Kerns hinzugefügt. Nachdem alle erreichbaren Punkte erweitert wurden, wechselt DBSCAN zu einem anderen unbesuchten Kern, um ein neues Cluster zu starten. Punkte, die von keinem Kern erreicht werden, bleiben als Rauschen gekennzeichnet. > [!TIP] -> *Anwendungsfälle in der Cybersicherheit:* DBSCAN ist nützlich zur Anomalieerkennung im Netzwerkverkehr. Beispielsweise könnte normale Benutzeraktivität ein oder mehrere dichte Cluster im Merkmalsraum bilden, während neuartige Angriffsverhalten als verstreute Punkte erscheinen, die DBSCAN als Rauschen (Ausreißer) kennzeichnen wird. Es wurde verwendet, um Netzwerkflussaufzeichnungen zu clustern, wo es Portscans oder Denial-of-Service-Verkehr als spärliche Regionen von Punkten erkennen kann. Eine weitere Anwendung ist das Gruppieren von Malware-Varianten: Wenn die meisten Proben nach Familien gruppiert sind, aber einige nirgendwo passen, könnten diese wenigen Zero-Day-Malware sein. Die Fähigkeit, Rauschen zu kennzeichnen, bedeutet, dass Sicherheitsteams sich auf die Untersuchung dieser Ausreißer konzentrieren können. +> *Anwendungsfälle in der Cybersicherheit:* DBSCAN ist nützlich für die Anomalieerkennung im Netzwerkverkehr. Zum Beispiel könnte die normale Benutzeraktivität ein oder mehrere dichte Cluster im Merkmalsraum bilden, während neuartige Angriffsverhalten als verstreute Punkte erscheinen, die DBSCAN als Rauschen (Ausreißer) kennzeichnen wird. Es wurde verwendet, um Netzwerkflussaufzeichnungen zu clustern, wo es Portscans oder Denial-of-Service-Verkehr als spärliche Regionen von Punkten erkennen kann. Eine weitere Anwendung ist das Gruppieren von Malware-Varianten: Wenn die meisten Proben nach Familien gruppiert sind, aber einige nirgendwo passen, könnten diese wenigen Zero-Day-Malware sein. Die Fähigkeit, Rauschen zu kennzeichnen, bedeutet, dass Sicherheitsteams sich auf die Untersuchung dieser Ausreißer konzentrieren können. #### Annahmen und Einschränkungen **Annahmen & Stärken:** DBSCAN geht nicht von sphärischen Clustern aus – es kann beliebig geformte Cluster finden (sogar kettenartige oder benachbarte Cluster). Es bestimmt automatisch die Anzahl der Cluster basierend auf der Datendichte und kann Ausreißer effektiv als Rauschen identifizieren. Dies macht es leistungsstark für reale Daten mit unregelmäßigen Formen und Rauschen. Es ist robust gegenüber Ausreißern (im Gegensatz zu K-Means, das sie in Cluster zwingt). Es funktioniert gut, wenn Cluster ungefähr eine einheitliche Dichte haben. -**Einschränkungen:** Die Leistung von DBSCAN hängt von der Wahl geeigneter ε- und MinPts-Werte ab. Es kann Schwierigkeiten mit Daten haben, die variierende Dichten aufweisen – ein einzelnes ε kann sowohl dichte als auch spärliche Cluster nicht berücksichtigen. Wenn ε zu klein ist, kennzeichnet es die meisten Punkte als Rauschen; zu groß, und Cluster können fälschlicherweise zusammengeführt werden. Außerdem kann DBSCAN bei sehr großen Datensätzen ineffizient sein (naiv $O(n^2)$, obwohl räumliche Indizierung helfen kann). In hochdimensionalen Merkmalsräumen kann das Konzept von „Distanz innerhalb von ε“ weniger sinnvoll werden (der Fluch der Dimensionalität), und DBSCAN benötigt möglicherweise eine sorgfältige Parameteranpassung oder kann scheitern, intuitive Cluster zu finden. Trotz dieser Einschränkungen adressieren Erweiterungen wie HDBSCAN einige Probleme (wie variierende Dichte). +**Einschränkungen:** Die Leistung von DBSCAN hängt von der Wahl geeigneter ε- und MinPts-Werte ab. Es kann Schwierigkeiten mit Daten haben, die unterschiedliche Dichten aufweisen – ein einzelnes ε kann sowohl dichte als auch spärliche Cluster nicht berücksichtigen. Wenn ε zu klein ist, kennzeichnet es die meisten Punkte als Rauschen; zu groß, und Cluster können fälschlicherweise zusammengeführt werden. Außerdem kann DBSCAN bei sehr großen Datensätzen ineffizient sein (naiv $O(n^2)$, obwohl räumliche Indizierung helfen kann). In hochdimensionalen Merkmalsräumen kann das Konzept der „Entfernung innerhalb von ε“ weniger sinnvoll werden (der Fluch der Dimensionalität), und DBSCAN benötigt möglicherweise eine sorgfältige Parameteranpassung oder kann scheitern, intuitive Cluster zu finden. Trotz dieser Einschränkungen adressieren Erweiterungen wie HDBSCAN einige Probleme (wie variierende Dichte).
Beispiel -- Clustering mit Rauschen @@ -148,13 +148,13 @@ num_noise = np.sum(labels == -1) print(f"DBSCAN found {num_clusters} clusters and {num_noise} noise points") print("Cluster labels for first 10 points:", labels[:10]) ``` -In diesem Snippet haben wir `eps` und `min_samples` angepasst, um unserem Datenskalierung (15.0 in Merkmals-Einheiten und erfordert 5 Punkte, um einen Cluster zu bilden) gerecht zu werden. DBSCAN sollte 2 Cluster (die Cluster des normalen Verkehrs) finden und die 5 injizierten Ausreißer als Rauschen kennzeichnen. Wir geben die Anzahl der Cluster im Vergleich zu Rauschpunkten aus, um dies zu überprüfen. In einer realen Umgebung könnte man über ε iterieren (unter Verwendung einer k-Abstandsgraph-Heuristik zur Auswahl von ε) und MinPts (oft auf etwa die Daten-Dimensionalität + 1 als Faustregel gesetzt), um stabile Clusterergebnisse zu finden. Die Fähigkeit, Rauschen explizit zu kennzeichnen, hilft, potenzielle Angriffsdatensätze für eine weitere Analyse zu trennen. +In diesem Snippet haben wir `eps` und `min_samples` angepasst, um unserem Datenskalierung (15.0 in Merkmals-Einheiten und 5 Punkte, um einen Cluster zu bilden) gerecht zu werden. DBSCAN sollte 2 Cluster (die Cluster des normalen Verkehrs) finden und die 5 injizierten Ausreißer als Rauschen kennzeichnen. Wir geben die Anzahl der Cluster im Vergleich zu Rauschpunkten aus, um dies zu überprüfen. In einer realen Umgebung könnte man über ε iterieren (unter Verwendung einer k-Abstandsgraph-Heuristik zur Auswahl von ε) und MinPts (oft auf etwa die Daten-Dimensionalität + 1 als Faustregel gesetzt), um stabile Clusterergebnisse zu finden. Die Fähigkeit, Rauschen explizit zu kennzeichnen, hilft, potenzielle Angriffsdatensätze für eine weitere Analyse zu trennen.
### Hauptkomponentenanalyse (PCA) -PCA ist eine Technik zur **Dimensionsreduktion**, die eine neue Menge orthogonaler Achsen (Hauptkomponenten) findet, die die maximale Varianz in den Daten erfassen. Einfach ausgedrückt, rotiert und projiziert PCA die Daten auf ein neues Koordinatensystem, sodass die erste Hauptkomponente (PC1) die größtmögliche Varianz erklärt, die zweite PC (PC2) die größte Varianz, die orthogonal zu PC1 ist, und so weiter. Mathematisch berechnet PCA die Eigenvektoren der Kovarianzmatrix der Daten – diese Eigenvektoren sind die Richtungen der Hauptkomponenten, und die entsprechenden Eigenwerte geben die Menge der von jeder erklärten Varianz an. Es wird häufig für Merkmals-Extraktion, Visualisierung und Rauschreduktion verwendet. +PCA ist eine Technik zur **Dimensionsreduktion**, die eine neue Menge orthogonaler Achsen (Hauptkomponenten) findet, die die maximale Varianz in den Daten erfassen. Einfach ausgedrückt, rotiert und projiziert PCA die Daten auf ein neues Koordinatensystem, sodass die erste Hauptkomponente (PC1) die größtmögliche Varianz erklärt, die zweite PC (PC2) die größte Varianz, die orthogonal zu PC1 ist, und so weiter. Mathematisch berechnet PCA die Eigenvektoren der Kovarianzmatrix der Daten – diese Eigenvektoren sind die Richtungen der Hauptkomponenten, und die entsprechenden Eigenwerte geben die Menge der von jeder erklärten Varianz an. Es wird häufig zur Merkmalsextraktion, Visualisierung und Rauschreduktion verwendet. Beachten Sie, dass dies nützlich ist, wenn die Dimensionen des Datensatzes **signifikante lineare Abhängigkeiten oder Korrelationen** enthalten. @@ -164,18 +164,18 @@ PCA funktioniert, indem es die Hauptkomponenten der Daten identifiziert, die die 3. **Eigenwertzerlegung**: Führen Sie eine Eigenwertzerlegung der Kovarianzmatrix durch, um die Eigenwerte und Eigenvektoren zu erhalten. 4. **Hauptkomponenten auswählen**: Sortieren Sie die Eigenwerte in absteigender Reihenfolge und wählen Sie die obersten K Eigenvektoren aus, die den größten Eigenwerten entsprechen. Diese Eigenvektoren bilden den neuen Merkmalsraum. 5. **Daten transformieren**: Projizieren Sie die ursprünglichen Daten auf den neuen Merkmalsraum unter Verwendung der ausgewählten Hauptkomponenten. -PCA wird häufig für die Datenvisualisierung, Rauschreduktion und als Vorverarbeitungsschritt für andere maschinelle Lernalgorithmen verwendet. Es hilft, die Dimensionalität der Daten zu reduzieren, während die wesentliche Struktur erhalten bleibt. +PCA wird häufig zur Datenvisualisierung, Rauschreduktion und als Vorverarbeitungsschritt für andere maschinelle Lernalgorithmen verwendet. Es hilft, die Dimensionalität der Daten zu reduzieren, während die wesentliche Struktur erhalten bleibt. #### Eigenwerte und Eigenvektoren -Ein Eigenwert ist ein Skalar, der die Menge der Varianz angibt, die von seinem entsprechenden Eigenvektor erfasst wird. Ein Eigenvektor stellt eine Richtung im Merkmalsraum dar, entlang derer sich die Daten am meisten ändern. +Ein Eigenwert ist ein Skalar, der die Menge der Varianz angibt, die durch seinen entsprechenden Eigenvektor erfasst wird. Ein Eigenvektor stellt eine Richtung im Merkmalsraum dar, entlang derer sich die Daten am stärksten ändern. -Stellen Sie sich vor, A ist eine quadratische Matrix, und v ist ein von Null verschiedener Vektor, sodass: `A * v = λ * v` +Stellen Sie sich vor, A ist eine quadratische Matrix, und v ist ein nicht-null Vektor, sodass: `A * v = λ * v` wobei: - A eine quadratische Matrix wie [ [1, 2], [2, 1]] (z.B. Kovarianzmatrix) ist - v ein Eigenvektor ist (z.B. [1, 1]) -Dann ist `A * v = [ [1, 2], [2, 1]] * [1, 1] = [3, 3]`, was der Eigenwert λ multipliziert mit dem Eigenvektor v sein wird, sodass der Eigenwert λ = 3 ist. +Dann ist `A * v = [ [1, 2], [2, 1]] * [1, 1] = [3, 3]`, was der Eigenwert λ multipliziert mit dem Eigenvektor v ist, sodass der Eigenwert λ = 3 ist. #### Eigenwerte und Eigenvektoren in PCA @@ -185,7 +185,7 @@ Lassen Sie uns dies mit einem Beispiel erklären. Stellen Sie sich vor, Sie habe 2. **Kovarianzmatrix**: Berechnen Sie die Kovarianzmatrix der standardisierten Daten, die erfasst, wie Merkmale (Pixel) zusammen variieren. - Beachten Sie, dass die Kovarianz zwischen zwei Variablen (in diesem Fall Pixel) angibt, wie sehr sie sich gemeinsam ändern, sodass die Idee hier darin besteht, herauszufinden, welche Pixel dazu neigen, gemeinsam mit einer linearen Beziehung zu steigen oder zu fallen. - Wenn beispielsweise Pixel 1 und Pixel 2 dazu neigen, gemeinsam zu steigen, wird die Kovarianz zwischen ihnen positiv sein. -- Die Kovarianzmatrix wird eine 10.000x10.000-Matrix sein, in der jeder Eintrag die Kovarianz zwischen zwei Pixeln darstellt. +- Die Kovarianzmatrix wird eine 10.000x10.000 Matrix sein, in der jeder Eintrag die Kovarianz zwischen zwei Pixeln darstellt. 3. **Lösen Sie die Eigenwertgleichung**: Die zu lösende Eigenwertgleichung ist `C * v = λ * v`, wobei C die Kovarianzmatrix, v der Eigenvektor und λ der Eigenwert ist. Sie kann mit Methoden wie: - **Eigenwertzerlegung**: Führen Sie eine Eigenwertzerlegung der Kovarianzmatrix durch, um die Eigenwerte und Eigenvektoren zu erhalten. - **Singulärwertzerlegung (SVD)**: Alternativ können Sie SVD verwenden, um die Datenmatrix in singuläre Werte und Vektoren zu zerlegen, die ebenfalls die Hauptkomponenten liefern können. @@ -196,7 +196,7 @@ Lassen Sie uns dies mit einem Beispiel erklären. Stellen Sie sich vor, Sie habe #### Annahmen und Einschränkungen -PCA geht davon aus, dass **Hauptachsen der Varianz sinnvoll sind** – es ist eine lineare Methode, die lineare Korrelationen in den Daten erfasst. Es ist unüberwacht, da es nur die Merkmalskovarianz verwendet. Zu den Vorteilen von PCA gehören Rauschreduktion (kleinvariante Komponenten entsprechen oft Rauschen) und Dekorrelation von Merkmalen. Es ist rechnerisch effizient für mäßig hohe Dimensionen und oft ein nützlicher Vorverarbeitungsschritt für andere Algorithmen (um den Fluch der Dimensionalität zu mildern). Eine Einschränkung ist, dass PCA auf lineare Beziehungen beschränkt ist – es erfasst keine komplexen nichtlinearen Strukturen (während Autoencoder oder t-SNE dies tun könnten). Außerdem können PCA-Komponenten schwer in Bezug auf die ursprünglichen Merkmale zu interpretieren sein (sie sind Kombinationen ursprünglicher Merkmale). In der Cybersicherheit muss man vorsichtig sein: Ein Angriff, der nur eine subtile Veränderung in einem Merkmal mit niedriger Varianz verursacht, könnte in den obersten PCs nicht sichtbar sein (da PCA die Varianz priorisiert, nicht unbedingt die „Interessantheit“). +PCA geht davon aus, dass **Hauptachsen der Varianz sinnvoll sind** – es ist eine lineare Methode, daher erfasst sie lineare Korrelationen in den Daten. Es ist unüberwacht, da es nur die Merkmalskovarianz verwendet. Zu den Vorteilen von PCA gehören Rauschreduktion (kleinvariante Komponenten entsprechen oft Rauschen) und Dekorrelation der Merkmale. Es ist rechnerisch effizient für mäßig hohe Dimensionen und oft ein nützlicher Vorverarbeitungsschritt für andere Algorithmen (um den Fluch der Dimensionalität zu mildern). Eine Einschränkung ist, dass PCA auf lineare Beziehungen beschränkt ist – es erfasst keine komplexen nichtlinearen Strukturen (während Autoencoder oder t-SNE dies tun könnten). Außerdem können PCA-Komponenten schwer zu interpretieren sein in Bezug auf die ursprünglichen Merkmale (sie sind Kombinationen der ursprünglichen Merkmale). In der Cybersicherheit muss man vorsichtig sein: Ein Angriff, der nur eine subtile Veränderung in einem niedrigvarianten Merkmal verursacht, könnte in den obersten PCs nicht sichtbar sein (da PCA die Varianz priorisiert, nicht unbedingt die „Interessantheit“).
Beispiel -- Reduzierung der Dimensionen von Netzwerkdaten @@ -235,7 +235,7 @@ Das GMM-Fitting erfolgt typischerweise über den Expectation-Maximization (EM)-A - **Initialisierung**: Beginnen Sie mit anfänglichen Schätzungen für die Mittelwerte, Kovarianzen und Mischkoeffizienten (oder verwenden Sie die Ergebnisse von K-Means als Ausgangspunkt). -- **E-Schritt (Erwartung)**: Berechnen Sie unter den aktuellen Parametern die Verantwortung jedes Clusters für jeden Punkt: im Wesentlichen `r_nk = P(z_k | x_n)`, wobei z_k die latente Variable ist, die die Clusterzugehörigkeit für den Punkt x_n angibt. Dies geschieht unter Verwendung des Satzes von Bayes, wobei wir die posteriori Wahrscheinlichkeit jedes Punktes berechnen, zu jedem Cluster basierend auf den aktuellen Parametern zu gehören. Die Verantwortlichkeiten werden berechnet als: +- **E-Schritt (Erwartung)**: Berechnen Sie die Verantwortung jedes Clusters für jeden Punkt anhand der aktuellen Parameter: im Wesentlichen `r_nk = P(z_k | x_n)`, wobei z_k die latente Variable ist, die die Clusterzugehörigkeit für den Punkt x_n angibt. Dies geschieht unter Verwendung des Satzes von Bayes, wobei wir die posteriori Wahrscheinlichkeit jedes Punktes berechnen, zu jedem Cluster basierend auf den aktuellen Parametern zu gehören. Die Verantwortlichkeiten werden berechnet als: ```math r_{nk} = \frac{\pi_k \mathcal{N}(x_n | \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j \mathcal{N}(x_n | \mu_j, \Sigma_j)} ``` @@ -245,21 +245,21 @@ wobei: - **M-Schritt (Maximierung)**: Aktualisieren Sie die Parameter unter Verwendung der im E-Schritt berechneten Verantwortlichkeiten: - Aktualisieren Sie jeden Mittelwert μ_k als den gewichteten Durchschnitt der Punkte, wobei die Gewichte die Verantwortlichkeiten sind. -- Aktualisieren Sie jede Kovarianz Σ_k als die gewichtete Kovarianz der den Cluster k zugewiesenen Punkte. -- Aktualisieren Sie die Mischkoeffizienten π_k als den durchschnittlichen Verantwortlichkeitswert für Cluster k. +- Aktualisieren Sie jede Kovarianz Σ_k als die gewichtete Kovarianz der Punkte, die dem Cluster k zugeordnet sind. +- Aktualisieren Sie die Mischkoeffizienten π_k als den durchschnittlichen Verantwortungswert für Cluster k. - **Iterieren** Sie E- und M-Schritte, bis die Konvergenz erreicht ist (Parameter stabilisieren sich oder die Verbesserung der Wahrscheinlichkeit liegt unter einem Schwellenwert). -Das Ergebnis ist eine Menge von Gaussian-Verteilungen, die gemeinsam die gesamte Datenverteilung modellieren. Wir können das angepasste GMM verwenden, um zu clustern, indem wir jeden Punkt dem Gaussian mit der höchsten Wahrscheinlichkeit zuweisen oder die Wahrscheinlichkeiten für Unsicherheit beibehalten. Man kann auch die Wahrscheinlichkeit neuer Punkte bewerten, um zu sehen, ob sie zum Modell passen (nützlich für die Anomalieerkennung). +Das Ergebnis ist eine Menge von Gaussian-Verteilungen, die gemeinsam die gesamte Datenverteilung modellieren. Wir können das angepasste GMM verwenden, um zu clustern, indem wir jeden Punkt dem Gaussian mit der höchsten Wahrscheinlichkeit zuordnen oder die Wahrscheinlichkeiten für Unsicherheit beibehalten. Man kann auch die Wahrscheinlichkeit neuer Punkte bewerten, um zu sehen, ob sie zum Modell passen (nützlich für die Anomalieerkennung). > [!TIP] -> *Anwendungsfälle in der Cybersicherheit:* GMM kann zur Anomalieerkennung verwendet werden, indem die Verteilung normaler Daten modelliert wird: Jeder Punkt mit sehr niedriger Wahrscheinlichkeit unter der gelernten Mischung wird als Anomalie markiert. Zum Beispiel könnten Sie ein GMM auf legitimen Netzwerkverkehrsmerkmalen trainieren; eine Angriffsverbindung, die keinem gelernten Cluster ähnelt, hätte eine niedrige Wahrscheinlichkeit. GMMs werden auch verwendet, um Aktivitäten zu clustern, bei denen Cluster unterschiedliche Formen haben könnten – z.B. Benutzer nach Verhaltensprofilen zu gruppieren, wobei die Merkmale jedes Profils Gaussian-ähnlich, aber mit eigener Varianzstruktur sein könnten. Ein weiteres Szenario: Bei der Phishing-Erkennung könnten legitime E-Mail-Merkmale einen Gaussian-Cluster bilden, bekanntes Phishing einen anderen, und neue Phishing-Kampagnen könnten entweder als separater Gaussian oder als Punkte mit niedriger Wahrscheinlichkeit im Verhältnis zur bestehenden Mischung erscheinen. +> *Anwendungsfälle in der Cybersicherheit:* GMM kann zur Anomalieerkennung verwendet werden, indem die Verteilung normaler Daten modelliert wird: Jeder Punkt mit sehr niedriger Wahrscheinlichkeit unter der gelernten Mischung wird als Anomalie markiert. Zum Beispiel könnten Sie ein GMM auf legitimen Netzwerkverkehrsmerkmalen trainieren; eine Angriffsverbindung, die keinem gelernten Cluster ähnelt, hätte eine niedrige Wahrscheinlichkeit. GMMs werden auch verwendet, um Aktivitäten zu clustern, bei denen Cluster unterschiedliche Formen haben könnten – z.B. Benutzer nach Verhaltensprofilen zu gruppieren, wobei die Merkmale jedes Profils Gaussian-ähnlich, aber mit einer eigenen Varianzstruktur sein könnten. Ein weiteres Szenario: Bei der Phishing-Erkennung könnten legitime E-Mail-Merkmale einen Gaussian-Cluster bilden, bekanntes Phishing einen anderen, und neue Phishing-Kampagnen könnten entweder als separater Gaussian oder als Punkte mit niedriger Wahrscheinlichkeit im Verhältnis zur bestehenden Mischung erscheinen. #### Annahmen und Einschränkungen GMM ist eine Verallgemeinerung von K-Means, die Kovarianz einbezieht, sodass Cluster ellipsoid sein können (nicht nur sphärisch). Es behandelt Cluster unterschiedlicher Größen und Formen, wenn die Kovarianz vollständig ist. Weiches Clustering ist ein Vorteil, wenn die Clustergrenzen unscharf sind – z.B. in der Cybersicherheit könnte ein Ereignis Merkmale mehrerer Angriffsarten aufweisen; GMM kann diese Unsicherheit mit Wahrscheinlichkeiten widerspiegeln. GMM bietet auch eine probabilistische Dichteschätzung der Daten, die nützlich ist, um Ausreißer (Punkte mit niedriger Wahrscheinlichkeit unter allen Mischkomponenten) zu erkennen. -Auf der negativen Seite erfordert GMM die Angabe der Anzahl der Komponenten K (obwohl man Kriterien wie BIC/AIC verwenden kann, um sie auszuwählen). EM kann manchmal langsam konvergieren oder zu einem lokalen Optimum führen, sodass die Initialisierung wichtig ist (oft wird EM mehrfach ausgeführt). Wenn die Daten tatsächlich keiner Mischung von Gausschen folgen, kann das Modell schlecht passen. Es besteht auch das Risiko, dass ein Gaussian schrumpft, um nur einen Ausreißer abzudecken (obwohl Regularisierung oder Mindestkovarianzgrenzen dies mildern können). +Auf der negativen Seite erfordert GMM die Angabe der Anzahl der Komponenten K (obwohl man Kriterien wie BIC/AIC verwenden kann, um sie auszuwählen). EM kann manchmal langsam konvergieren oder zu einem lokalen Optimum führen, daher ist die Initialisierung wichtig (oft wird EM mehrfach ausgeführt). Wenn die Daten tatsächlich keiner Mischung von Gaussians folgen, kann das Modell schlecht passen. Es besteht auch das Risiko, dass ein Gaussian schrumpft, um nur einen Ausreißer abzudecken (obwohl Regularisierung oder Mindestkovarianzgrenzen dies mildern können).
@@ -283,28 +283,28 @@ log_likelihood = gmm.score_samples(sample_attack) print("Cluster membership probabilities for sample attack:", probs) print("Log-likelihood of sample attack under GMM:", log_likelihood) ``` -In diesem Code trainieren wir ein GMM mit 3 Gaussischen auf dem normalen Verkehr (vorausgesetzt, wir kennen 3 Profile des legitimen Verkehrs). Die ausgegebenen Mittelwerte und Kovarianzen beschreiben diese Cluster (zum Beispiel könnte ein Mittelwert etwa [50,500] entsprechen, was dem Zentrum eines Clusters entspricht, usw.). Wir testen dann eine verdächtige Verbindung [duration=200, bytes=800]. Die predict_proba gibt die Wahrscheinlichkeit an, dass dieser Punkt zu jedem der 3 Cluster gehört – wir würden erwarten, dass diese Wahrscheinlichkeiten sehr niedrig oder stark verzerrt sind, da [200,800] weit von den normalen Clustern entfernt liegt. Der gesamte score_samples (Log-Likelihood) wird ausgegeben; ein sehr niedriger Wert zeigt an, dass der Punkt nicht gut zum Modell passt, was ihn als Anomalie kennzeichnet. In der Praxis könnte man einen Schwellenwert für die Log-Likelihood (oder für die maximale Wahrscheinlichkeit) festlegen, um zu entscheiden, ob ein Punkt ausreichend unwahrscheinlich ist, um als bösartig betrachtet zu werden. GMM bietet somit eine fundierte Methode zur Anomalieerkennung und liefert auch weiche Cluster, die Unsicherheit anerkennen. +In diesem Code trainieren wir ein GMM mit 3 Gaussischen auf dem normalen Verkehr (vorausgesetzt, wir kennen 3 Profile des legitimen Verkehrs). Die ausgegebenen Mittelwerte und Kovarianzen beschreiben diese Cluster (zum Beispiel könnte ein Mittelwert etwa [50,500] entsprechen, was dem Zentrum eines Clusters entspricht, usw.). Wir testen dann eine verdächtige Verbindung [duration=200, bytes=800]. Die predict_proba gibt die Wahrscheinlichkeit an, dass dieser Punkt zu jedem der 3 Cluster gehört – wir würden erwarten, dass diese Wahrscheinlichkeiten sehr niedrig oder stark verzerrt sind, da [200,800] weit von den normalen Clustern entfernt liegt. Der gesamte score_samples (Log-Likelihood) wird ausgegeben; ein sehr niedriger Wert zeigt an, dass der Punkt nicht gut zum Modell passt, was ihn als Anomalie kennzeichnet. In der Praxis könnte man einen Schwellenwert für die Log-Likelihood (oder für die maximale Wahrscheinlichkeit) festlegen, um zu entscheiden, ob ein Punkt ausreichend unwahrscheinlich ist, um als bösartig betrachtet zu werden. GMM bietet somit eine fundierte Möglichkeit zur Anomalieerkennung und liefert auch weiche Cluster, die Unsicherheit anerkennen. ### Isolation Forest -**Isolation Forest** ist ein Ensemble-Anomalieerkennungsalgorithmus, der auf der Idee basiert, Punkte zufällig zu isolieren. Das Prinzip ist, dass Anomalien selten und unterschiedlich sind, sodass sie leichter zu isolieren sind als normale Punkte. Ein Isolation Forest baut viele binäre Isolation Trees (zufällige Entscheidungsbäume), die die Daten zufällig partitionieren. An jedem Knoten in einem Baum wird ein zufälliges Merkmal ausgewählt und ein zufälliger Split-Wert zwischen dem Minimum und Maximum dieses Merkmals für die Daten in diesem Knoten gewählt. Dieser Split teilt die Daten in zwei Zweige. Der Baum wird so lange gewachsen, bis jeder Punkt in seinem eigenen Blatt isoliert ist oder eine maximale Baumhöhe erreicht ist. +**Isolation Forest** ist ein Ensemble-Anomalieerkennungsalgorithmus, der auf der Idee basiert, Punkte zufällig zu isolieren. Das Prinzip ist, dass Anomalien selten und unterschiedlich sind, sodass sie leichter zu isolieren sind als normale Punkte. Ein Isolation Forest baut viele binäre Isolationsbäume (zufällige Entscheidungsbäume), die die Daten zufällig partitionieren. An jedem Knoten in einem Baum wird ein zufälliges Merkmal ausgewählt und ein zufälliger Split-Wert zwischen dem Minimum und Maximum dieses Merkmals für die Daten in diesem Knoten gewählt. Dieser Split teilt die Daten in zwei Zweige. Der Baum wird so lange gewachsen, bis jeder Punkt in seinem eigenen Blatt isoliert ist oder eine maximale Baumhöhe erreicht ist. Die Anomalieerkennung erfolgt durch Beobachtung der Pfadlänge jedes Punktes in diesen zufälligen Bäumen – die Anzahl der Splits, die erforderlich sind, um den Punkt zu isolieren. Intuitiv neigen Anomalien (Ausreißer) dazu, schneller isoliert zu werden, da ein zufälliger Split eher einen Ausreißer (der in einem spärlichen Bereich liegt) trennt als einen normalen Punkt in einem dichten Cluster. Der Isolation Forest berechnet einen Anomaliewert aus der durchschnittlichen Pfadlänge über alle Bäume: kürzere durchschnittliche Pfadlänge → anomalere Punkte. Die Werte werden normalerweise auf [0,1] normalisiert, wobei 1 sehr wahrscheinlich eine Anomalie bedeutet. > [!TIP] -> *Anwendungsfälle in der Cybersicherheit:* Isolation Forests wurden erfolgreich in der Eindringungserkennung und Betrugserkennung eingesetzt. Zum Beispiel trainieren Sie einen Isolation Forest auf Netzwerkverkehrsprotokollen, die hauptsächlich normales Verhalten enthalten; der Wald wird kurze Pfade für seltsamen Verkehr (wie eine IP, die einen unbekannten Port verwendet oder ein ungewöhnliches Paketgrößenmuster aufweist) erzeugen und ihn zur Überprüfung kennzeichnen. Da er keine gekennzeichneten Angriffe benötigt, ist er geeignet, um unbekannte Angriffstypen zu erkennen. Er kann auch auf Benutzerdaten zu Anmeldungen eingesetzt werden, um Kontoübernahmen zu erkennen (die anomalen Anmeldezeiten oder -orte werden schnell isoliert). In einem Anwendungsfall könnte ein Isolation Forest ein Unternehmen schützen, indem er Systemmetriken überwacht und eine Warnung generiert, wenn eine Kombination von Metriken (CPU, Netzwerk, Dateiänderungen) sehr unterschiedlich (kurze Isolationspfade) von historischen Mustern aussieht. +> *Anwendungsfälle in der Cybersicherheit:* Isolation Forests wurden erfolgreich in der Eindringungserkennung und Betrugserkennung eingesetzt. Zum Beispiel trainieren Sie einen Isolation Forest auf Netzwerkverkehrsprotokollen, die hauptsächlich normales Verhalten enthalten; der Wald wird kurze Pfade für seltsamen Verkehr erzeugen (wie eine IP, die einen unbekannten Port oder ein ungewöhnliches Paketgrößenmuster verwendet), was ihn zur Inspektion kennzeichnet. Da er keine gekennzeichneten Angriffe erfordert, ist er geeignet, um unbekannte Angriffstypen zu erkennen. Er kann auch auf Benutzerdaten zu Anmeldungen eingesetzt werden, um Kontoübernahmen zu erkennen (die anomalen Anmeldezeiten oder -orte werden schnell isoliert). In einem Anwendungsfall könnte ein Isolation Forest ein Unternehmen schützen, indem er Systemmetriken überwacht und eine Warnung generiert, wenn eine Kombination von Metriken (CPU, Netzwerk, Dateiänderungen) sehr unterschiedlich (kurze Isolationspfade) von historischen Mustern aussieht. #### Annahmen und Einschränkungen -**Vorteile**: Isolation Forest benötigt keine Verteilungsannahme; er zielt direkt auf Isolation ab. Er ist effizient bei hochdimensionalen Daten und großen Datensätzen (lineare Komplexität $O(n\log n)$ für den Aufbau des Waldes), da jeder Baum Punkte nur mit einer Teilmenge von Merkmalen und Splits isoliert. Er neigt dazu, numerische Merkmale gut zu behandeln und kann schneller sein als distanzbasierte Methoden, die $O(n^2)$ sein könnten. Er gibt auch automatisch einen Anomaliewert aus, sodass Sie einen Schwellenwert für Warnungen festlegen können (oder einen Kontaminationsparameter verwenden, um automatisch einen Cutoff basierend auf einem erwarteten Anomalieanteil zu entscheiden). +**Vorteile**: Isolation Forest erfordert keine Verteilungsannahme; er zielt direkt auf Isolation ab. Er ist effizient bei hochdimensionalen Daten und großen Datensätzen (lineare Komplexität $O(n\log n)$ für den Aufbau des Waldes), da jeder Baum Punkte nur mit einer Teilmenge von Merkmalen und Splits isoliert. Er neigt dazu, numerische Merkmale gut zu behandeln und kann schneller sein als distanzbasierte Methoden, die $O(n^2)$ sein könnten. Er gibt auch automatisch einen Anomaliewert aus, sodass Sie einen Schwellenwert für Warnungen festlegen können (oder einen Kontaminationsparameter verwenden, um automatisch einen Cutoff basierend auf einem erwarteten Anomalieanteil zu entscheiden). -**Einschränkungen**: Aufgrund seiner zufälligen Natur können die Ergebnisse zwischen den Durchläufen leicht variieren (obwohl dies bei ausreichend vielen Bäumen geringfügig ist). Wenn die Daten viele irrelevante Merkmale enthalten oder wenn Anomalien sich in keinem Merkmal stark unterscheiden, könnte die Isolation nicht effektiv sein (zufällige Splits könnten normale Punkte zufällig isolieren – jedoch mildert das Durchschnittt vieler Bäume dies). Außerdem geht der Isolation Forest im Allgemeinen davon aus, dass Anomalien eine kleine Minderheit sind (was in der Regel in Cybersicherheits-Szenarien zutrifft). +**Einschränkungen**: Aufgrund seiner zufälligen Natur können die Ergebnisse zwischen den Durchläufen leicht variieren (obwohl dies bei ausreichend vielen Bäumen geringfügig ist). Wenn die Daten viele irrelevante Merkmale enthalten oder wenn Anomalien sich in keinem Merkmal stark unterscheiden, könnte die Isolation nicht effektiv sein (zufällige Splits könnten normale Punkte zufällig isolieren – jedoch mildert das Durchschnittt vieler Bäume dies). Außerdem geht der Isolation Forest im Allgemeinen davon aus, dass Anomalien eine kleine Minderheit sind (was in der Regel in Cybersicherheitsszenarien zutrifft).
Beispiel -- Ausreißer in Netzwerkprotokollen erkennen -Wir werden den früheren Testdatensatz verwenden (der normalen und einige Angriffs-Punkte enthält) und einen Isolation Forest ausführen, um zu sehen, ob er die Angriffe trennen kann. Wir gehen davon aus, dass wir erwarten, dass ~15% der Daten anomale Punkte sind (zur Demonstration). +Wir werden den früheren Testdatensatz verwenden (der normalen und einige Angriffspunkte enthält) und einen Isolation Forest ausführen, um zu sehen, ob er die Angriffe trennen kann. Wir gehen davon aus, dass wir erwarten, dass ~15% der Daten anomale sind (zur Demonstration). ```python from sklearn.ensemble import IsolationForest @@ -320,9 +320,9 @@ print("Isolation Forest predicted labels (first 20):", preds[:20]) print("Number of anomalies detected:", np.sum(preds == -1)) print("Example anomaly scores (lower means more anomalous):", anomaly_scores[:5]) ``` -In diesem Code instanziieren wir `IsolationForest` mit 100 Bäumen und setzen `contamination=0.15` (was bedeutet, dass wir etwa 15% Anomalien erwarten; das Modell wird seine Schwelle so setzen, dass ~15% der Punkte markiert werden). Wir passen es an `X_test_if` an, das eine Mischung aus normalen und Angriffs-Punkten enthält (Hinweis: Normalerweise würden Sie es an Trainingsdaten anpassen und dann `predict` auf neuen Daten verwenden, aber hier zur Veranschaulichung passen wir es an und sagen auf demselben Satz vorher, um die Ergebnisse direkt zu beobachten). +In diesem Code instanziieren wir `IsolationForest` mit 100 Bäumen und setzen `contamination=0.15` (was bedeutet, dass wir etwa 15% Anomalien erwarten; das Modell wird seine Schwelle so setzen, dass ~15% der Punkte markiert werden). Wir passen es an `X_test_if` an, das eine Mischung aus normalen und Angriffs-Punkten enthält (Hinweis: Normalerweise würden Sie es an Trainingsdaten anpassen und dann `predict` auf neuen Daten verwenden, aber hier zur Veranschaulichung passen wir es an und sagen auf demselben Satz Vorhersagen, um die Ergebnisse direkt zu beobachten). -Die Ausgabe zeigt die vorhergesagten Labels für die ersten 20 Punkte (wobei -1 Anomalie anzeigt). Wir drucken auch, wie viele Anomalien insgesamt erkannt wurden und einige Beispiel-Anomaliewerte. Wir würden erwarten, dass ungefähr 18 von 120 Punkten mit -1 gekennzeichnet werden (da die Kontamination 15% betrug). Wenn unsere 20 Angriffsmuster tatsächlich die auffälligsten sind, sollten die meisten von ihnen in diesen -1-Vorhersagen erscheinen. Der Anomaliewert (die Entscheidungsfunktion des Isolation Forest) ist höher für normale Punkte und niedriger (negativer) für Anomalien – wir drucken einige Werte aus, um die Trennung zu sehen. In der Praxis könnte man die Daten nach Wert sortieren, um die auffälligsten Ausreißer zu sehen und sie zu untersuchen. Isolation Forest bietet somit eine effiziente Möglichkeit, große unbeschriftete Sicherheitsdaten zu durchsuchen und die unregelmäßigsten Instanzen für die menschliche Analyse oder weitere automatisierte Überprüfung herauszufiltern. +Die Ausgabe zeigt die vorhergesagten Labels für die ersten 20 Punkte (wobei -1 Anomalie anzeigt). Wir drucken auch, wie viele Anomalien insgesamt erkannt wurden und einige Beispiel-Anomaliewerte. Wir würden erwarten, dass ungefähr 18 von 120 Punkten mit -1 gekennzeichnet werden (da die Kontamination 15% betrug). Wenn unsere 20 Angriffsmuster tatsächlich die auffälligsten sind, sollten die meisten von ihnen in diesen -1-Vorhersagen erscheinen. Der Anomaliewert (die Entscheidungsfunktion des Isolation Forest) ist höher für normale Punkte und niedriger (negativer) für Anomalien – wir drucken einige Werte aus, um die Trennung zu sehen. In der Praxis könnte man die Daten nach Wert sortieren, um die besten Ausreißer zu sehen und sie zu untersuchen. Isolation Forest bietet somit eine effiziente Möglichkeit, große unbeschriftete Sicherheitsdaten zu durchsuchen und die unregelmäßigsten Instanzen für die menschliche Analyse oder weitere automatisierte Überprüfung herauszufiltern. ### t-SNE (t-Distributed Stochastic Neighbor Embedding) @@ -332,7 +332,7 @@ Der Algorithmus hat zwei Hauptphasen: 1. **Berechnung paarweiser Affinitäten im hochdimensionalen Raum:** Für jedes Punktpaar berechnet t-SNE eine Wahrscheinlichkeit, dass man dieses Paar als Nachbarn auswählen würde (dies geschieht, indem eine Gaußsche Verteilung auf jeden Punkt zentriert und Abstände gemessen werden – der Perplexitätsparameter beeinflusst die effektive Anzahl der berücksichtigten Nachbarn). 2. **Berechnung paarweiser Affinitäten im niederdimensionalen (z.B. 2D) Raum:** Zunächst werden die Punkte zufällig in 2D platziert. t-SNE definiert eine ähnliche Wahrscheinlichkeit für Abstände in dieser Karte (unter Verwendung eines Student-t-Verteilungskernels, der schwerere Schwänze als Gauß hat, um entfernten Punkten mehr Freiheit zu geben). -3. **Gradientenabstieg:** t-SNE bewegt dann iterativ die Punkte in 2D, um die Kullback-Leibler (KL) Divergenz zwischen der hochdimensionalen Affinitätsverteilung und der niederdimensionalen zu minimieren. Dies bewirkt, dass die 2D-Anordnung die hochdimensionale Struktur so gut wie möglich widerspiegelt – Punkte, die im ursprünglichen Raum nahe beieinander lagen, ziehen sich an, und solche, die weit auseinander liegen, stoßen sich ab, bis ein Gleichgewicht gefunden ist. +3. **Gradientenabstieg:** t-SNE bewegt dann iterativ die Punkte in 2D, um die Kullback-Leibler (KL) Divergenz zwischen der hochdimensionalen Affinitätsverteilung und der niederdimensionalen zu minimieren. Dies bewirkt, dass die 2D-Anordnung die hochdimensionale Struktur so gut wie möglich widerspiegelt – Punkte, die im ursprünglichen Raum nahe beieinander lagen, ziehen sich gegenseitig an, und solche, die weit auseinander liegen, stoßen sich ab, bis ein Gleichgewicht gefunden ist. Das Ergebnis ist oft ein visuell bedeutungsvolles Streudiagramm, in dem Cluster in den Daten offensichtlich werden. @@ -343,13 +343,13 @@ Das Ergebnis ist oft ein visuell bedeutungsvolles Streudiagramm, in dem Cluster t-SNE ist großartig für die visuelle Entdeckung von Mustern. Es kann Cluster, Untercluster und Ausreißer aufdecken, die andere lineare Methoden (wie PCA) möglicherweise nicht erkennen. Es wurde in der Cybersicherheitsforschung verwendet, um komplexe Daten wie Malware-Verhaltensprofile oder Netzwerkverkehrsmuster zu visualisieren. Da es die lokale Struktur bewahrt, ist es gut darin, natürliche Gruppierungen zu zeigen. -Allerdings ist t-SNE rechnerisch aufwendiger (ungefähr $O(n^2)$), sodass es für sehr große Datensätze möglicherweise eine Stichprobe erfordert. Es hat auch Hyperparameter (Perplexität, Lernrate, Iterationen), die die Ausgabe beeinflussen können – z.B. könnten unterschiedliche Perplexitätswerte Cluster in unterschiedlichen Maßstäben offenbaren. t-SNE-Diagramme können manchmal missinterpretiert werden – Abstände in der Karte sind global nicht direkt bedeutungsvoll (es konzentriert sich auf lokale Nachbarschaften, manchmal können Cluster künstlich gut getrennt erscheinen). Außerdem ist t-SNE hauptsächlich für die Visualisierung gedacht; es bietet keinen direkten Weg, neue Datenpunkte zu projizieren, ohne neu zu berechnen, und es ist nicht dafür gedacht, als Vorverarbeitung für prädiktive Modellierung verwendet zu werden (UMAP ist eine Alternative, die einige dieser Probleme mit schnellerer Geschwindigkeit angeht). +Allerdings ist t-SNE rechnerisch aufwendiger (ungefähr $O(n^2)$), sodass es für sehr große Datensätze möglicherweise eine Stichprobe erfordert. Es hat auch Hyperparameter (Perplexität, Lernrate, Iterationen), die die Ausgabe beeinflussen können – z.B. könnten unterschiedliche Perplexitätswerte Cluster in unterschiedlichen Maßstäben offenbaren. t-SNE-Diagramme können manchmal missinterpretiert werden – Abstände in der Karte sind nicht global direkt bedeutungsvoll (es konzentriert sich auf lokale Nachbarschaften, manchmal können Cluster künstlich gut getrennt erscheinen). Außerdem ist t-SNE hauptsächlich für die Visualisierung gedacht; es bietet keinen direkten Weg, neue Datenpunkte zu projizieren, ohne neu zu berechnen, und es ist nicht dafür gedacht, als Vorverarbeitung für prädiktives Modellieren verwendet zu werden (UMAP ist eine Alternative, die einige dieser Probleme mit schnellerer Geschwindigkeit angeht).
Beispiel -- Visualisierung von Netzwerkverbindungen -Wir werden t-SNE verwenden, um einen Datensatz mit mehreren Merkmalen auf 2D zu reduzieren. Zur Veranschaulichung nehmen wir die vorherige 4D-Daten (die 3 natürliche Cluster normalen Verkehrs hatten) und fügen einige Anomaliepunkte hinzu. Dann führen wir t-SNE aus und visualisieren (konzeptionell) die Ergebnisse. +Wir werden t-SNE verwenden, um einen Datensatz mit mehreren Merkmalen auf 2D zu reduzieren. Zur Veranschaulichung nehmen wir die früheren 4D-Daten (die 3 natürliche Cluster normalen Verkehrs hatten) und fügen einige Anomaliepunkte hinzu. Dann führen wir t-SNE aus und visualisieren (konzeptionell) die Ergebnisse. ```python # 1 ───────────────────────────────────────────────────────────────────── # Create synthetic 4-D dataset