mirror of
https://github.com/HackTricks-wiki/hacktricks.git
synced 2025-10-10 18:36:50 +00:00
Translated ['src/AI/AI-Unsupervised-Learning-algorithms.md'] to pl
This commit is contained in:
parent
05917068de
commit
24d045431a
@ -16,7 +16,7 @@ K-Średnich to algorytm klasteryzacji oparty na centroidach, który dzieli dane
|
||||
4. **Powtórz**: Kroki 2–3 są powtarzane, aż przypisania klastrów się ustabilizują (centroidy przestają się znacząco poruszać).
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* K-Średnich jest używane do wykrywania intruzji poprzez klasteryzację zdarzeń sieciowych. Na przykład, badacze zastosowali K-Średnich do zestawu danych o intruzjach KDD Cup 99 i stwierdzili, że skutecznie podzielił ruch na klastry normalne i atakujące. W praktyce analitycy bezpieczeństwa mogą klasteryzować wpisy dzienników lub dane o zachowaniu użytkowników, aby znaleźć grupy podobnej aktywności; wszelkie punkty, które nie należą do dobrze uformowanego klastra, mogą wskazywać na anomalie (np. nowa odmiana złośliwego oprogramowania tworząca własny mały klaster). K-Średnich może również pomóc w klasyfikacji rodzin złośliwego oprogramowania poprzez grupowanie plików binarnych na podstawie profili zachowań lub wektorów cech.
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* K-Średnich jest używane do wykrywania intruzji poprzez klasteryzację zdarzeń sieciowych. Na przykład, badacze zastosowali K-Średnich do zestawu danych o intruzjach KDD Cup 99 i stwierdzili, że skutecznie podzielił ruch na klastry normalne i atakujące. W praktyce analitycy bezpieczeństwa mogą klasteryzować wpisy dzienników lub dane o zachowaniach użytkowników, aby znaleźć grupy podobnej aktywności; wszelkie punkty, które nie należą do dobrze uformowanego klastra, mogą wskazywać na anomalie (np. nowa odmiana złośliwego oprogramowania tworząca własny mały klaster). K-Średnich może również pomóc w klasyfikacji rodzin złośliwego oprogramowania poprzez grupowanie plików binarnych na podstawie profili zachowań lub wektorów cech.
|
||||
|
||||
#### Wybór K
|
||||
Liczba klastrów (K) jest hiperparametrem, który należy zdefiniować przed uruchomieniem algorytmu. Techniki takie jak Metoda Łokcia lub Wskaźnik Silhouette mogą pomóc w określeniu odpowiedniej wartości dla K, oceniając wydajność klasteryzacji:
|
||||
@ -26,7 +26,7 @@ Liczba klastrów (K) jest hiperparametrem, który należy zdefiniować przed uru
|
||||
|
||||
#### Założenia i Ograniczenia
|
||||
|
||||
K-Średnich zakłada, że **klastry są sferyczne i mają równą wielkość**, co może nie być prawdą dla wszystkich zestawów danych. Jest wrażliwy na początkowe umiejscowienie centroidów i może zbiegać do lokalnych minimów. Dodatkowo, K-Średnich nie jest odpowiedni dla zestawów danych o zmiennej gęstości lub nienałogowych kształtach oraz cechach o różnych skalach. Kroki wstępne, takie jak normalizacja lub standaryzacja, mogą być konieczne, aby zapewnić, że wszystkie cechy przyczyniają się równo do obliczeń odległości.
|
||||
K-Średnich zakłada, że **klastry są sferyczne i równo wymiarowe**, co może nie być prawdą dla wszystkich zestawów danych. Jest wrażliwy na początkowe umiejscowienie centroidów i może zbiegać do lokalnych minimów. Dodatkowo, K-Średnich nie jest odpowiedni dla zestawów danych o zmiennej gęstości lub nienałogowych kształtach oraz cechach o różnych skalach. Kroki wstępne, takie jak normalizacja lub standaryzacja, mogą być konieczne, aby zapewnić, że wszystkie cechy przyczyniają się równo do obliczeń odległości.
|
||||
|
||||
<details>
|
||||
<summary>Przykład -- Klasteryzacja Zdarzeń Sieciowych
|
||||
@ -62,27 +62,27 @@ W tym przykładzie K-Means powinien znaleźć 4 klastry. Mały klaster ataku (o
|
||||
|
||||
### Klasteryzacja Hierarchiczna
|
||||
|
||||
Klasteryzacja hierarchiczna buduje hierarchię klastrów, używając podejścia od dołu do góry (agglomeratywnego) lub od góry do dołu (dzielącego):
|
||||
Klasteryzacja hierarchiczna buduje hierarchię klastrów, używając podejścia od dołu do góry (agglomerative) lub od góry do dołu (divisive):
|
||||
|
||||
1. **Agglomeratywne (Od Dołu do Góry)**: Rozpocznij od każdego punktu danych jako osobnego klastra i iteracyjnie łącz najbliższe klastry, aż pozostanie jeden klaster lub zostanie spełniony kryterium zatrzymania.
|
||||
2. **Dzielące (Od Góry do Dołu)**: Rozpocznij od wszystkich punktów danych w jednym klastrze i iteracyjnie dziel klastry, aż każdy punkt danych stanie się swoim własnym klastrem lub zostanie spełniony kryterium zatrzymania.
|
||||
1. **Agglomerative (Od Dołu do Góry)**: Rozpocznij od każdego punktu danych jako osobnego klastra i iteracyjnie łącz najbliższe klastry, aż pozostanie jeden klaster lub zostanie spełniony kryterium zatrzymania.
|
||||
2. **Divisive (Od Góry do Dołu)**: Rozpocznij od wszystkich punktów danych w jednym klastrze i iteracyjnie dziel klastry, aż każdy punkt danych stanie się swoim własnym klastrem lub zostanie spełniony kryterium zatrzymania.
|
||||
|
||||
Klasteryzacja agglomeratywna wymaga zdefiniowania odległości między klastrami oraz kryterium łączenia, aby zdecydować, które klastry połączyć. Powszechne metody łączenia obejmują pojedyncze łączenie (odległość najbliższych punktów między dwoma klastrami), pełne łączenie (odległość najdalszych punktów), średnie łączenie itp., a metryka odległości często jest euklidesowa. Wybór metody łączenia wpływa na kształt produkowanych klastrów. Nie ma potrzeby wstępnego określania liczby klastrów K; można "przeciąć" dendrogram na wybranym poziomie, aby uzyskać pożądaną liczbę klastrów.
|
||||
Klasteryzacja agglomerative wymaga zdefiniowania odległości między klastrami oraz kryterium łączenia, aby zdecydować, które klastry połączyć. Powszechne metody łączenia obejmują pojedyncze łączenie (odległość najbliższych punktów między dwoma klastrami), pełne łączenie (odległość najdalszych punktów), średnie łączenie itp., a metryka odległości często jest euklidesowa. Wybór metody łączenia wpływa na kształt produkowanych klastrów. Nie ma potrzeby wstępnego określania liczby klastrów K; można "przeciąć" dendrogram na wybranym poziomie, aby uzyskać pożądaną liczbę klastrów.
|
||||
|
||||
Klasteryzacja hierarchiczna produkuje dendrogram, strukturę przypominającą drzewo, która pokazuje relacje między klastrami na różnych poziomach szczegółowości. Dendrogram można przeciąć na pożądanym poziomie, aby uzyskać określoną liczbę klastrów.
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* Klasteryzacja hierarchiczna może organizować zdarzenia lub podmioty w drzewo, aby dostrzegać relacje. Na przykład w analizie złośliwego oprogramowania klasteryzacja agglomeratywna mogłaby grupować próbki według podobieństwa behawioralnego, ujawniając hierarchię rodzin i wariantów złośliwego oprogramowania. W bezpieczeństwie sieci można klasteryzować przepływy ruchu IP i używać dendrogramu do zobaczenia podgrup ruchu (np. według protokołu, a następnie według zachowania). Ponieważ nie trzeba wybierać K z góry, jest to przydatne podczas eksploracji nowych danych, dla których liczba kategorii ataków jest nieznana.
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* Klasteryzacja hierarchiczna może organizować zdarzenia lub podmioty w drzewo, aby dostrzegać relacje. Na przykład w analizie złośliwego oprogramowania klasteryzacja agglomerative mogłaby grupować próbki według podobieństwa behawioralnego, ujawniając hierarchię rodzin i wariantów złośliwego oprogramowania. W bezpieczeństwie sieciowym można klasteryzować przepływy ruchu IP i używać dendrogramu do zobaczenia podgrup ruchu (np. według protokołu, a następnie według zachowania). Ponieważ nie trzeba wybierać K z góry, jest to przydatne podczas eksploracji nowych danych, dla których liczba kategorii ataków jest nieznana.
|
||||
|
||||
#### Założenia i Ograniczenia
|
||||
|
||||
Klasteryzacja hierarchiczna nie zakłada konkretnego kształtu klastra i może uchwycić zagnieżdżone klastry. Jest przydatna do odkrywania taksonomii lub relacji między grupami (np. grupowanie złośliwego oprogramowania według podgrup rodzinnych). Jest deterministyczna (brak problemów z losową inicjalizacją). Kluczową zaletą jest dendrogram, który dostarcza wglądu w strukturę klasteryzacji danych na wszystkich poziomach – analitycy bezpieczeństwa mogą zdecydować o odpowiednim poziomie odcięcia, aby zidentyfikować znaczące klastry. Jednak jest to kosztowne obliczeniowo (zwykle czas $O(n^2)$ lub gorszy dla naiwnej implementacji) i niepraktyczne dla bardzo dużych zbiorów danych. Jest to również procedura zachłanna – po wykonaniu połączenia lub podziału nie można tego cofnąć, co może prowadzić do suboptymalnych klastrów, jeśli błąd wystąpi wcześnie. Odstające wartości mogą również wpływać na niektóre strategie łączenia (pojedyncze łączenie może powodować efekt "łańcuchowy", gdzie klastry łączą się za pośrednictwem odstających wartości).
|
||||
Klasteryzacja hierarchiczna nie zakłada konkretnego kształtu klastra i może uchwycić zagnieżdżone klastry. Jest przydatna do odkrywania taksonomii lub relacji między grupami (np. grupowanie złośliwego oprogramowania według podgrup rodzinnych). Jest deterministyczna (brak problemów z losową inicjalizacją). Kluczową zaletą jest dendrogram, który dostarcza wglądu w strukturę klasteryzacji danych na wszystkich poziomach – analitycy bezpieczeństwa mogą zdecydować o odpowiednim poziomie odcięcia, aby zidentyfikować znaczące klastry. Jednak jest to kosztowne obliczeniowo (zwykle czas $O(n^2)$ lub gorszy dla naiwnej implementacji) i niepraktyczne dla bardzo dużych zbiorów danych. Jest to również procedura zachłanna – po wykonaniu połączenia lub podziału nie można tego cofnąć, co może prowadzić do suboptymalnych klastrów, jeśli błąd wystąpi wcześnie. Odstające wartości mogą również wpływać na niektóre strategie łączenia (pojedyncze łączenie może powodować efekt "łańcuchowy", gdzie klastry łączą się przez odstające wartości).
|
||||
|
||||
<details>
|
||||
<summary>Przykład -- Klasteryzacja Agglomeratywna Zdarzeń
|
||||
<summary>Przykład -- Klasteryzacja Agglomerative Zdarzeń
|
||||
</summary>
|
||||
|
||||
Ponownie wykorzystamy syntetyczne dane z przykładu K-Means (3 normalne klastry + 1 klaster ataku) i zastosujemy klasteryzację agglomeratywną. Następnie ilustrujemy, jak uzyskać dendrogram i etykiety klastrów.
|
||||
Ponownie wykorzystamy syntetyczne dane z przykładu K-Means (3 normalne klastry + 1 klaster ataku) i zastosujemy klasteryzację agglomerative. Następnie ilustrujemy, jak uzyskać dendrogram i etykiety klastrów.
|
||||
```python
|
||||
from sklearn.cluster import AgglomerativeClustering
|
||||
from scipy.cluster.hierarchy import linkage, dendrogram
|
||||
@ -102,9 +102,9 @@ print(f"Cluster sizes for 3 clusters: {np.bincount(clusters_3)}")
|
||||
```
|
||||
</details>
|
||||
|
||||
### DBSCAN (Gęstościowe Grupowanie Przestrzenne Aplikacji z Szumem)
|
||||
### DBSCAN (Gęstościowe Grupowanie Aplikacji z Szumem)
|
||||
|
||||
DBSCAN to algorytm grupowania oparty na gęstości, który łączy punkty blisko siebie, jednocześnie oznaczając punkty w obszarach o niskiej gęstości jako odstające. Jest szczególnie przydatny dla zbiorów danych o zmiennej gęstości i nienawykłych kształtach.
|
||||
DBSCAN to algorytm grupowania oparty na gęstości, który łączy punkty blisko siebie, jednocześnie oznaczając punkty w obszarach o niskiej gęstości jako odstające. Jest szczególnie przydatny dla zbiorów danych o zmiennej gęstości i nienormalnych kształtach.
|
||||
|
||||
DBSCAN działa, definiując dwa parametry:
|
||||
- **Epsilon (ε)**: Maksymalna odległość między dwoma punktami, aby mogły być uznane za część tej samej grupy.
|
||||
@ -118,7 +118,7 @@ DBSCAN identyfikuje punkty rdzeniowe, punkty brzegowe i punkty szumowe:
|
||||
Grupowanie przebiega poprzez wybranie nieodwiedzonego punktu rdzeniowego, oznaczenie go jako nową grupę, a następnie rekurencyjne dodawanie wszystkich punktów osiągalnych gęstościowo z niego (punkty rdzeniowe i ich sąsiedzi itp.). Punkty brzegowe są dodawane do grupy pobliskiego punktu rdzeniowego. Po rozszerzeniu wszystkich osiągalnych punktów, DBSCAN przechodzi do innego nieodwiedzonego punktu rdzeniowego, aby rozpocząć nową grupę. Punkty, które nie zostały osiągnięte przez żaden punkt rdzeniowy, pozostają oznaczone jako szum.
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* DBSCAN jest przydatny do wykrywania anomalii w ruchu sieciowym. Na przykład normalna aktywność użytkowników może tworzyć jedną lub więcej gęstych grup w przestrzeni cech, podczas gdy nowe zachowania ataków pojawiają się jako rozproszone punkty, które DBSCAN oznaczy jako szum (odstające). Został użyty do grupowania rekordów przepływu sieci, gdzie może wykrywać skanowanie portów lub ruch typu denial-of-service jako rzadkie obszary punktów. Innym zastosowaniem jest grupowanie wariantów złośliwego oprogramowania: jeśli większość próbek grupuje się według rodzin, ale kilka nie pasuje nigdzie, te kilka może być złośliwym oprogramowaniem zero-day. Możliwość oznaczania szumu oznacza, że zespoły bezpieczeństwa mogą skupić się na badaniu tych odstających.
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* DBSCAN jest przydatny do wykrywania anomalii w ruchu sieciowym. Na przykład normalna aktywność użytkowników może tworzyć jedną lub więcej gęstych grup w przestrzeni cech, podczas gdy nowe zachowania ataków pojawiają się jako rozproszone punkty, które DBSCAN oznaczy jako szum (odstające). Został użyty do grupowania rekordów przepływu sieci, gdzie może wykrywać skany portów lub ruch typu denial-of-service jako rzadkie obszary punktów. Innym zastosowaniem jest grupowanie wariantów złośliwego oprogramowania: jeśli większość próbek grupuje się według rodzin, ale kilka nie pasuje nigdzie, te kilka może być złośliwym oprogramowaniem typu zero-day. Możliwość oznaczania szumu oznacza, że zespoły bezpieczeństwa mogą skupić się na badaniu tych odstających.
|
||||
|
||||
#### Założenia i Ograniczenia
|
||||
|
||||
@ -150,7 +150,7 @@ num_noise = np.sum(labels == -1)
|
||||
print(f"DBSCAN found {num_clusters} clusters and {num_noise} noise points")
|
||||
print("Cluster labels for first 10 points:", labels[:10])
|
||||
```
|
||||
W tym fragmencie dostosowaliśmy `eps` i `min_samples` do skali naszych danych (15.0 w jednostkach cech i wymagając 5 punktów do utworzenia klastra). DBSCAN powinien znaleźć 2 klastry (klastry normalnego ruchu) i oznaczyć 5 wstrzykniętych wartości odstających jako szum. Wyjściowo podajemy liczbę klastrów w porównaniu do punktów szumowych, aby to zweryfikować. W rzeczywistym ustawieniu można iterować po ε (używając heurystyki grafu odległości k, aby wybrać ε) i MinPts (często ustawianym na około wymiarowości danych + 1 jako zasada ogólna), aby znaleźć stabilne wyniki klastrowania. Możliwość wyraźnego oznaczania szumu pomaga oddzielić potencjalne dane ataku do dalszej analizy.
|
||||
W tym fragmencie dostosowaliśmy `eps` i `min_samples` do skali naszych danych (15.0 w jednostkach cech i wymagając 5 punktów do utworzenia klastra). DBSCAN powinien znaleźć 2 klastry (klastry normalnego ruchu) i oznaczyć 5 wstrzykniętych wartości odstających jako szum. Wyjściowo podajemy liczbę klastrów w porównaniu do punktów szumowych, aby to zweryfikować. W rzeczywistym ustawieniu można iterować po ε (używając heurystyki grafu odległości k do wyboru ε) i MinPts (często ustawianej na około wymiarowości danych + 1 jako zasada ogólna), aby znaleźć stabilne wyniki klastrowania. Możliwość wyraźnego oznaczania szumu pomaga oddzielić potencjalne dane ataku do dalszej analizy.
|
||||
|
||||
</details>
|
||||
|
||||
@ -163,8 +163,8 @@ Należy zauważyć, że jest to przydatne, jeśli wymiary zbioru danych zawieraj
|
||||
PCA działa poprzez identyfikację głównych składników danych, którymi są kierunki maksymalnej wariancji. Kroki zaangażowane w PCA to:
|
||||
1. **Standaryzacja**: Wyśrodkowanie danych poprzez odjęcie średniej i skalowanie do jednostkowej wariancji.
|
||||
2. **Macierz Kowariancji**: Obliczenie macierzy kowariancji standaryzowanych danych, aby zrozumieć relacje między cechami.
|
||||
3. **Decompozycja Wartości Własnych**: Wykonanie dekompozycji wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
|
||||
4. **Wybór Głównych Składników**: Posortowanie wartości własnych w porządku malejącym i wybór najlepszych K wektorów własnych odpowiadających największym wartościom własnym. Te wektory własne tworzą nową przestrzeń cech.
|
||||
3. **Rozkład Wartości Własnych**: Wykonanie rozkładu wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
|
||||
4. **Wybór Głównych Składników**: Posortowanie wartości własnych w porządku malejącym i wybranie najlepszych K wektorów własnych odpowiadających największym wartościom własnym. Te wektory własne tworzą nową przestrzeń cech.
|
||||
5. **Transformacja Danych**: Projekcja oryginalnych danych na nową przestrzeń cech przy użyciu wybranych głównych składników.
|
||||
PCA jest szeroko stosowane do wizualizacji danych, redukcji szumów i jako krok wstępny dla innych algorytmów uczenia maszynowego. Pomaga zmniejszyć wymiarowość danych, zachowując ich istotną strukturę.
|
||||
|
||||
@ -188,17 +188,17 @@ Wyjaśnijmy to na przykładzie. Wyobraź sobie, że masz zbiór danych z wieloma
|
||||
- Należy zauważyć, że kowariancja między dwiema zmiennymi (pikselami w tym przypadku) wskazuje, jak bardzo zmieniają się razem, więc pomysł polega na odkryciu, które piksele mają tendencję do wzrostu lub spadku razem w relacji liniowej.
|
||||
- Na przykład, jeśli piksel 1 i piksel 2 mają tendencję do wzrostu razem, kowariancja między nimi będzie dodatnia.
|
||||
- Macierz kowariancji będzie macierzą 10 000x10 000, gdzie każdy wpis reprezentuje kowariancję między dwoma pikselami.
|
||||
3. **Rozwiązanie równania wartości własnych**: Równanie wartości własnych do rozwiązania to `C * v = λ * v`, gdzie C to macierz kowariancji, v to wektor własny, a λ to wartość własna. Można je rozwiązać za pomocą metod takich jak:
|
||||
- **Decompozycja Wartości Własnych**: Wykonanie dekompozycji wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
|
||||
- **Decompozycja Wartości Singularnych (SVD)**: Alternatywnie, można użyć SVD do dekompozycji macierzy danych na wartości i wektory singularne, co również może dać główne składniki.
|
||||
4. **Wybór Głównych Składników**: Posortowanie wartości własnych w porządku malejącym i wybór najlepszych K wektorów własnych odpowiadających największym wartościom własnym. Te wektory własne reprezentują kierunki maksymalnej wariancji w danych.
|
||||
3. **Rozwiąż równanie wartości własnych**: Równanie wartości własnych do rozwiązania to `C * v = λ * v`, gdzie C to macierz kowariancji, v to wektor własny, a λ to wartość własna. Można je rozwiązać za pomocą metod takich jak:
|
||||
- **Rozkład Wartości Własnych**: Wykonanie rozkładu wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
|
||||
- **Rozkład Wartości Singularnych (SVD)**: Alternatywnie, można użyć SVD do rozkładu macierzy danych na wartości i wektory singularne, co również może dać główne składniki.
|
||||
4. **Wybór Głównych Składników**: Posortowanie wartości własnych w porządku malejącym i wybranie najlepszych K wektorów własnych odpowiadających największym wartościom własnym. Te wektory własne reprezentują kierunki maksymalnej wariancji w danych.
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* Powszechnym zastosowaniem PCA w bezpieczeństwie jest redukcja cech do wykrywania anomalii. Na przykład, system wykrywania intruzów z 40+ metrykami sieciowymi (takimi jak cechy NSL-KDD) może użyć PCA do redukcji do kilku komponentów, podsumowując dane do wizualizacji lub wprowadzenia do algorytmów klastrowania. Analitycy mogą rysować ruch sieciowy w przestrzeni pierwszych dwóch głównych składników, aby zobaczyć, czy ataki oddzielają się od normalnego ruchu. PCA może również pomóc w eliminacji zbędnych cech (jak bajty wysłane w porównaniu do bajtów odebranych, jeśli są skorelowane), aby uczynić algorytmy wykrywania bardziej odpornymi i szybszymi.
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* Powszechnym zastosowaniem PCA w bezpieczeństwie jest redukcja cech do wykrywania anomalii. Na przykład, system wykrywania intruzów z ponad 40 metrykami sieciowymi (takimi jak cechy NSL-KDD) może użyć PCA do redukcji do kilku składników, podsumowując dane do wizualizacji lub wprowadzenia do algorytmów klastrowania. Analitycy mogą rysować ruch sieciowy w przestrzeni pierwszych dwóch głównych składników, aby zobaczyć, czy ataki oddzielają się od normalnego ruchu. PCA może również pomóc w eliminacji zbędnych cech (jak bajty wysłane w porównaniu do bajtów odebranych, jeśli są skorelowane), aby uczynić algorytmy wykrywania bardziej odpornymi i szybszymi.
|
||||
|
||||
#### Założenia i Ograniczenia
|
||||
|
||||
PCA zakłada, że **główne osie wariancji są znaczące** – jest to metoda liniowa, więc uchwyca liniowe korelacje w danych. Jest to metoda nienadzorowana, ponieważ wykorzystuje tylko kowariancję cech. Zalety PCA obejmują redukcję szumów (małe komponenty wariancji często odpowiadają szumowi) i dekorelację cech. Jest to obliczeniowo wydajne dla umiarkowanie wysokich wymiarów i często stanowi użyteczny krok wstępny dla innych algorytmów (aby złagodzić przekleństwo wymiarowości). Jednym z ograniczeń jest to, że PCA jest ograniczone do relacji liniowych – nie uchwyci złożonej nieliniowej struktury (podczas gdy autoenkodery lub t-SNE mogą). Ponadto, komponenty PCA mogą być trudne do interpretacji w kontekście oryginalnych cech (są kombinacjami oryginalnych cech). W cyberbezpieczeństwie należy być ostrożnym: atak, który powoduje tylko subtelną zmianę w cechach o niskiej wariancji, może nie pojawić się w głównych komponentach (ponieważ PCA priorytetowo traktuje wariancję, a niekoniecznie „interesującość”).
|
||||
PCA zakłada, że **główne osie wariancji są znaczące** – jest to metoda liniowa, więc uchwyca liniowe korelacje w danych. Jest to metoda nienadzorowana, ponieważ wykorzystuje tylko kowariancję cech. Zalety PCA obejmują redukcję szumów (małe składniki wariancji często odpowiadają szumowi) i dekorelację cech. Jest to obliczeniowo wydajne dla umiarkowanie wysokich wymiarów i często stanowi użyteczny krok wstępny dla innych algorytmów (aby złagodzić przekleństwo wymiarowości). Jednym z ograniczeń jest to, że PCA jest ograniczone do relacji liniowych – nie uchwyci złożonej nieliniowej struktury (podczas gdy autoenkodery lub t-SNE mogą). Ponadto składniki PCA mogą być trudne do interpretacji w kontekście oryginalnych cech (są kombinacjami oryginalnych cech). W cyberbezpieczeństwie należy być ostrożnym: atak, który powoduje tylko subtelną zmianę w cechach o niskiej wariancji, może nie pojawić się w głównych składnikach (ponieważ PCA priorytetowo traktuje wariancję, a niekoniecznie „interesującość”).
|
||||
|
||||
<details>
|
||||
<summary>Przykład -- Redukcja Wymiarów Danych Sieciowych
|
||||
@ -224,7 +224,7 @@ print("Original shape:", data_4d.shape, "Reduced shape:", data_2d.shape)
|
||||
# We can examine a few transformed points
|
||||
print("First 5 data points in PCA space:\n", data_2d[:5])
|
||||
```
|
||||
Tutaj wzięliśmy wcześniejsze klastry normalnego ruchu i rozszerzyliśmy każdy punkt danych o dwie dodatkowe cechy (pakiety i błędy), które korelują z bajtami i czasem trwania. Następnie używamy PCA do skompresowania 4 cech do 2 głównych komponentów. Drukujemy wskaźnik wyjaśnionej wariancji, który może pokazać, że na przykład >95% wariancji jest uchwycone przez 2 komponenty (co oznacza niewielką utratę informacji). Wynik pokazuje również, że kształt danych zmienia się z (1500, 4) na (1500, 2). Pierwsze kilka punktów w przestrzeni PCA podano jako przykład. W praktyce można by narysować data_2d, aby wizualnie sprawdzić, czy klastry są rozróżnialne. Jeśli występowała anomalia, można by ją zobaczyć jako punkt leżący z dala od głównego klastra w przestrzeni PCA. PCA w ten sposób pomaga destylować złożone dane do zarządzalnej formy dla ludzkiej interpretacji lub jako wejście do innych algorytmów.
|
||||
Tutaj wzięliśmy wcześniejsze klastry normalnego ruchu i rozszerzyliśmy każdy punkt danych o dwie dodatkowe cechy (pakiety i błędy), które korelują z bajtami i czasem trwania. Następnie używamy PCA do skompresowania 4 cech do 2 głównych komponentów. Drukujemy wskaźnik wyjaśnionej wariancji, który może pokazać, że na przykład >95% wariancji jest uchwycone przez 2 komponenty (co oznacza niewielką utratę informacji). Wynik pokazuje również, że kształt danych zmienia się z (1500, 4) na (1500, 2). Pierwsze kilka punktów w przestrzeni PCA podano jako przykład. W praktyce można by wykreślić data_2d, aby wizualnie sprawdzić, czy klastry są rozróżnialne. Jeśli występowałaby anomalia, można by ją zobaczyć jako punkt leżący z dala od głównego klastra w przestrzeni PCA. PCA zatem pomaga destylować złożone dane do zarządzalnej formy dla ludzkiej interpretacji lub jako wejście do innych algorytmów.
|
||||
|
||||
</details>
|
||||
|
||||
@ -245,7 +245,7 @@ gdzie:
|
||||
- \( \pi_k \) to współczynnik mieszania dla klastra k (prawdopodobieństwo a priori klastra k),
|
||||
- \( \mathcal{N}(x_n | \mu_k, \Sigma_k) \) to funkcja gęstości prawdopodobieństwa Gaussa dla punktu \( x_n \) przy danej średniej \( \mu_k \) i kowariancji \( \Sigma_k \).
|
||||
|
||||
- **M-krok (Maksymalizacja)**: Zaktualizuj parametry, używając odpowiedzialności obliczonych w kroku E:
|
||||
- **M-krok (Maksymalizacja)**: Zaktualizuj parametry, używając odpowiedzialności obliczonych w E-kroku:
|
||||
- Zaktualizuj każdą średnią μ_k jako ważoną średnią punktów, gdzie wagi to odpowiedzialności.
|
||||
- Zaktualizuj każdą kowariancję Σ_k jako ważoną kowariancję punktów przypisanych do klastra k.
|
||||
- Zaktualizuj współczynniki mieszania π_k jako średnią odpowiedzialność dla klastra k.
|
||||
@ -255,7 +255,7 @@ gdzie:
|
||||
Wynikiem jest zestaw rozkładów Gaussowskich, które wspólnie modelują ogólny rozkład danych. Możemy użyć dopasowanego GMM do klastrowania, przypisując każdy punkt do Gaussa o najwyższym prawdopodobieństwie, lub zachować prawdopodobieństwa dla niepewności. Można również ocenić prawdopodobieństwo nowych punktów, aby sprawdzić, czy pasują do modelu (przydatne w wykrywaniu anomalii).
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* GMM może być używany do wykrywania anomalii poprzez modelowanie rozkładu normalnych danych: każdy punkt o bardzo niskim prawdopodobieństwie w ramach wyuczonej mieszanki jest oznaczany jako anomalia. Na przykład, można by wytrenować GMM na cechach legalnego ruchu sieciowego; połączenie atakujące, które nie przypomina żadnego wyuczonego klastra, miałoby niskie prawdopodobieństwo. GMM są również używane do klastrowania działań, gdzie klastry mogą mieć różne kształty – np. grupowanie użytkowników według profili zachowań, gdzie cechy każdego profilu mogą być podobne do Gaussa, ale z własną strukturą wariancji. Inny scenariusz: w wykrywaniu phishingu cechy legalnych e-maili mogą tworzyć jeden klaster Gaussowski, znane phishingi inny, a nowe kampanie phishingowe mogą pojawiać się jako oddzielny Gauss lub jako punkty o niskim prawdopodobieństwie w stosunku do istniejącej mieszanki.
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* GMM można wykorzystać do wykrywania anomalii, modelując rozkład normalnych danych: każdy punkt o bardzo niskim prawdopodobieństwie w ramach wyuczonej mieszanki jest oznaczany jako anomalia. Na przykład, można by wytrenować GMM na cechach legalnego ruchu sieciowego; połączenie atakujące, które nie przypomina żadnego wyuczonego klastra, miałoby niskie prawdopodobieństwo. GMM są również używane do klastrowania działań, gdzie klastry mogą mieć różne kształty – np. grupowanie użytkowników według profili zachowań, gdzie cechy każdego profilu mogą być podobne do Gaussa, ale z własną strukturą wariancji. Inny scenariusz: w wykrywaniu phishingu cechy legalnych e-maili mogą tworzyć jeden klaster Gaussowski, znane phishingi inny, a nowe kampanie phishingowe mogą pojawić się jako oddzielny Gauss lub jako punkty o niskim prawdopodobieństwie w stosunku do istniejącej mieszanki.
|
||||
|
||||
#### Założenia i ograniczenia
|
||||
|
||||
@ -285,25 +285,25 @@ log_likelihood = gmm.score_samples(sample_attack)
|
||||
print("Cluster membership probabilities for sample attack:", probs)
|
||||
print("Log-likelihood of sample attack under GMM:", log_likelihood)
|
||||
```
|
||||
W tym kodzie trenujemy GMM z 3 Gaussami na normalnym ruchu (zakładając, że znamy 3 profile legalnego ruchu). Średnie i kowariancje wydrukowane opisują te klastry (na przykład, jedna średnia może wynosić około [50,500], co odpowiada centrum jednego klastra itd.). Następnie testujemy podejrzane połączenie [duration=200, bytes=800]. predict_proba podaje prawdopodobieństwo, że ten punkt należy do każdego z 3 klastrów – spodziewalibyśmy się, że te prawdopodobieństwa będą bardzo niskie lub mocno zniekształcone, ponieważ [200,800] leży daleko od normalnych klastrów. Całkowity score_samples (log-prawdopodobieństwo) jest wydrukowany; bardzo niska wartość wskazuje, że punkt nie pasuje dobrze do modelu, oznaczając go jako anomalię. W praktyce można ustawić próg na log-prawdopodobieństwie (lub na maksymalnym prawdopodobieństwie), aby zdecydować, czy punkt jest wystarczająco mało prawdopodobny, aby uznać go za złośliwy. GMM w ten sposób zapewnia zasadniczy sposób wykrywania anomalii i również generuje miękkie klastry, które uwzględniają niepewność.
|
||||
W tym kodzie trenujemy GMM z 3 Gaussami na normalnym ruchu (zakładając, że znamy 3 profile legalnego ruchu). Średnie i kowariancje wydrukowane opisują te klastry (na przykład, jedna średnia może wynosić około [50,500], co odpowiada centrum jednego klastra itd.). Następnie testujemy podejrzane połączenie [duration=200, bytes=800]. predict_proba podaje prawdopodobieństwo, że ten punkt należy do każdego z 3 klastrów – spodziewalibyśmy się, że te prawdopodobieństwa będą bardzo niskie lub mocno zniekształcone, ponieważ [200,800] leży daleko od normalnych klastrów. Całkowity score_samples (log-prawdopodobieństwo) jest drukowany; bardzo niska wartość wskazuje, że punkt nie pasuje dobrze do modelu, oznaczając go jako anomalię. W praktyce można ustawić próg na log-prawdopodobieństwie (lub na maksymalnym prawdopodobieństwie), aby zdecydować, czy punkt jest wystarczająco mało prawdopodobny, aby uznać go za złośliwy. GMM w ten sposób zapewnia zasadniczy sposób wykrywania anomalii i również generuje miękkie klastry, które uwzględniają niepewność.
|
||||
|
||||
### Isolation Forest
|
||||
|
||||
**Isolation Forest** to algorytm detekcji anomalii oparty na idei losowego izolowania punktów. Zasada polega na tym, że anomalie są nieliczne i różne, więc łatwiej je izolować niż normalne punkty. Isolation Forest buduje wiele binarnych drzew izolacyjnych (losowych drzew decyzyjnych), które losowo dzielą dane. W każdym węźle drzewa wybierana jest losowa cecha, a losowa wartość podziału jest wybierana pomiędzy min i max tej cechy dla danych w tym węźle. Ten podział dzieli dane na dwie gałęzie. Drzewo rośnie, aż każdy punkt zostanie izolowany w swoim własnym liściu lub osiągnięta zostanie maksymalna wysokość drzewa.
|
||||
|
||||
Wykrywanie anomalii odbywa się poprzez obserwację długości ścieżki każdego punktu w tych losowych drzewach – liczby podziałów wymaganych do izolacji punktu. Intuicyjnie, anomalie (odstające) mają tendencję do szybszej izolacji, ponieważ losowy podział jest bardziej prawdopodobny, aby oddzielić odstający punkt (który znajduje się w rzadkim obszarze) niż normalny punkt w gęstym klastrze. Isolation Forest oblicza wynik anomalii na podstawie średniej długości ścieżki we wszystkich drzewach: krótsza średnia ścieżka → bardziej anomalia. Wyniki są zazwyczaj normalizowane do [0,1], gdzie 1 oznacza bardzo prawdopodobną anomalię.
|
||||
Wykrywanie anomalii odbywa się poprzez obserwację długości ścieżki każdego punktu w tych losowych drzewach – liczby podziałów wymaganych do izolacji punktu. Intuicyjnie, anomalie (odstające wartości) mają tendencję do szybszej izolacji, ponieważ losowy podział jest bardziej prawdopodobny, aby oddzielić odstającą wartość (która znajduje się w rzadkim obszarze) niż normalny punkt w gęstym klastrze. Isolation Forest oblicza wynik anomalii na podstawie średniej długości ścieżki we wszystkich drzewach: krótsza średnia ścieżka → bardziej anomalia. Wyniki są zazwyczaj normalizowane do [0,1], gdzie 1 oznacza bardzo prawdopodobną anomalię.
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* Isolation Forests były z powodzeniem używane w wykrywaniu intruzji i wykrywaniu oszustw. Na przykład, trenuj Isolation Forest na logach ruchu sieciowego, które głównie zawierają normalne zachowanie; las wygeneruje krótkie ścieżki dla dziwnego ruchu (jak IP, które używa nieznanego portu lub nietypowego wzoru rozmiaru pakietu), oznaczając go do inspekcji. Ponieważ nie wymaga oznaczonych ataków, nadaje się do wykrywania nieznanych typów ataków. Może być również wdrażany na danych logowania użytkowników w celu wykrywania przejęć kont (anomalia w czasach logowania lub lokalizacjach są szybko izolowane). W jednym przypadku użycia, Isolation Forest może chronić przedsiębiorstwo, monitorując metryki systemowe i generując alert, gdy kombinacja metryk (CPU, sieć, zmiany plików) wygląda bardzo inaczej (krótkie ścieżki izolacji) niż wzory historyczne.
|
||||
|
||||
#### Założenia i ograniczenia
|
||||
|
||||
**Zalety**: Isolation Forest nie wymaga założenia o rozkładzie; bezpośrednio celuje w izolację. Jest wydajny w przypadku danych o wysokiej wymiarowości i dużych zbiorów danych (złożoność liniowa $O(n\log n)$ przy budowie lasu), ponieważ każde drzewo izoluje punkty tylko z podzbioru cech i podziałów. Zwykle dobrze radzi sobie z cechami numerycznymi i może być szybszy niż metody oparte na odległości, które mogą mieć złożoność $O(n^2)$. Automatycznie również daje wynik anomalii, więc można ustawić próg dla alertów (lub użyć parametru zanieczyszczenia, aby automatycznie zdecydować o odcięciu na podstawie oczekiwanej frakcji anomalii).
|
||||
**Zalety**: Isolation Forest nie wymaga założenia o rozkładzie; bezpośrednio celuje w izolację. Jest wydajny w przypadku danych o wysokiej wymiarowości i dużych zbiorów danych (złożoność liniowa $O(n\log n)$ przy budowie lasu), ponieważ każde drzewo izoluje punkty tylko z podzbioru cech i podziałów. Zwykle dobrze radzi sobie z cechami numerycznymi i może być szybszy niż metody oparte na odległości, które mogą mieć złożoność $O(n^2)$. Automatycznie również przyznaje wynik anomalii, więc można ustawić próg dla alertów (lub użyć parametru zanieczyszczenia, aby automatycznie zdecydować o odcięciu na podstawie oczekiwanej frakcji anomalii).
|
||||
|
||||
**Ograniczenia**: Z powodu swojej losowej natury wyniki mogą się nieznacznie różnić między uruchomieniami (choć przy wystarczającej liczbie drzew jest to niewielkie). Jeśli dane mają wiele nieistotnych cech lub jeśli anomalie nie różnią się wyraźnie w żadnej cechie, izolacja może nie być skuteczna (losowe podziały mogą przypadkowo izolować normalne punkty – jednak uśrednianie wielu drzew łagodzi to). Ponadto, Isolation Forest zazwyczaj zakłada, że anomalie są małą mniejszością (co zazwyczaj jest prawdą w scenariuszach cyberbezpieczeństwa).
|
||||
|
||||
<details>
|
||||
<summary>Przykład -- Wykrywanie odstających w logach sieciowych
|
||||
<summary>Przykład -- Wykrywanie odstających wartości w logach sieciowych
|
||||
</summary>
|
||||
|
||||
Użyjemy wcześniejszego zestawu danych testowych (który zawiera normalne i niektóre punkty ataku) i uruchomimy Isolation Forest, aby zobaczyć, czy może oddzielić ataki. Zakładamy, że oczekujemy, że ~15% danych będzie anomaliami (dla demonstracji).
|
||||
@ -324,7 +324,7 @@ print("Example anomaly scores (lower means more anomalous):", anomaly_scores[:5]
|
||||
```
|
||||
W tym kodzie instancjonujemy `IsolationForest` z 100 drzewami i ustawiamy `contamination=0.15` (co oznacza, że oczekujemy około 15% anomalii; model ustawi próg punktacji tak, aby ~15% punktów zostało oznaczonych). Dopasowujemy go do `X_test_if`, który zawiera mieszankę normalnych punktów i punktów ataku (uwaga: zazwyczaj dopasowujesz do danych treningowych, a następnie używasz predict na nowych danych, ale tutaj dla ilustracji dopasowujemy i przewidujemy na tym samym zbiorze, aby bezpośrednio zaobserwować wyniki).
|
||||
|
||||
Wynik pokazuje przewidywane etykiety dla pierwszych 20 punktów (gdzie -1 oznacza anomalię). Drukujemy również, ile anomalii zostało wykrytych w sumie oraz kilka przykładowych punktów anomalii. Oczekiwalibyśmy, że około 18 z 120 punktów zostanie oznaczonych jako -1 (ponieważ zanieczyszczenie wynosiło 15%). Jeśli nasze 20 próbek ataku jest rzeczywiście najbardziej odstającymi, większość z nich powinna pojawić się w tych przewidywaniach -1. Punktacja anomalii (funkcja decyzyjna Isolation Forest) jest wyższa dla normalnych punktów i niższa (bardziej negatywna) dla anomalii – drukujemy kilka wartości, aby zobaczyć separację. W praktyce można by posortować dane według punktacji, aby zobaczyć najlepsze odstające i zbadać je. Isolation Forest zapewnia zatem efektywny sposób przeszukiwania dużych, nieoznakowanych danych bezpieczeństwa i wyodrębniania najbardziej nieregularnych przypadków do analizy przez ludzi lub dalszej automatycznej kontroli.
|
||||
Wynik pokazuje przewidywane etykiety dla pierwszych 20 punktów (gdzie -1 oznacza anomalię). Drukujemy również, ile anomalii zostało wykrytych w sumie oraz kilka przykładowych punktów anomalii. Oczekiwalibyśmy, że około 18 z 120 punktów zostanie oznaczonych jako -1 (ponieważ zanieczyszczenie wynosiło 15%). Jeśli nasze 20 próbek ataku jest rzeczywiście najbardziej odstającymi, większość z nich powinna pojawić się w tych przewidywaniach -1. Punktacja anomalii (funkcja decyzyjna Isolation Forest) jest wyższa dla normalnych punktów i niższa (bardziej negatywna) dla anomalii – drukujemy kilka wartości, aby zobaczyć separację. W praktyce można by posortować dane według punktacji, aby zobaczyć najlepsze odstające i zbadać je. Isolation Forest zapewnia zatem efektywny sposób przeszukiwania dużych, nieoznakowanych danych bezpieczeństwa i wyodrębniania najbardziej nieregularnych przypadków do analizy przez ludzi lub dalszej automatycznej analizy.
|
||||
|
||||
### t-SNE (t-Distributed Stochastic Neighbor Embedding)
|
||||
|
||||
@ -336,10 +336,10 @@ Algorytm ma dwa główne etapy:
|
||||
2. **Obliczanie parowych afinitetów w przestrzeni o niskiej wymiarowości (np. 2D):** Początkowo punkty są losowo umieszczane w 2D. t-SNE definiuje podobne prawdopodobieństwo dla odległości w tej mapie (używając jądra rozkładu t Studenta, które ma cięższe ogony niż Gauss, aby umożliwić odległym punktom większą swobodę).
|
||||
3. **Spadek gradientu:** t-SNE następnie iteracyjnie przemieszcza punkty w 2D, aby zminimalizować rozbieżność Kullbacka–Leiblera (KL) między rozkładem afinitetów w wysokiej wymiarowości a tym w niskiej wymiarowości. Powoduje to, że układ 2D odzwierciedla strukturę w wysokiej wymiarowości tak bardzo, jak to możliwe – punkty, które były blisko w oryginalnej przestrzeni, będą się przyciągać, a te oddalone będą się odpychać, aż znajdzie się równowaga.
|
||||
|
||||
Wynik często jest wizualnie znaczącym wykresem punktowym, gdzie klastry w danych stają się oczywiste.
|
||||
Wynik często stanowi wizualnie znaczący wykres punktowy, na którym klastry w danych stają się oczywiste.
|
||||
|
||||
> [!TIP]
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* t-SNE jest często używane do **wizualizacji danych o wysokiej wymiarowości w celu analizy przez ludzi**. Na przykład, w centrum operacyjnym bezpieczeństwa, analitycy mogą wziąć zbiór danych o zdarzeniach z dziesiątkami cech (numery portów, częstotliwości, liczby bajtów itp.) i użyć t-SNE do wygenerowania wykresu 2D. Ataki mogą tworzyć własne klastry lub oddzielać się od normalnych danych na tym wykresie, co ułatwia ich identyfikację. Zostało to zastosowane do zbiorów danych złośliwego oprogramowania, aby zobaczyć grupy rodzin złośliwego oprogramowania lub do danych o włamaniu do sieci, gdzie różne typy ataków wyraźnie się grupują, co prowadzi do dalszego dochodzenia. W zasadzie t-SNE zapewnia sposób na zobaczenie struktury w danych cybernetycznych, które w przeciwnym razie byłyby nieczytelne.
|
||||
> *Przykłady zastosowań w cyberbezpieczeństwie:* t-SNE jest często używane do **wizualizacji danych o wysokiej wymiarowości w celu analizy przez ludzi**. Na przykład, w centrum operacyjnym bezpieczeństwa, analitycy mogą wziąć zbiór danych zdarzeń z dziesiątkami cech (numery portów, częstotliwości, liczby bajtów itp.) i użyć t-SNE do wygenerowania wykresu 2D. Ataki mogą tworzyć własne klastry lub oddzielać się od normalnych danych na tym wykresie, co ułatwia ich identyfikację. Zostało to zastosowane do zbiorów danych złośliwego oprogramowania, aby zobaczyć grupy rodzin złośliwego oprogramowania lub do danych o włamaniu do sieci, gdzie różne typy ataków grupują się wyraźnie, co prowadzi do dalszego dochodzenia. W zasadzie t-SNE zapewnia sposób na dostrzeganie struktury w danych cybernetycznych, które w przeciwnym razie byłyby nieczytelne.
|
||||
|
||||
#### Założenia i ograniczenia
|
||||
|
||||
@ -434,7 +434,7 @@ plt.legend()
|
||||
plt.tight_layout()
|
||||
plt.show()
|
||||
```
|
||||
Tutaj połączyliśmy nasz wcześniejszy zbiór danych 4D z kilkoma ekstremalnymi wartościami odstającymi (wartości odstające mają jedną cechę (“duration”) ustawioną bardzo wysoko, itd., aby zasymulować dziwny wzór). Uruchamiamy t-SNE z typową złożonością 30. Wyjściowe data_2d ma kształt (1505, 2). W tym tekście nie będziemy rzeczywiście rysować, ale gdybyśmy to zrobili, spodziewalibyśmy się zobaczyć może trzy zwarte klastry odpowiadające 3 normalnym klastrom, a 5 wartości odstających pojawiających się jako izolowane punkty daleko od tych klastrów. W interaktywnym przepływie pracy moglibyśmy pokolorować punkty według ich etykiety (normalne lub który klaster, w porównaniu do anomalii), aby zweryfikować tę strukturę. Nawet bez etykiet analityk mógłby zauważyć te 5 punktów siedzących w pustej przestrzeni na wykresie 2D i zgłosić je. To pokazuje, jak t-SNE może być potężnym narzędziem do wizualnej detekcji anomalii i inspekcji klastrów w danych z cyberbezpieczeństwa, uzupełniając powyższe zautomatyzowane algorytmy.
|
||||
Tutaj połączyliśmy nasz wcześniejszy zbiór danych 4D z garstką ekstremalnych wartości odstających (wartości odstające mają jedną cechę (“czas trwania”) ustawioną bardzo wysoko, itd., aby zasymulować dziwny wzór). Uruchamiamy t-SNE z typową złożonością 30. Wyjściowe data_2d ma kształt (1505, 2). W tym tekście nie będziemy faktycznie rysować, ale gdybyśmy to zrobili, spodziewalibyśmy się zobaczyć może trzy zwarte klastry odpowiadające 3 normalnym klastrom, a 5 wartości odstających pojawiających się jako izolowane punkty daleko od tych klastrów. W interaktywnym przepływie pracy moglibyśmy pokolorować punkty według ich etykiety (normalne lub który klaster, w porównaniu do anomalii), aby zweryfikować tę strukturę. Nawet bez etykiet analityk mógłby zauważyć te 5 punktów siedzących w pustej przestrzeni na wykresie 2D i zgłosić je. To pokazuje, jak t-SNE może być potężnym narzędziem w wizualnej detekcji anomalii i inspekcji klastrów w danych z cyberbezpieczeństwa, uzupełniając powyższe zautomatyzowane algorytmy.
|
||||
|
||||
</details>
|
||||
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user