Translated ['src/AI/AI-Unsupervised-Learning-algorithms.md'] to pl

src/AI/AI-Unsupervised-Learning-algorithms.md

@@ -2,13 +2,11 @@
 
 {{#include ../banners/hacktricks-training.md}}
 
-
 ## Uczenie Nadzorowane
 
 Uczenie nadzorowane to rodzaj uczenia maszynowego, w którym model jest trenowany na danych bez oznaczonych odpowiedzi. Celem jest znalezienie wzorców, struktur lub relacji w danych. W przeciwieństwie do uczenia nadzorowanego, gdzie model uczy się na podstawie oznaczonych przykładów, algorytmy uczenia nienadzorowanego pracują z danymi nieoznaczonymi. 
 Uczenie nienadzorowane jest często wykorzystywane do zadań takich jak klasteryzacja, redukcja wymiarów i wykrywanie anomalii. Może pomóc w odkrywaniu ukrytych wzorców w danych, grupowaniu podobnych elementów lub redukcji złożoności danych przy jednoczesnym zachowaniu ich istotnych cech.
 
-
 ### Klasteryzacja K-Średnich
 
 K-Średnich to algorytm klasteryzacji oparty na centroidach, który dzieli dane na K klastrów, przypisując każdy punkt do najbliższego średniego klastra. Algorytm działa w następujący sposób:
@@ -18,7 +16,7 @@ K-Średnich to algorytm klasteryzacji oparty na centroidach, który dzieli dane
 4. **Powtórz**: Kroki 2–3 są powtarzane, aż przypisania klastrów się ustabilizują (centroidy przestają się znacząco poruszać).
 
 > [!TIP]
-> *Przykłady zastosowań w cyberbezpieczeństwie:* K-Średnich jest używane do wykrywania intruzji poprzez klasteryzację zdarzeń sieciowych. Na przykład, badacze zastosowali K-Średnich do zestawu danych o intruzjach KDD Cup 99 i stwierdzili, że skutecznie podzielił ruch na klastry normalne i atakujące. W praktyce analitycy bezpieczeństwa mogą klasteryzować wpisy dzienników lub dane o zachowaniach użytkowników, aby znaleźć grupy podobnej aktywności; wszelkie punkty, które nie należą do dobrze uformowanego klastra, mogą wskazywać na anomalie (np. nowa odmiana złośliwego oprogramowania tworząca własny mały klaster). K-Średnich może również pomóc w klasyfikacji rodzin złośliwego oprogramowania poprzez grupowanie plików binarnych na podstawie profili zachowań lub wektorów cech.
+> *Przykłady zastosowań w cyberbezpieczeństwie:* K-Średnich jest używane do wykrywania intruzji poprzez klasteryzację zdarzeń sieciowych. Na przykład, badacze zastosowali K-Średnich do zestawu danych o intruzjach KDD Cup 99 i stwierdzili, że skutecznie podzielił ruch na klastry normalne i atakujące. W praktyce analitycy bezpieczeństwa mogą klasteryzować wpisy dzienników lub dane o zachowaniu użytkowników, aby znaleźć grupy podobnej aktywności; wszelkie punkty, które nie należą do dobrze uformowanego klastra, mogą wskazywać na anomalie (np. nowa odmiana złośliwego oprogramowania tworząca własny mały klaster). K-Średnich może również pomóc w klasyfikacji rodzin złośliwego oprogramowania poprzez grupowanie plików binarnych na podstawie profili zachowań lub wektorów cech.
 
 #### Wybór K
 Liczba klastrów (K) jest hiperparametrem, który należy zdefiniować przed uruchomieniem algorytmu. Techniki takie jak Metoda Łokcia lub Wskaźnik Silhouette mogą pomóc w określeniu odpowiedniej wartości dla K, oceniając wydajność klasteryzacji:
@@ -28,7 +26,7 @@ Liczba klastrów (K) jest hiperparametrem, który należy zdefiniować przed uru
 
 #### Założenia i Ograniczenia
 
-K-Średnich zakłada, że **klastry są sferyczne i równo wymiarowe**, co może nie być prawdą dla wszystkich zestawów danych. Jest wrażliwy na początkowe umiejscowienie centroidów i może zbiegać do lokalnych minimów. Dodatkowo, K-Średnich nie jest odpowiedni dla zestawów danych o zmiennej gęstości lub nienałogowych kształtach oraz cechach o różnych skalach. Kroki wstępne, takie jak normalizacja lub standaryzacja, mogą być konieczne, aby zapewnić, że wszystkie cechy przyczyniają się równo do obliczeń odległości.
+K-Średnich zakłada, że **klastry są sferyczne i mają równą wielkość**, co może nie być prawdą dla wszystkich zestawów danych. Jest wrażliwy na początkowe umiejscowienie centroidów i może zbiegać do lokalnych minimów. Dodatkowo, K-Średnich nie jest odpowiedni dla zestawów danych o zmiennej gęstości lub nienałogowych kształtach oraz cechach o różnych skalach. Kroki wstępne, takie jak normalizacja lub standaryzacja, mogą być konieczne, aby zapewnić, że wszystkie cechy przyczyniają się równo do obliczeń odległości.
 
 <details>
 <summary>Przykład -- Klasteryzacja Zdarzeń Sieciowych
@@ -74,11 +72,11 @@ Klasteryzacja agglomeratywna wymaga zdefiniowania odległości między klastrami
 Klasteryzacja hierarchiczna produkuje dendrogram, strukturę przypominającą drzewo, która pokazuje relacje między klastrami na różnych poziomach szczegółowości. Dendrogram można przeciąć na pożądanym poziomie, aby uzyskać określoną liczbę klastrów.
 
 > [!TIP]
-> *Przykłady zastosowań w cyberbezpieczeństwie:* Klasteryzacja hierarchiczna może organizować zdarzenia lub podmioty w drzewo, aby dostrzegać relacje. Na przykład w analizie złośliwego oprogramowania klasteryzacja agglomeratywna mogłaby grupować próbki według podobieństwa behawioralnego, ujawniając hierarchię rodzin i wariantów złośliwego oprogramowania. W bezpieczeństwie sieciowym można klasteryzować przepływy ruchu IP i używać dendrogramu do zobaczenia podgrup ruchu (np. według protokołu, a następnie według zachowania). Ponieważ nie trzeba wybierać K z góry, jest to przydatne podczas eksploracji nowych danych, dla których liczba kategorii ataków jest nieznana.
+> *Przykłady zastosowań w cyberbezpieczeństwie:* Klasteryzacja hierarchiczna może organizować zdarzenia lub podmioty w drzewo, aby dostrzegać relacje. Na przykład w analizie złośliwego oprogramowania klasteryzacja agglomeratywna mogłaby grupować próbki według podobieństwa behawioralnego, ujawniając hierarchię rodzin i wariantów złośliwego oprogramowania. W bezpieczeństwie sieci można klasteryzować przepływy ruchu IP i używać dendrogramu do zobaczenia podgrup ruchu (np. według protokołu, a następnie według zachowania). Ponieważ nie trzeba wybierać K z góry, jest to przydatne podczas eksploracji nowych danych, dla których liczba kategorii ataków jest nieznana.
 
 #### Założenia i Ograniczenia
 
-Klasteryzacja hierarchiczna nie zakłada konkretnego kształtu klastra i może uchwycić zagnieżdżone klastry. Jest przydatna do odkrywania taksonomii lub relacji między grupami (np. grupowanie złośliwego oprogramowania według podgrup rodzinnych). Jest deterministyczna (brak problemów z losową inicjalizacją). Kluczową zaletą jest dendrogram, który dostarcza wglądu w strukturę klasteryzacji danych na wszystkich poziomach – analitycy bezpieczeństwa mogą zdecydować o odpowiednim poziomie odcięcia, aby zidentyfikować znaczące klastry. Jednak jest to kosztowne obliczeniowo (zwykle czas $O(n^2)$ lub gorszy dla naiwnej implementacji) i niepraktyczne dla bardzo dużych zbiorów danych. Jest to również procedura zachłanna – po wykonaniu połączenia lub podziału nie można tego cofnąć, co może prowadzić do suboptymalnych klastrów, jeśli błąd wystąpi wcześnie. Odstające wartości mogą również wpływać na niektóre strategie łączenia (pojedyncze łączenie może powodować efekt "łańcuchowy", gdzie klastry łączą się przez odstające wartości).
+Klasteryzacja hierarchiczna nie zakłada konkretnego kształtu klastra i może uchwycić zagnieżdżone klastry. Jest przydatna do odkrywania taksonomii lub relacji między grupami (np. grupowanie złośliwego oprogramowania według podgrup rodzinnych). Jest deterministyczna (brak problemów z losową inicjalizacją). Kluczową zaletą jest dendrogram, który dostarcza wglądu w strukturę klasteryzacji danych na wszystkich poziomach – analitycy bezpieczeństwa mogą zdecydować o odpowiednim poziomie odcięcia, aby zidentyfikować znaczące klastry. Jednak jest to kosztowne obliczeniowo (zwykle czas $O(n^2)$ lub gorszy dla naiwnej implementacji) i niepraktyczne dla bardzo dużych zbiorów danych. Jest to również procedura zachłanna – po wykonaniu połączenia lub podziału nie można tego cofnąć, co może prowadzić do suboptymalnych klastrów, jeśli błąd wystąpi wcześnie. Odstające wartości mogą również wpływać na niektóre strategie łączenia (pojedyncze łączenie może powodować efekt "łańcuchowy", gdzie klastry łączą się za pośrednictwem odstających wartości).
 
 <details>
 <summary>Przykład -- Klasteryzacja Agglomeratywna Zdarzeń
@@ -117,16 +115,16 @@ DBSCAN identyfikuje punkty rdzeniowe, punkty brzegowe i punkty szumowe:
 - **Punkt Brzegowy**: Punkt, który znajduje się w odległości ε od punktu rdzeniowego, ale ma mniej niż MinPts sąsiadów.
 - **Punkt Szumowy**: Punkt, który nie jest ani punktem rdzeniowym, ani punktem brzegowym.
 
-Grupowanie odbywa się poprzez wybranie nieodwiedzonego punktu rdzeniowego, oznaczenie go jako nową grupę, a następnie rekurencyjne dodawanie wszystkich punktów osiągalnych gęstościowo z niego (punkty rdzeniowe i ich sąsiedzi itp.). Punkty brzegowe są dodawane do grupy pobliskiego punktu rdzeniowego. Po rozszerzeniu wszystkich osiągalnych punktów, DBSCAN przechodzi do innego nieodwiedzonego punktu rdzeniowego, aby rozpocząć nową grupę. Punkty, które nie zostały osiągnięte przez żaden punkt rdzeniowy, pozostają oznaczone jako szum.
+Grupowanie przebiega poprzez wybranie nieodwiedzonego punktu rdzeniowego, oznaczenie go jako nową grupę, a następnie rekurencyjne dodawanie wszystkich punktów osiągalnych gęstościowo z niego (punkty rdzeniowe i ich sąsiedzi itp.). Punkty brzegowe są dodawane do grupy pobliskiego punktu rdzeniowego. Po rozszerzeniu wszystkich osiągalnych punktów, DBSCAN przechodzi do innego nieodwiedzonego punktu rdzeniowego, aby rozpocząć nową grupę. Punkty, które nie zostały osiągnięte przez żaden punkt rdzeniowy, pozostają oznaczone jako szum.
 
 > [!TIP]
-> *Przykłady zastosowań w cyberbezpieczeństwie:* DBSCAN jest przydatny do wykrywania anomalii w ruchu sieciowym. Na przykład, normalna aktywność użytkowników może tworzyć jedną lub więcej gęstych grup w przestrzeni cech, podczas gdy nowe zachowania ataków pojawiają się jako rozproszone punkty, które DBSCAN oznaczy jako szum (odstające). Został użyty do grupowania rekordów przepływu sieci, gdzie może wykrywać skany portów lub ruch typu denial-of-service jako rzadkie obszary punktów. Innym zastosowaniem jest grupowanie wariantów złośliwego oprogramowania: jeśli większość próbek grupuje się według rodzin, ale kilka nie pasuje nigdzie, te kilka może być złośliwym oprogramowaniem zero-day. Możliwość oznaczania szumu oznacza, że zespoły bezpieczeństwa mogą skupić się na badaniu tych odstających.
+> *Przykłady zastosowań w cyberbezpieczeństwie:* DBSCAN jest przydatny do wykrywania anomalii w ruchu sieciowym. Na przykład normalna aktywność użytkowników może tworzyć jedną lub więcej gęstych grup w przestrzeni cech, podczas gdy nowe zachowania ataków pojawiają się jako rozproszone punkty, które DBSCAN oznaczy jako szum (odstające). Został użyty do grupowania rekordów przepływu sieci, gdzie może wykrywać skanowanie portów lub ruch typu denial-of-service jako rzadkie obszary punktów. Innym zastosowaniem jest grupowanie wariantów złośliwego oprogramowania: jeśli większość próbek grupuje się według rodzin, ale kilka nie pasuje nigdzie, te kilka może być złośliwym oprogramowaniem zero-day. Możliwość oznaczania szumu oznacza, że zespoły bezpieczeństwa mogą skupić się na badaniu tych odstających.
 
 #### Założenia i Ograniczenia
 
 **Założenia i Mocne Strony:** DBSCAN nie zakłada sferycznych grup – może znajdować grupy o dowolnych kształtach (nawet łańcuchowych lub sąsiadujących). Automatycznie określa liczbę grup na podstawie gęstości danych i skutecznie identyfikuje odstające jako szum. To czyni go potężnym narzędziem dla danych rzeczywistych o nieregularnych kształtach i szumie. Jest odporny na odstające (w przeciwieństwie do K-Means, który zmusza je do grup). Działa dobrze, gdy grupy mają mniej więcej jednolitą gęstość.
 
-**Ograniczenia:** Wydajność DBSCAN zależy od wyboru odpowiednich wartości ε i MinPts. Może mieć trudności z danymi o zmiennej gęstości – pojedyncze ε nie może pomieścić zarówno gęstych, jak i rzadkich grup. Jeśli ε jest zbyt małe, oznacza większość punktów jako szum; zbyt duże, a grupy mogą się niepoprawnie łączyć. Ponadto, DBSCAN może być nieefektywny na bardzo dużych zbiorach danych (naiwnie $O(n^2)$, chociaż indeksowanie przestrzenne może pomóc). W przestrzeniach cech o wysokiej wymiarowości pojęcie „odległości w ε” może stać się mniej znaczące (klątwa wymiarowości), a DBSCAN może wymagać starannego dostrajania parametrów lub może nie znaleźć intuicyjnych grup. Mimo to, rozszerzenia takie jak HDBSCAN rozwiązują niektóre problemy (jak zmienna gęstość).
+**Ograniczenia:** Wydajność DBSCAN zależy od wyboru odpowiednich wartości ε i MinPts. Może mieć trudności z danymi o zmiennej gęstości – pojedyncze ε nie może pomieścić zarówno gęstych, jak i rzadkich grup. Jeśli ε jest zbyt małe, oznacza większość punktów jako szum; zbyt duże, a grupy mogą się niepoprawnie łączyć. Ponadto DBSCAN może być nieefektywny na bardzo dużych zbiorach danych (naiwnie $O(n^2)$, chociaż indeksowanie przestrzenne może pomóc). W przestrzeniach cech o wysokiej wymiarowości pojęcie „odległości w ε” może stać się mniej znaczące (klątwa wymiarowości), a DBSCAN może wymagać starannego dostrajania parametrów lub może nie znaleźć intuicyjnych grup. Mimo to, rozszerzenia takie jak HDBSCAN rozwiązują niektóre problemy (jak zmienna gęstość).
 
 <details>
 <summary>Przykład -- Grupowanie z Szumem
@@ -152,7 +150,7 @@ num_noise = np.sum(labels == -1)
 print(f"DBSCAN found {num_clusters} clusters and {num_noise} noise points")
 print("Cluster labels for first 10 points:", labels[:10])
 ```
-W tym fragmencie dostosowaliśmy `eps` i `min_samples` do skali naszych danych (15.0 w jednostkach cech i wymagając 5 punktów do utworzenia klastra). DBSCAN powinien znaleźć 2 klastry (klastry normalnego ruchu) i oznaczyć 5 wstrzykniętych wartości odstających jako szum. Wyjściowo podajemy liczbę klastrów w porównaniu do punktów szumowych, aby to zweryfikować. W rzeczywistym ustawieniu można iterować po ε (używając heurystyki grafu odległości k do wyboru ε) i MinPts (często ustawianej na około wymiarowości danych + 1 jako zasada ogólna), aby znaleźć stabilne wyniki klastrowania. Możliwość wyraźnego oznaczania szumu pomaga oddzielić potencjalne dane ataku do dalszej analizy.
+W tym fragmencie dostosowaliśmy `eps` i `min_samples` do skali naszych danych (15.0 w jednostkach cech i wymagając 5 punktów do utworzenia klastra). DBSCAN powinien znaleźć 2 klastry (klastry normalnego ruchu) i oznaczyć 5 wstrzykniętych wartości odstających jako szum. Wyjściowo podajemy liczbę klastrów w porównaniu do punktów szumowych, aby to zweryfikować. W rzeczywistym ustawieniu można iterować po ε (używając heurystyki grafu odległości k, aby wybrać ε) i MinPts (często ustawianym na około wymiarowości danych + 1 jako zasada ogólna), aby znaleźć stabilne wyniki klastrowania. Możliwość wyraźnego oznaczania szumu pomaga oddzielić potencjalne dane ataku do dalszej analizy.
 
 </details>
 
@@ -165,7 +163,7 @@ Należy zauważyć, że jest to przydatne, jeśli wymiary zbioru danych zawieraj
 PCA działa poprzez identyfikację głównych składników danych, którymi są kierunki maksymalnej wariancji. Kroki zaangażowane w PCA to:
 1. **Standaryzacja**: Wyśrodkowanie danych poprzez odjęcie średniej i skalowanie do jednostkowej wariancji.
 2. **Macierz Kowariancji**: Obliczenie macierzy kowariancji standaryzowanych danych, aby zrozumieć relacje między cechami.
-3. **Rozkład Wartości Własnych**: Wykonanie rozkładu wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
+3. **Decompozycja Wartości Własnych**: Wykonanie dekompozycji wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
 4. **Wybór Głównych Składników**: Posortowanie wartości własnych w porządku malejącym i wybór najlepszych K wektorów własnych odpowiadających największym wartościom własnym. Te wektory własne tworzą nową przestrzeń cech.
 5. **Transformacja Danych**: Projekcja oryginalnych danych na nową przestrzeń cech przy użyciu wybranych głównych składników.
 PCA jest szeroko stosowane do wizualizacji danych, redukcji szumów i jako krok wstępny dla innych algorytmów uczenia maszynowego. Pomaga zmniejszyć wymiarowość danych, zachowując ich istotną strukturę.
@@ -179,28 +177,28 @@ gdzie:
 - A to macierz kwadratowa, jak [ [1, 2], [2, 1]] (np. macierz kowariancji)
 - v to wektor własny (np. [1, 1])
 
-Wtedy `A * v = [ [1, 2], [2, 1]] * [1, 1] = [3, 3]`, co będzie wartością własną λ pomnożoną przez wektor własny v, co daje wartość własną λ = 3.
+Wtedy, `A * v = [ [1, 2], [2, 1]] * [1, 1] = [3, 3]`, co będzie wartością własną λ pomnożoną przez wektor własny v, co daje wartość własną λ = 3.
 
 #### Wartości Własne i Wektory Własne w PCA
 
-Wyjaśnijmy to na przykładzie. Wyobraź sobie, że masz zbiór danych z wieloma zdjęciami w odcieniach szarości twarzy o rozmiarze 100x100 pikseli. Każdy piksel można uznać za cechę, więc masz 10 000 cech na obraz (lub wektor 10000 komponentów na obraz). Jeśli chcesz zmniejszyć wymiarowość tego zbioru danych za pomocą PCA, powinieneś postępować według tych kroków:
+Wyjaśnijmy to na przykładzie. Wyobraź sobie, że masz zbiór danych z wieloma szaro-skalowymi zdjęciami twarzy o rozmiarze 100x100 pikseli. Każdy piksel można uznać za cechę, więc masz 10 000 cech na obraz (lub wektor 10000 komponentów na obraz). Jeśli chcesz zmniejszyć wymiarowość tego zbioru danych za pomocą PCA, powinieneś postępować zgodnie z tymi krokami:
 
 1. **Standaryzacja**: Wyśrodkowanie danych poprzez odjęcie średniej każdej cechy (piksela) od zbioru danych.
 2. **Macierz Kowariancji**: Obliczenie macierzy kowariancji standaryzowanych danych, która uchwyca, jak cechy (piksele) zmieniają się razem.
 - Należy zauważyć, że kowariancja między dwiema zmiennymi (pikselami w tym przypadku) wskazuje, jak bardzo zmieniają się razem, więc pomysł polega na odkryciu, które piksele mają tendencję do wzrostu lub spadku razem w relacji liniowej.
 - Na przykład, jeśli piksel 1 i piksel 2 mają tendencję do wzrostu razem, kowariancja między nimi będzie dodatnia.
 - Macierz kowariancji będzie macierzą 10 000x10 000, gdzie każdy wpis reprezentuje kowariancję między dwoma pikselami.
-3. **Rozwiąż równanie wartości własnych**: Równanie wartości własnych do rozwiązania to `C * v = λ * v`, gdzie C to macierz kowariancji, v to wektor własny, a λ to wartość własna. Można je rozwiązać za pomocą metod takich jak:
-- **Rozkład Wartości Własnych**: Wykonanie rozkładu wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
-- **Rozkład Wartości Singularnych (SVD)**: Alternatywnie, można użyć SVD do rozkładu macierzy danych na wartości i wektory singularne, co również może dać główne składniki.
+3. **Rozwiązanie równania wartości własnych**: Równanie wartości własnych do rozwiązania to `C * v = λ * v`, gdzie C to macierz kowariancji, v to wektor własny, a λ to wartość własna. Można je rozwiązać za pomocą metod takich jak:
+- **Decompozycja Wartości Własnych**: Wykonanie dekompozycji wartości własnych na macierzy kowariancji, aby uzyskać wartości własne i wektory własne.
+- **Decompozycja Wartości Singularnych (SVD)**: Alternatywnie, można użyć SVD do dekompozycji macierzy danych na wartości i wektory singularne, co również może dać główne składniki.
 4. **Wybór Głównych Składników**: Posortowanie wartości własnych w porządku malejącym i wybór najlepszych K wektorów własnych odpowiadających największym wartościom własnym. Te wektory własne reprezentują kierunki maksymalnej wariancji w danych.
 
 > [!TIP]
-> *Przykłady zastosowań w cyberbezpieczeństwie:* Powszechnym zastosowaniem PCA w bezpieczeństwie jest redukcja cech do wykrywania anomalii. Na przykład, system wykrywania intruzów z ponad 40 metrykami sieciowymi (takimi jak cechy NSL-KDD) może użyć PCA do redukcji do kilku składników, podsumowując dane do wizualizacji lub wprowadzenia do algorytmów klastrowania. Analitycy mogą rysować ruch sieciowy w przestrzeni pierwszych dwóch głównych składników, aby zobaczyć, czy ataki oddzielają się od normalnego ruchu. PCA może również pomóc w eliminacji zbędnych cech (jak bajty wysłane w porównaniu do bajtów odebranych, jeśli są skorelowane), aby uczynić algorytmy wykrywania bardziej odpornymi i szybszymi.
+> *Przykłady zastosowań w cyberbezpieczeństwie:* Powszechnym zastosowaniem PCA w bezpieczeństwie jest redukcja cech do wykrywania anomalii. Na przykład, system wykrywania intruzów z 40+ metrykami sieciowymi (takimi jak cechy NSL-KDD) może użyć PCA do redukcji do kilku komponentów, podsumowując dane do wizualizacji lub wprowadzenia do algorytmów klastrowania. Analitycy mogą rysować ruch sieciowy w przestrzeni pierwszych dwóch głównych składników, aby zobaczyć, czy ataki oddzielają się od normalnego ruchu. PCA może również pomóc w eliminacji zbędnych cech (jak bajty wysłane w porównaniu do bajtów odebranych, jeśli są skorelowane), aby uczynić algorytmy wykrywania bardziej odpornymi i szybszymi.
 
 #### Założenia i Ograniczenia
 
-PCA zakłada, że **główne osie wariancji są znaczące** – jest to metoda liniowa, więc uchwyca liniowe korelacje w danych. Jest nienadzorowana, ponieważ wykorzystuje tylko kowariancję cech. Zalety PCA obejmują redukcję szumów (małe składniki wariancji często odpowiadają szumowi) i dekorelację cech. Jest obliczeniowo wydajne dla umiarkowanie wysokich wymiarów i często stanowi użyteczny krok wstępny dla innych algorytmów (aby złagodzić przekleństwo wymiarowości). Jednym z ograniczeń jest to, że PCA jest ograniczone do relacji liniowych – nie uchwyci złożonej nieliniowej struktury (podczas gdy autoenkodery lub t-SNE mogą). Ponadto składniki PCA mogą być trudne do interpretacji w kontekście oryginalnych cech (są kombinacjami oryginalnych cech). W cyberbezpieczeństwie należy być ostrożnym: atak, który powoduje tylko subtelną zmianę w cechy o niskiej wariancji, może nie pojawić się w głównych składnikach (ponieważ PCA priorytetowo traktuje wariancję, a niekoniecznie „interesującość”).
+PCA zakłada, że **główne osie wariancji są znaczące** – jest to metoda liniowa, więc uchwyca liniowe korelacje w danych. Jest to metoda nienadzorowana, ponieważ wykorzystuje tylko kowariancję cech. Zalety PCA obejmują redukcję szumów (małe komponenty wariancji często odpowiadają szumowi) i dekorelację cech. Jest to obliczeniowo wydajne dla umiarkowanie wysokich wymiarów i często stanowi użyteczny krok wstępny dla innych algorytmów (aby złagodzić przekleństwo wymiarowości). Jednym z ograniczeń jest to, że PCA jest ograniczone do relacji liniowych – nie uchwyci złożonej nieliniowej struktury (podczas gdy autoenkodery lub t-SNE mogą). Ponadto, komponenty PCA mogą być trudne do interpretacji w kontekście oryginalnych cech (są kombinacjami oryginalnych cech). W cyberbezpieczeństwie należy być ostrożnym: atak, który powoduje tylko subtelną zmianę w cechach o niskiej wariancji, może nie pojawić się w głównych komponentach (ponieważ PCA priorytetowo traktuje wariancję, a niekoniecznie „interesującość”).
 
 <details>
 <summary>Przykład -- Redukcja Wymiarów Danych Sieciowych
@@ -226,7 +224,7 @@ print("Original shape:", data_4d.shape, "Reduced shape:", data_2d.shape)
 # We can examine a few transformed points
 print("First 5 data points in PCA space:\n", data_2d[:5])
 ```
-Tutaj wzięliśmy wcześniejsze klastry normalnego ruchu i rozszerzyliśmy każdy punkt danych o dwie dodatkowe cechy (pakiety i błędy), które korelują z bajtami i czasem trwania. Następnie używamy PCA do skompresowania 4 cech do 2 głównych komponentów. Drukujemy wskaźnik wyjaśnionej wariancji, który może pokazać, że na przykład >95% wariancji jest uchwycone przez 2 komponenty (co oznacza niewielką utratę informacji). Wynik pokazuje również, że kształt danych zmienia się z (1500, 4) na (1500, 2). Pierwsze kilka punktów w przestrzeni PCA podano jako przykład. W praktyce można by wykreślić data_2d, aby wizualnie sprawdzić, czy klastry są rozróżnialne. Jeśli występowałaby anomalia, można by ją zobaczyć jako punkt leżący z dala od głównego klastra w przestrzeni PCA. PCA w ten sposób pomaga destylować złożone dane do przystępnej formy dla ludzkiej interpretacji lub jako wejście do innych algorytmów.
+Tutaj wzięliśmy wcześniejsze klastry normalnego ruchu i rozszerzyliśmy każdy punkt danych o dwie dodatkowe cechy (pakiety i błędy), które korelują z bajtami i czasem trwania. Następnie używamy PCA do skompresowania 4 cech do 2 głównych komponentów. Drukujemy wskaźnik wyjaśnionej wariancji, który może pokazać, że na przykład >95% wariancji jest uchwycone przez 2 komponenty (co oznacza niewielką utratę informacji). Wynik pokazuje również, że kształt danych zmienia się z (1500, 4) na (1500, 2). Pierwsze kilka punktów w przestrzeni PCA podano jako przykład. W praktyce można by narysować data_2d, aby wizualnie sprawdzić, czy klastry są rozróżnialne. Jeśli występowała anomalia, można by ją zobaczyć jako punkt leżący z dala od głównego klastra w przestrzeni PCA. PCA w ten sposób pomaga destylować złożone dane do zarządzalnej formy dla ludzkiej interpretacji lub jako wejście do innych algorytmów.
 
 </details>
 
@@ -247,7 +245,7 @@ gdzie:
 - \( \pi_k \) to współczynnik mieszania dla klastra k (prawdopodobieństwo a priori klastra k),
 - \( \mathcal{N}(x_n | \mu_k, \Sigma_k) \) to funkcja gęstości prawdopodobieństwa Gaussa dla punktu \( x_n \) przy danej średniej \( \mu_k \) i kowariancji \( \Sigma_k \).
 
-- **M-krok (Maksymalizacja)**: Zaktualizuj parametry, używając odpowiedzialności obliczonych w E-kroku:
+- **M-krok (Maksymalizacja)**: Zaktualizuj parametry, używając odpowiedzialności obliczonych w kroku E:
 - Zaktualizuj każdą średnią μ_k jako ważoną średnią punktów, gdzie wagi to odpowiedzialności.
 - Zaktualizuj każdą kowariancję Σ_k jako ważoną kowariancję punktów przypisanych do klastra k.
 - Zaktualizuj współczynniki mieszania π_k jako średnią odpowiedzialność dla klastra k.
@@ -287,13 +285,13 @@ log_likelihood = gmm.score_samples(sample_attack)
 print("Cluster membership probabilities for sample attack:", probs)
 print("Log-likelihood of sample attack under GMM:", log_likelihood)
 ```
-W tym kodzie trenujemy GMM z 3 Gaussami na normalnym ruchu (zakładając, że znamy 3 profile legalnego ruchu). Średnie i kowariancje wydrukowane opisują te klastry (na przykład, jedna średnia może wynosić około [50,500], co odpowiada centrum jednego klastra itd.). Następnie testujemy podejrzane połączenie [duration=200, bytes=800]. predict_proba podaje prawdopodobieństwo, że ten punkt należy do każdego z 3 klastrów – spodziewalibyśmy się, że te prawdopodobieństwa będą bardzo niskie lub mocno zniekształcone, ponieważ [200,800] leży daleko od normalnych klastrów. Całkowity score_samples (log-prawdopodobieństwo) jest drukowany; bardzo niska wartość wskazuje, że punkt nie pasuje dobrze do modelu, oznaczając go jako anomalię. W praktyce można ustawić próg na log-prawdopodobieństwie (lub na maksymalnym prawdopodobieństwie), aby zdecydować, czy punkt jest wystarczająco mało prawdopodobny, aby uznać go za złośliwy. GMM w ten sposób zapewnia zasadniczy sposób wykrywania anomalii i również generuje miękkie klastry, które uwzględniają niepewność.
+W tym kodzie trenujemy GMM z 3 Gaussami na normalnym ruchu (zakładając, że znamy 3 profile legalnego ruchu). Średnie i kowariancje wydrukowane opisują te klastry (na przykład, jedna średnia może wynosić około [50,500], co odpowiada centrum jednego klastra itd.). Następnie testujemy podejrzane połączenie [duration=200, bytes=800]. predict_proba podaje prawdopodobieństwo, że ten punkt należy do każdego z 3 klastrów – spodziewalibyśmy się, że te prawdopodobieństwa będą bardzo niskie lub mocno zniekształcone, ponieważ [200,800] leży daleko od normalnych klastrów. Całkowity score_samples (log-prawdopodobieństwo) jest wydrukowany; bardzo niska wartość wskazuje, że punkt nie pasuje dobrze do modelu, oznaczając go jako anomalię. W praktyce można ustawić próg na log-prawdopodobieństwie (lub na maksymalnym prawdopodobieństwie), aby zdecydować, czy punkt jest wystarczająco mało prawdopodobny, aby uznać go za złośliwy. GMM w ten sposób zapewnia zasadniczy sposób wykrywania anomalii i również generuje miękkie klastry, które uwzględniają niepewność.
 
 ### Isolation Forest
 
 **Isolation Forest** to algorytm detekcji anomalii oparty na idei losowego izolowania punktów. Zasada polega na tym, że anomalie są nieliczne i różne, więc łatwiej je izolować niż normalne punkty. Isolation Forest buduje wiele binarnych drzew izolacyjnych (losowych drzew decyzyjnych), które losowo dzielą dane. W każdym węźle drzewa wybierana jest losowa cecha, a losowa wartość podziału jest wybierana pomiędzy min i max tej cechy dla danych w tym węźle. Ten podział dzieli dane na dwie gałęzie. Drzewo rośnie, aż każdy punkt zostanie izolowany w swoim własnym liściu lub osiągnięta zostanie maksymalna wysokość drzewa.
 
-Wykrywanie anomalii odbywa się poprzez obserwację długości ścieżki każdego punktu w tych losowych drzewach – liczby podziałów wymaganych do izolacji punktu. Intuicyjnie, anomalie (odstające wartości) mają tendencję do szybszej izolacji, ponieważ losowy podział jest bardziej prawdopodobny, aby oddzielić odstającą wartość (która znajduje się w rzadkim obszarze) niż normalny punkt w gęstym klastrze. Isolation Forest oblicza wynik anomalii na podstawie średniej długości ścieżki we wszystkich drzewach: krótsza średnia ścieżka → bardziej anomalny. Wyniki są zazwyczaj normalizowane do [0,1], gdzie 1 oznacza bardzo prawdopodobną anomalię.
+Wykrywanie anomalii odbywa się poprzez obserwację długości ścieżki każdego punktu w tych losowych drzewach – liczby podziałów wymaganych do izolacji punktu. Intuicyjnie, anomalie (odstające) mają tendencję do szybszej izolacji, ponieważ losowy podział jest bardziej prawdopodobny, aby oddzielić odstający punkt (który znajduje się w rzadkim obszarze) niż normalny punkt w gęstym klastrze. Isolation Forest oblicza wynik anomalii na podstawie średniej długości ścieżki we wszystkich drzewach: krótsza średnia ścieżka → bardziej anomalia. Wyniki są zazwyczaj normalizowane do [0,1], gdzie 1 oznacza bardzo prawdopodobną anomalię.
 
 > [!TIP]
 > *Przykłady zastosowań w cyberbezpieczeństwie:* Isolation Forests były z powodzeniem używane w wykrywaniu intruzji i wykrywaniu oszustw. Na przykład, trenuj Isolation Forest na logach ruchu sieciowego, które głównie zawierają normalne zachowanie; las wygeneruje krótkie ścieżki dla dziwnego ruchu (jak IP, które używa nieznanego portu lub nietypowego wzoru rozmiaru pakietu), oznaczając go do inspekcji. Ponieważ nie wymaga oznaczonych ataków, nadaje się do wykrywania nieznanych typów ataków. Może być również wdrażany na danych logowania użytkowników w celu wykrywania przejęć kont (anomalia w czasach logowania lub lokalizacjach są szybko izolowane). W jednym przypadku użycia, Isolation Forest może chronić przedsiębiorstwo, monitorując metryki systemowe i generując alert, gdy kombinacja metryk (CPU, sieć, zmiany plików) wygląda bardzo inaczej (krótkie ścieżki izolacji) niż wzory historyczne.
@@ -305,7 +303,7 @@ Wykrywanie anomalii odbywa się poprzez obserwację długości ścieżki każdeg
 **Ograniczenia**: Z powodu swojej losowej natury wyniki mogą się nieznacznie różnić między uruchomieniami (choć przy wystarczającej liczbie drzew jest to niewielkie). Jeśli dane mają wiele nieistotnych cech lub jeśli anomalie nie różnią się wyraźnie w żadnej cechie, izolacja może nie być skuteczna (losowe podziały mogą przypadkowo izolować normalne punkty – jednak uśrednianie wielu drzew łagodzi to). Ponadto, Isolation Forest zazwyczaj zakłada, że anomalie są małą mniejszością (co zazwyczaj jest prawdą w scenariuszach cyberbezpieczeństwa).
 
 <details>
-<summary>Przykład -- Wykrywanie odstających wartości w logach sieciowych
+<summary>Przykład -- Wykrywanie odstających w logach sieciowych
 </summary>
 
 Użyjemy wcześniejszego zestawu danych testowych (który zawiera normalne i niektóre punkty ataku) i uruchomimy Isolation Forest, aby zobaczyć, czy może oddzielić ataki. Zakładamy, że oczekujemy, że ~15% danych będzie anomaliami (dla demonstracji).
@@ -324,9 +322,9 @@ print("Isolation Forest predicted labels (first 20):", preds[:20])
 print("Number of anomalies detected:", np.sum(preds == -1))
 print("Example anomaly scores (lower means more anomalous):", anomaly_scores[:5])
 ```
-W tym kodzie instancjonujemy `IsolationForest` z 100 drzewami i ustawiamy `contamination=0.15` (co oznacza, że oczekujemy około 15% anomalii; model ustawi próg punktacji tak, aby ~15% punktów było oznaczonych). Dopasowujemy go do `X_test_if`, który zawiera mieszankę normalnych punktów i punktów ataku (uwaga: zazwyczaj dopasowujesz do danych treningowych, a następnie używasz predict na nowych danych, ale tutaj dla ilustracji dopasowujemy i przewidujemy na tym samym zbiorze, aby bezpośrednio zaobserwować wyniki).
+W tym kodzie instancjonujemy `IsolationForest` z 100 drzewami i ustawiamy `contamination=0.15` (co oznacza, że oczekujemy około 15% anomalii; model ustawi próg punktacji tak, aby ~15% punktów zostało oznaczonych). Dopasowujemy go do `X_test_if`, który zawiera mieszankę normalnych punktów i punktów ataku (uwaga: zazwyczaj dopasowujesz do danych treningowych, a następnie używasz predict na nowych danych, ale tutaj dla ilustracji dopasowujemy i przewidujemy na tym samym zbiorze, aby bezpośrednio zaobserwować wyniki).
 
-Wynik pokazuje przewidywane etykiety dla pierwszych 20 punktów (gdzie -1 oznacza anomalię). Drukujemy również, ile anomalii zostało wykrytych w sumie oraz kilka przykładowych punktów anomalii. Oczekiwalibyśmy, że około 18 z 120 punktów będzie oznaczonych jako -1 (ponieważ zanieczyszczenie wynosiło 15%). Jeśli nasze 20 próbek ataku jest rzeczywiście najbardziej odstającymi, większość z nich powinna pojawić się w tych przewidywaniach -1. Punktacja anomalii (funkcja decyzyjna Isolation Forest) jest wyższa dla normalnych punktów i niższa (bardziej negatywna) dla anomalii – drukujemy kilka wartości, aby zobaczyć separację. W praktyce można by posortować dane według punktacji, aby zobaczyć najlepsze odstające i zbadać je. Isolation Forest zapewnia zatem efektywny sposób przeszukiwania dużych nieoznakowanych danych bezpieczeństwa i wyodrębniania najbardziej nieregularnych przypadków do analizy przez ludzi lub dalszej automatycznej kontroli.
+Wynik pokazuje przewidywane etykiety dla pierwszych 20 punktów (gdzie -1 oznacza anomalię). Drukujemy również, ile anomalii zostało wykrytych w sumie oraz kilka przykładowych punktów anomalii. Oczekiwalibyśmy, że około 18 z 120 punktów zostanie oznaczonych jako -1 (ponieważ zanieczyszczenie wynosiło 15%). Jeśli nasze 20 próbek ataku jest rzeczywiście najbardziej odstającymi, większość z nich powinna pojawić się w tych przewidywaniach -1. Punktacja anomalii (funkcja decyzyjna Isolation Forest) jest wyższa dla normalnych punktów i niższa (bardziej negatywna) dla anomalii – drukujemy kilka wartości, aby zobaczyć separację. W praktyce można by posortować dane według punktacji, aby zobaczyć najlepsze odstające i zbadać je. Isolation Forest zapewnia zatem efektywny sposób przeszukiwania dużych, nieoznakowanych danych bezpieczeństwa i wyodrębniania najbardziej nieregularnych przypadków do analizy przez ludzi lub dalszej automatycznej kontroli.
 
 ### t-SNE (t-Distributed Stochastic Neighbor Embedding)
 
@@ -336,16 +334,16 @@ Algorytm ma dwa główne etapy:
 
 1. **Obliczanie parowych afinitetów w przestrzeni o wysokiej wymiarowości:** Dla każdej pary punktów t-SNE oblicza prawdopodobieństwo, że wybierze tę parę jako sąsiadów (to jest robione przez centrowanie rozkładu Gaussa na każdym punkcie i mierzenie odległości – parametr złożoności wpływa na efektywną liczbę sąsiadów, które są brane pod uwagę).
 2. **Obliczanie parowych afinitetów w przestrzeni o niskiej wymiarowości (np. 2D):** Początkowo punkty są losowo umieszczane w 2D. t-SNE definiuje podobne prawdopodobieństwo dla odległości w tej mapie (używając jądra rozkładu t Studenta, które ma cięższe ogony niż Gauss, aby umożliwić odległym punktom większą swobodę).
-3. **Spadek gradientu:** t-SNE następnie iteracyjnie przesuwa punkty w 2D, aby zminimalizować rozbieżność Kullbacka–Leiblera (KL) między rozkładem afinitetów w wysokiej wymiarowości a tym w niskiej wymiarowości. Powoduje to, że układ 2D odzwierciedla strukturę w wysokiej wymiarowości tak bardzo, jak to możliwe – punkty, które były blisko w oryginalnej przestrzeni, będą się przyciągać, a te oddalone będą się odpychać, aż znajdzie się równowaga.
+3. **Spadek gradientu:** t-SNE następnie iteracyjnie przemieszcza punkty w 2D, aby zminimalizować rozbieżność Kullbacka–Leiblera (KL) między rozkładem afinitetów w wysokiej wymiarowości a tym w niskiej wymiarowości. Powoduje to, że układ 2D odzwierciedla strukturę w wysokiej wymiarowości tak bardzo, jak to możliwe – punkty, które były blisko w oryginalnej przestrzeni, będą się przyciągać, a te oddalone będą się odpychać, aż znajdzie się równowaga.
 
-Wynik często stanowi wizualnie znaczący wykres punktowy, na którym klastry w danych stają się oczywiste.
+Wynik często jest wizualnie znaczącym wykresem punktowym, gdzie klastry w danych stają się oczywiste.
 
 > [!TIP]
-> *Przykłady zastosowań w cyberbezpieczeństwie:* t-SNE jest często używane do **wizualizacji danych o wysokiej wymiarowości w celu analizy przez ludzi**. Na przykład, w centrum operacyjnym bezpieczeństwa analitycy mogą wziąć zbiór danych o zdarzeniach z dziesiątkami cech (numery portów, częstotliwości, liczby bajtów itp.) i użyć t-SNE do wygenerowania wykresu 2D. Ataki mogą tworzyć własne klastry lub oddzielać się od normalnych danych na tym wykresie, co ułatwia ich identyfikację. Zostało to zastosowane do zbiorów danych złośliwego oprogramowania, aby zobaczyć grupy rodzin złośliwego oprogramowania lub do danych o włamaniu do sieci, gdzie różne typy ataków grupują się wyraźnie, co prowadzi do dalszego dochodzenia. W zasadzie t-SNE zapewnia sposób na dostrzeganie struktury w danych cybernetycznych, które w przeciwnym razie byłyby nieczytelne.
+> *Przykłady zastosowań w cyberbezpieczeństwie:* t-SNE jest często używane do **wizualizacji danych o wysokiej wymiarowości w celu analizy przez ludzi**. Na przykład, w centrum operacyjnym bezpieczeństwa, analitycy mogą wziąć zbiór danych o zdarzeniach z dziesiątkami cech (numery portów, częstotliwości, liczby bajtów itp.) i użyć t-SNE do wygenerowania wykresu 2D. Ataki mogą tworzyć własne klastry lub oddzielać się od normalnych danych na tym wykresie, co ułatwia ich identyfikację. Zostało to zastosowane do zbiorów danych złośliwego oprogramowania, aby zobaczyć grupy rodzin złośliwego oprogramowania lub do danych o włamaniu do sieci, gdzie różne typy ataków wyraźnie się grupują, co prowadzi do dalszego dochodzenia. W zasadzie t-SNE zapewnia sposób na zobaczenie struktury w danych cybernetycznych, które w przeciwnym razie byłyby nieczytelne.
 
 #### Założenia i ograniczenia
 
-t-SNE jest świetne do wizualnego odkrywania wzorców. Może ujawniać klastry, podklastry i odstające punkty, które inne metody liniowe (jak PCA) mogą przeoczyć. Było używane w badaniach nad cyberbezpieczeństwem do wizualizacji złożonych danych, takich jak profile zachowań złośliwego oprogramowania lub wzorce ruchu sieciowego. Ponieważ zachowuje lokalną strukturę, dobrze pokazuje naturalne grupowania.
+t-SNE jest świetne do wizualnego odkrywania wzorców. Może ujawniać klastry, podklastry i odstające punkty, które inne metody liniowe (jak PCA) mogą przeoczyć. Zostało użyte w badaniach nad cyberbezpieczeństwem do wizualizacji złożonych danych, takich jak profile zachowań złośliwego oprogramowania lub wzorce ruchu sieciowego. Ponieważ zachowuje lokalną strukturę, dobrze pokazuje naturalne grupowania.
 
 Jednak t-SNE jest obliczeniowo cięższe (około $O(n^2)$), więc może wymagać próbkowania dla bardzo dużych zbiorów danych. Ma również hiperparametry (złożoność, współczynnik uczenia, iteracje), które mogą wpływać na wynik – np. różne wartości złożoności mogą ujawniać klastry w różnych skalach. Wykresy t-SNE mogą czasami być błędnie interpretowane – odległości na mapie nie mają bezpośredniego znaczenia globalnego (koncentruje się na lokalnym sąsiedztwie, czasami klastry mogą wydawać się sztucznie dobrze oddzielone). Ponadto t-SNE jest głównie do wizualizacji; nie zapewnia prostego sposobu na projekcję nowych punktów danych bez ponownego obliczania i nie jest przeznaczone do użycia jako wstępne przetwarzanie dla modelowania predykcyjnego (UMAP jest alternatywą, która rozwiązuje niektóre z tych problemów z szybszą prędkością).
 
@@ -436,7 +434,7 @@ plt.legend()
 plt.tight_layout()
 plt.show()
 ```
-Tutaj połączyliśmy nasz wcześniejszy zbiór danych 4D z garstką ekstremalnych wartości odstających (wartości odstające mają jedną cechę (“duration”) ustawioną bardzo wysoko, itd., aby zasymulować dziwny wzór). Uruchamiamy t-SNE z typową złożonością 30. Wyjściowe data_2d ma kształt (1505, 2). W tym tekście nie będziemy faktycznie rysować, ale gdybyśmy to zrobili, spodziewalibyśmy się zobaczyć może trzy zwarte klastry odpowiadające 3 normalnym klastrom, a 5 wartości odstających pojawiających się jako izolowane punkty daleko od tych klastrów. W interaktywnym przepływie pracy moglibyśmy pokolorować punkty według ich etykiety (normalne lub który klaster, w porównaniu do anomalii), aby zweryfikować tę strukturę. Nawet bez etykiet analityk mógłby zauważyć te 5 punktów siedzących w pustej przestrzeni na wykresie 2D i zgłosić je. To pokazuje, jak t-SNE może być potężnym narzędziem do wizualnej detekcji anomalii i inspekcji klastrów w danych z cyberbezpieczeństwa, uzupełniając powyższe zautomatyzowane algorytmy.
+Tutaj połączyliśmy nasz wcześniejszy zbiór danych 4D z kilkoma ekstremalnymi wartościami odstającymi (wartości odstające mają jedną cechę (“duration”) ustawioną bardzo wysoko, itd., aby zasymulować dziwny wzór). Uruchamiamy t-SNE z typową złożonością 30. Wyjściowe data_2d ma kształt (1505, 2). W tym tekście nie będziemy rzeczywiście rysować, ale gdybyśmy to zrobili, spodziewalibyśmy się zobaczyć może trzy zwarte klastry odpowiadające 3 normalnym klastrom, a 5 wartości odstających pojawiających się jako izolowane punkty daleko od tych klastrów. W interaktywnym przepływie pracy moglibyśmy pokolorować punkty według ich etykiety (normalne lub który klaster, w porównaniu do anomalii), aby zweryfikować tę strukturę. Nawet bez etykiet analityk mógłby zauważyć te 5 punktów siedzących w pustej przestrzeni na wykresie 2D i zgłosić je. To pokazuje, jak t-SNE może być potężnym narzędziem do wizualnej detekcji anomalii i inspekcji klastrów w danych z cyberbezpieczeństwa, uzupełniając powyższe zautomatyzowane algorytmy.
 
 </details>