Što je Matrica zbunjenosti?
Matrica zbrke je tehnika mjerenja performansi za klasifikaciju strojnog učenja. To je vrsta tablice koja vam pomaže da saznate izvedbu klasifikacijskog modela na skupu testnih podataka za koje su poznate prave vrijednosti. Sam izraz matrica zbrke vrlo je jednostavan, ali s njim povezana terminologija može biti malo zbunjujuća. Evo nekoliko jednostavnih objašnjenja za ovu tehniku.
U ovom ćete tutorijalu naučiti,
- Što je matrica zbrke?
- Četiri ishoda matrice zbrke
- Primjer matrice zbrke:
- Kako izračunati matricu zbrke
- Ostali važni pojmovi koji koriste matricu zbrke
- Zašto vam je potrebna matrica zbrke?
Četiri ishoda matrice zbrke
Matrica zbrke vizualizira točnost klasifikatora usporedbom stvarnih i predviđenih klasa. Matrica binarne zbrke sastoji se od kvadrata:
- TP: Istinito pozitivno: Predviđene vrijednosti točno su predviđene kao stvarne pozitivne
- FP: Predviđene vrijednosti pogrešno su predvidjele stvarnu pozitivu. tj. negativne vrijednosti predviđene kao pozitivne
- FN: Lažno negativno: Pozitivne vrijednosti predviđaju se kao negativne
- TN: Točno negativno: Predviđene vrijednosti točno su predviđene kao stvarne negativne
Test točnosti možete izračunati iz matrice zbrke:
Primjer matrice zbrke:
Confusion Matrix korisna je metoda strojnog učenja koja vam omogućuje mjerenje krivulje opoziva, preciznosti, preciznosti i AUC-ROC. Ispod je naveden primjer poznavanja pojmova Istinito pozitivno, Istinito negativno, Lažno negativno i Istinito negativno.
Istinito pozitivno:
Predviđali ste pozitivno i ispalo je da je to istina. Na primjer, predvidjeli ste da će Francuska osvojiti svjetsko prvenstvo i pobijedila je.
Istinito negativno:
Kad ste predvidjeli negativno, i to je istina. Predvidjeli ste da Engleska neće pobijediti, a izgubila je.
Lažno pozitivno:
Vaše je predviđanje pozitivno i netačno.
Predvidjeli ste da će Engleska pobijediti, ali je izgubila.
Lažno negativno:
Vaše je predviđanje negativno, a rezultat je i netačno.
Predvidjeli ste da Francuska neće pobijediti, ali je pobijedila.
Trebali biste se sjetiti da predviđene vrijednosti opisujemo kao istinite ili lažne ili kao pozitivne i negativne.
Kako izračunati matricu zbrke
Ovdje je korak po korak postupak izračuna matrice zbrke u rudarstvu podataka
- Korak 1) Prvo morate testirati skup podataka s očekivanim vrijednostima ishoda.
- Korak 2) Predvidite sve retke u testnom skupu podataka.
- Korak 3) Izračunajte očekivana predviđanja i ishode:
- Ukupan broj točnih predviđanja za svaki razred.
- Ukupan broj netočnih predviđanja za svaki razred.
Nakon toga, ovi se brojevi organiziraju prema dolje navedenim metodama:
- Svaki red matrice povezuje se s predviđenom klasom.
- Svaki stupac matrice odgovara stvarnoj klasi.
- U tablicu se unosi ukupan broj točnih i netočnih klasifikacija.
- Zbroj točnih predviđanja za razred ulazi u predviđeni stupac i očekivani redak za vrijednost te klase.
- Zbroj netočnih predviđanja za klasu ide u očekivani redak za tu vrijednost klase i predviđeni stupac za tu određenu vrijednost klase.
Ostali važni pojmovi koji koriste matricu zbrke
- Pozitivna prediktivna vrijednost (PVV): Ovo je vrlo blizu preciznosti. Jedna značajna razlika između dva termina je u tome što PVV uzima u obzir prevalenciju. U situaciji kada su predavanja savršeno uravnotežena, pozitivna prediktivna vrijednost jednaka je preciznosti.
- Null Rate Error: Ovaj pojam koristi se za definiranje koliko će puta vaše predviđanje biti pogrešno ako možete predvidjeti većinsku klasu. Možete ga smatrati osnovnom metrikom za usporedbu vašeg klasifikatora.
- F rezultat: F1 rezultat je ponderirani prosjek rezultata istinskog pozitivnog (opoziv) i preciznosti.
- Roc krivulja: Roc krivulja pokazuje istinske pozitivne stope u odnosu na lažno pozitivne stope na različitim reznim točkama. Također pokazuje kompromis između osjetljivosti (opoziv i specifičnost ili istinska negativna stopa).
- Preciznost: mjernost preciznosti pokazuje točnost pozitivne klase. Mjeri se vjerojatnost točnog predviđanja pozitivne klase.
Maksimalni rezultat je 1 kada klasifikator savršeno klasificira sve pozitivne vrijednosti. Sama preciznost nije od velike pomoći jer ignorira negativnu klasu. Metrika je obično uparena s metrikom opoziva. Prisjećanje se naziva i osjetljivost ili istinska pozitivna stopa.
- Osjetljivost : Osjetljivost izračunava odnos ispravno otkrivenih pozitivnih klasa. Ova metrika pokazuje koliko je dobar model prepoznavanje pozitivne klase.
Zašto vam je potrebna matrica zbrke?
Evo prednosti / koristi korištenja matrice zbrke.
- Pokazuje kako je bilo koji klasifikacijski model zbunjen kada daje predviđanja.
- Matrica zbrke ne samo da vam daje uvid u pogreške koje čini vaš klasifikator, već i u vrste pogrešaka koje se čine.
- Ova raščlamba pomaže vam da prevladate ograničenje upotrebe samo točnosti klasifikacije.
- Svaki stupac matrice zbrke predstavlja primjerke te predviđene klase.
- Svaki redak matrice zbrke predstavlja instance stvarne klase.
- Pruža uvid ne samo u pogreške koje je učinio klasifikator, već i u pogreške koje se čine.