Regularizuesit ju lejojnë të aplikoni penalitete për parametrat e shtresës ose aktivitetin e shtresës gjatë optimizimit. Këto dënime përmblidhen në funksionin e humbjes që rrjeti optimizon. Dënimet e rregullimit zbatohen në bazë të çdo shtrese.
Çfarë është rregulluesi i aktivitetit?
Rregulluesi i aktivitetit funksionon si funksion i prodhimit të rrjetës dhe përdoret më së shumti për të rregulluar njësitë e fshehura, ndërsa rregulluesi i peshës, siç thotë emri, punon në peshat (p.sh. duke i bërë ato të prishen).
Kur duhet të përdor rregulluesin e aktivitetit?
Nëse dëshironi që funksioni i daljes të kalojë përmes(ose të ketë një ndërprerje më afër) origjinës, mund të përdorni rregulluesin e paragjykimit. Nëse dëshironi që prodhimi të jetë më i vogël (ose më afër 0), mund të përdorni rregulluesin e aktivitetit.
Si ta përdor rregulluesin Keras?
Për të shtuar një rregullues në një shtresë, thjesht duhet për të kaluar në teknikën e preferuar të rregullimit te argumenti i fjalës kyç të shtresës 'kernel_regularizer'. Metodat e zbatimit të rregullimit Keras mund të ofrojnë një parametër që përfaqëson vlerën e hiperparametrit të rregullimit.
Çfarë është kerneli dhe paragjykimi?
Klasa e dendur
Dense zbaton operacionin: output=aktivizim (pika (hyrje, kernel) + paragjykim) ku aktivizimi është funksioni i aktivizimit sipas elementit të kaluar si argument aktivizimi, kerneli është një matricë peshash e krijuar nga shtresa, dheparagjykimi është një vektor paragjykimi i krijuar nga shtresa (i zbatueshëm vetëm nëse use_bias është i vërtetë).
