Prediktory přesnosti konvolučních neuronových sítí
Loading...
Date
Authors
ORCID
Advisor
Referee
Mark
D
Journal Title
Journal ISSN
Volume Title
Publisher
Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract
V posledním desetiletí došlo k obrovskému skoku v pokroku neuronových sítí, a to především díky možnosti učit větší sítě než kdy dřív. Pouhé zvětšování velikosti sítí ale není dostatečným prostředkem k jejich dalšímu zefektivnění. Z tohoto důvodu dochází ke komplexnějšímu výzkumu architektur sítí. Jeho velkou slabinou je potřeba natrénovat každou architekturu pro zjištění jejího výkonu na daném problému. To může v některých případech zabírat i dny. Alternativou k učení může být využití prediktoru přesnosti neuronové sítě. Tato práce se zabývá zhodnocením a reimplementací několika vybraných prediktorů určených pro klasifikační konvoluční sítě.
Last decade has seen a great progress in research of artificial neural network. This progress is mostly consequence of possibility to train larger models than ever before through parallelisation. However researchers reached a point where pure scaling of neural networks does not lead to major improvements. This led to a more complex research of neural network architectures, which introduced new obstacles. The most significant obstacle is the need to evaluate the accuracy of many individual architectures with various hyper-parameters. In some cases even single evaluation can take up to hours on highly specialized computers. One of the methods that can be used to overcome this obstacle is neural network accuracy predictor. Predictors are a group of algorithms that focus on estimating the final validation accuracy of a neural network with no or significantly limited training. This thesis aims to review and reimplement several accuraccy predictors for convolutional neural networks classificators.
Last decade has seen a great progress in research of artificial neural network. This progress is mostly consequence of possibility to train larger models than ever before through parallelisation. However researchers reached a point where pure scaling of neural networks does not lead to major improvements. This led to a more complex research of neural network architectures, which introduced new obstacles. The most significant obstacle is the need to evaluate the accuracy of many individual architectures with various hyper-parameters. In some cases even single evaluation can take up to hours on highly specialized computers. One of the methods that can be used to overcome this obstacle is neural network accuracy predictor. Predictors are a group of algorithms that focus on estimating the final validation accuracy of a neural network with no or significantly limited training. This thesis aims to review and reimplement several accuraccy predictors for convolutional neural networks classificators.
Description
Citation
KARÁSEK, D. Prediktory přesnosti konvolučních neuronových sítí [online]. Brno: Vysoké učení technické v Brně. Fakulta informačních technologií. 2023.
Document type
Document version
Date of access to the full text
Language of document
en
Study field
Informační technologie
Comittee
doc. Ing. František Zbořil, Ph.D. (předseda)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
Ing. David Bařina, Ph.D. (člen)
doc. Ing. Michal Bidlo, Ph.D. (člen)
doc. Ing. Radek Burget, Ph.D. (člen)
Date of acceptance
2023-06-13
Defence
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
Result of defence
práce byla úspěšně obhájena
Document licence
Standardní licenční smlouva - přístup k plnému textu bez omezení