#مقاله شماره 1
✅ عنوان
Fixup Initialization: Residual Learning Without Normalization
✅ مشخصات
چاپ شده در ICLR 2019
✅ خلاصه
لایه‌های نرمالیزاسیون (Normalization)، عناصری اساسی در شبکه‌های عصبی عمیق هستند. این لایه‌ها با ویژگی‌هایی همچون ایجاد پایداری، امکان اعمال نرخ یادگیری بزرگتر، همگرایی سریع‌تر و تعمیم‌پذیری بهتر شناخته می‌شوند. در این مطالعه، مزیت‌های ذکر شده در بالا به چالش کشیده شده و نشان داده شده است که این مزایا تنها مختص لایه‌های نرمالیزاسیون نیست. به‌طور مشخص، fixed-update initialization یا fixup پیشنهاد شده که تکنیکی برای حل مساله محو و انفجار گرادیان در ابتدای فرآیند آموزش است. در این مطالعه نشان داده شده که آموزش شبکه‌های residual با fixup به همان اندازه آموزش شبکه با لایه‌های نرمالیزاسیون پایدار است (حتی در شبکه‌های با 10.000 لایه). علاوه‌براین، با رگولاریزه مناسب، شبکه‌های residual با fixup و بدون لایه‌های نرمالیزاسیون به عملکرد قابل ملاحظه‌ای در ترجمه ماشینی و دسته‌بندی تصاویر می‌رسند.
✅ لینک مقاله
https://openreview.net/forum?id=H1gsz30cKX
✅ کد
https://github.com/valilenk/fixup
@howsam_org
✅ عنوان
Fixup Initialization: Residual Learning Without Normalization
✅ مشخصات
چاپ شده در ICLR 2019
✅ خلاصه
لایه‌های نرمالیزاسیون (Normalization)، عناصری اساسی در شبکه‌های عصبی عمیق هستند. این لایه‌ها با ویژگی‌هایی همچون ایجاد پایداری، امکان اعمال نرخ یادگیری بزرگتر، همگرایی سریع‌تر و تعمیم‌پذیری بهتر شناخته می‌شوند. در این مطالعه، مزیت‌های ذکر شده در بالا به چالش کشیده شده و نشان داده شده است که این مزایا تنها مختص لایه‌های نرمالیزاسیون نیست. به‌طور مشخص، fixed-update initialization یا fixup پیشنهاد شده که تکنیکی برای حل مساله محو و انفجار گرادیان در ابتدای فرآیند آموزش است. در این مطالعه نشان داده شده که آموزش شبکه‌های residual با fixup به همان اندازه آموزش شبکه با لایه‌های نرمالیزاسیون پایدار است (حتی در شبکه‌های با 10.000 لایه). علاوه‌براین، با رگولاریزه مناسب، شبکه‌های residual با fixup و بدون لایه‌های نرمالیزاسیون به عملکرد قابل ملاحظه‌ای در ترجمه ماشینی و دسته‌بندی تصاویر می‌رسند.
✅ لینک مقاله
https://openreview.net/forum?id=H1gsz30cKX
✅ کد
https://github.com/valilenk/fixup
@howsam_org
#مقاله شماره 2
✅ عنوان مقاله
Bag of Tricks for Image Classification with Convolutional Neural Networks
✅ مشخصات مقاله
این مقاله در سال 2018 توسط محققان وب‌سرویس آمازون منتشر شده و تاکنون 5 ارجاع داشته است.
✅ خلاصه مقاله
تکنیک‌های بهبود فرآیند آموزش مانند داده‌سازی‌ها، روش‌های بهینه‌سازی، نرمالیزاسیون و غیره اهمیت زیادی در فرآیند آموزش شبکه‌ها دارند. اما، در مقالات مختلف درباره نحوه اعمال این تکنیک‌های بهبود، کمتر توضیح داده شده و در سورس کدها باید اطلاعاتی درباره آنها پیدا کرد. در این مقاله، مجموعه‌ای از اینگونه تکنیک‌های بهبود، آزمایش و بررسی شده‌اند. با ترکیب این تکنیک‌های بهبود و اعمال آنها به شبکه‌های CNN، بهبودهای قابل توجهی در کارآیی شبکه‌های دسته‌بندی تصویر (Image Classification) حاصل شده است. به عنوان نمونه، با اعمال تکنیک‌های بهبود، دقت ارزیابی شبکه ResNet-50 از 75.3% به 79.9% ارتقا یافته که نسبت به DenseNet-201 با دقت 77.42% (بدون تکنیک‌های بهبود) بهتر است.
✅ لینک مقاله
https://arxiv.org/abs/1812.01187
✅ کدها
https://github.com/dmlc/gluon-cv
https://github.com/Tony607/Keras_Bag_of_Tricks
@howsam_org
✅ عنوان مقاله
Bag of Tricks for Image Classification with Convolutional Neural Networks
✅ مشخصات مقاله
این مقاله در سال 2018 توسط محققان وب‌سرویس آمازون منتشر شده و تاکنون 5 ارجاع داشته است.
✅ خلاصه مقاله
تکنیک‌های بهبود فرآیند آموزش مانند داده‌سازی‌ها، روش‌های بهینه‌سازی، نرمالیزاسیون و غیره اهمیت زیادی در فرآیند آموزش شبکه‌ها دارند. اما، در مقالات مختلف درباره نحوه اعمال این تکنیک‌های بهبود، کمتر توضیح داده شده و در سورس کدها باید اطلاعاتی درباره آنها پیدا کرد. در این مقاله، مجموعه‌ای از اینگونه تکنیک‌های بهبود، آزمایش و بررسی شده‌اند. با ترکیب این تکنیک‌های بهبود و اعمال آنها به شبکه‌های CNN، بهبودهای قابل توجهی در کارآیی شبکه‌های دسته‌بندی تصویر (Image Classification) حاصل شده است. به عنوان نمونه، با اعمال تکنیک‌های بهبود، دقت ارزیابی شبکه ResNet-50 از 75.3% به 79.9% ارتقا یافته که نسبت به DenseNet-201 با دقت 77.42% (بدون تکنیک‌های بهبود) بهتر است.
✅ لینک مقاله
https://arxiv.org/abs/1812.01187
✅ کدها
https://github.com/dmlc/gluon-cv
https://github.com/Tony607/Keras_Bag_of_Tricks
@howsam_org