Дослідники ШІ розробили новий спосіб оптимізації параметрів. Це має підвищити ефективність багатомовних моделей

Унівeрситeт Джoнсa Гoпкінсa прeдстaвив іннoвaційний підхід перед оптимізації багатомовних мовних моделей (MLM), який дозволяє значно зменшити їхній обсяг безо втрати продуктивності. MLM забезпечують здатність генерувати та аналізувати тексти у різних мовах, але зі збільшенням кількості мов вони втрачають ефективність посредством «мовну інтерференцію».

У відміну від традиційних методів, коль для кожної мови створюється окрема нейромережа, вчені використовують матриці з низьким рангом. Цей підхід дозволяє стиснути дані та зменшити кількість параметрів, необхідних с целью додавання нових мов у фасон.

Як пояснює один із авторів, Хаоран Сюй (Haoran Xu), це аналогічно обмеженій палітрі кольорів к художника. Замість того, щоб кожному учневі в класі виділяти власний набір фарб, використовується загальна палітра з трьох кольорів. Це значно зменшує потребу в параметрах присутствие масштабуванні моделі.

Дослідники протестували свій лучизм на 95 мовах, показавши відмінні результати ради використання значно меншої кількості параметрів. Це відкриває перспективи про створення компактних і ефективних MLM, зауважують вчені.

Из-за їхніми словами, з часом з’глазам мобільні додатки з штучним інтелектом, здатні працювати получи и распишись сотнях мов однаково ефективно. Остаточна клеймо полягає в застосуванні нового методу для того стиснення великих MLM без втрати їхньої продуктивності.

Категория: Hi-Tech