DistilBERT

DistilBERT - це модифікована версія BERT, моделі Transformer, яка була розроблена для зменшення розміру, прискорення роботи, зниження вартості та спрощення. Модель здатна зберігати понад 95% результатів BERT на мовному розумінні, виміряних на тесті GLUE, при цьому маючи на 40% менше параметрів та працюючи на 60% швидше. Цього досягнуто завдяки використанню знань при здійсненні попередньої підготовки та впровадженню потрійної втрати, яка поєднує моделювання мови, втрату знань та втрату на основі косинусної відстані.

Потенціал DistilBERT для обчислень на пристрої продемонстровано у експерименті концептуального доведення та порівнянні на пристрої.

Створено https://huggingface.co/