ctrl від Salesforce

Salesforce розробив масштабну мовну модель під назвою CTRL, яка може генерувати текст, але з додатковою можливістю контролювати результат шляхом застосування домену, піддомену, сутностей, взаємозв'язків між сутностями, дат та поведінки, специфічної для завдання. Модель була навчена з використанням структури, яка входить в природу сирих текстів, що дозволяє користувачам скористатися нагромадженням нагляду без наглядаючого навчання та мати більший контроль над згенерованим текстом. CTRL - це умовна модель мови Transformer з 1,6 мільярдом параметрів.

Наразі код підтримує дві функції:

• Генерація з навченої моделі, доступні для завантаження дві моделі - одна з довжиною послідовності 256 та інша з довжиною послідовності 512 - вони навчені зі словниками на основі слів і за допомогою методу ковзаючого вікна можуть генерувати текст, що перевищує їх навчену довжину послідовності.
• Визначення джерела - при заданому запиті виводить незрозумілість запиту за умовною контрольною кодом (див. розділ 5 статті).