Gopher by DeepMind

DeepMind створила мовну модель під назвою Gopher, яка здатна переграти існуючі великі мовні моделі на багатьох завданнях. Gopher менший за деякі великі мовні програми, має всього 280 мільярдів параметрів. Незважаючи на свій менший розмір, DeepMind стверджує, що її мовна модель ефективніша в 25 разів порівняно з моделями з значно більшою кількістю параметрів. Крім того, модель Retro, яка має всього 7 мільярдів параметрів, здатна рівнятися за продуктивністю з GPT-3 від OpenAI. Перевагою Gopher є те, що легше виявляти упередженість або недостовірну інформацію через те, що дослідники можуть бачити, який текст навчання використовувався для створення виводу.

Джерело: https://fortune.com/2021/12/08/deepmind-gopher-nlp-ultra-large-language-model-beats-gpt-3/