Falcon LLM

Falcon LLM - це базова мовна модель з двома версіями: Falcon-40B з 40 мільярдами параметрів та навчена на одному трильйоні токенів, та Falcon-7B з 7 мільярдами параметрів та навчена на 1,5 мільярда токенів. Обидві моделі є лише декодерами авторегресивного типу, що означає, що модель навчена передбачати наступний токен у послідовності, враховуючи попередні токени. Модель GPT є хорошим прикладом такого підходу.

Архітектура Falcon виявилася ефективнішою за GPT-3 з точки зору обчислювальних витрат на тренування, а також вимагає менше обчислювальних ресурсів під час використання. Вона була створена за допомогою спеціалізованих інструментів та має унікальний потік даних, що фільтрує та видаляє дубльований вміст з Інтернету.

Крім того, доступні дві готові моделі для чату: Falcon-40B-Instruct та Falcon-7B-Instruct.

Джерела:

• https://www.kdnuggets.com/2023/06/falcon-llm-new-king-llms.html
• https://www.packtpub.com/article-hub/falcon-llm-the-dark-horse-in-open-source-llm-race