The Pile

The Pile - це розроблений EleutherAI набір даних для моделювання мови обсягом 825 ГіБ. Він складається з багатьох менших наборів даних, об'єднаних разом. Метою є отримання тексту з якомога більшої кількості модальностей, щоб моделі, навчені на The Pile, мали ширший спектр загальних властивостей.

Чому The Pile є хорошим набором для навчання?

Нещодавні дослідження показали, що особливо для великих моделей різноманітність джерел даних покращує загальну крос-доменну інформованість моделі, а також здатність до узагальнення вниз по потоці. У наших оцінках моделі, навчені на The Pile, не тільки показують помірні покращення в традиційних бенчмарках моделювання мови, але також значно покращуються на показнику Pile BPB.

| Компонент | Розмір |Вага|Епохи|Ефективний розмір|Середній розмір документа| |-----------------|----------|------|-----:|--------------|------------------| |Pile-CC |227.12 ГіБ|18.11%| 1.0|227.12 ГіБ |4.33 КіБ | |PubMed Central |90.27 ГіБ |14.40%| 2.0|180.55 ГіБ |30.55 КіБ | |Books3 |100.96 ГіБ|12.07%| 1.5|151.44 ГіБ |538.36 КіБ | |OpenWebText2 |62.77 ГіБ |10.01%| 2.0|125.54 ГіБ |3.85 КіБ | |ArXiv |56.21 ГіБ |8.96% | 2.0|112.42 ГіБ |46.61 КіБ | |Github |95.16 ГіБ |7.59% | 1.0|95.16 ГіБ |5.25 КіБ | |FreeLaw |51.15 ГіБ |6.12% | 1.5|76.73 ГіБ |15.06 КіБ | |StackExchange |32.20 ГіБ |5.13% | 2.0|64.39 ГіБ |2.16 КіБ | |USPTO Backgrounds |22.90 ГіБ |3.65% | 2.0|45.81 ГіБ |4.08 КіБ | |PubMed Abstracts |19.26 ГіБ |3.07% | 2.0|38.53 ГіБ |1.30 КіБ | |Gutenberg (PG-19)|10.88 ГіБ |2.17% | 2.5|27.19 ГіБ |398.73 КіБ | |OpenSubtitles |12.98 ГіБ |1.55% | 1.5|19.47 ГіБ |30.48 КіБ | |Wikipedia (en) |6.38 ГіБ |1.53% | 3.0|19.13 ГіБ |1.11 КіБ | |DM Mathematics |7.75 ГіБ |1.24% | 2.0|15.49 ГіБ |8.00 КіБ | |Ubuntu IRC |5.52 ГіБ |0.88% | 2.0|11.03 ГіБ |545.48 КіБ | |BookCorpus2 |6.30 ГіБ |0.75% | 1.5|9.45 ГіБ |369.87 КіБ | |EuroParl |4.59 ГіБ |0.73% | 2.0|9.17 ГіБ |68.87 КіБ | |HackerNews |3.90 ГіБ |0.62% | 2.0|7.80 ГіБ |4.92 КіБ | |YoutubeSubtitles |3.73 ГіБ |0.60% | 2.0|7.47 ГіБ |22.55 КіБ | |PhilPapers |2.38 ГіБ |0.38% | 2.0|4.76 ГіБ |73.37 КіБ | |NIH ExPorter |1.89 ГіБ |0.30% | 2.0|3.79 ГіБ |2.11 КіБ | |Enron Emails |0.88 ГіБ |0.14% | 2.0|1.76 ГіБ |1.78 КіБ | |Всього | | | |1254.20 ГіБ |5.91 КіБ |

Джерело: https://pile.eleuther.ai/