Лингвистический анализ: Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире (Стивен Вольфрам)

Общая статистика

Активный словарный запас

Использовано уникальных слов	5082
Активный словарный запас (АСЗ)	4602
Активный не словарный запас (АНСЗ)	480
Удельный АСЗ на 3000 слов текста	1259.14	67486 место в рейтинге УАСЗ-3000
Удельный АСЗ на 10000 слов текста	3025.59	41397 место в рейтинге УАСЗ-10000
Удельный АСЗ на 100000 слов текста	0.00
Максимальный УАСЗ-3000 (1377) наблюдается примерно на 84 странице
Минимальный УАСЗ-3000 (1147) наблюдается примерно на 68 странице

Буквы и знаки препинания

Знак	Кол-во (шт.)	Средн. кол-во на 1000 слов (шт.)
,	2483	116.43
.	1037	48.63
-	199	9.33
?	112	5.25
!	0	0.00
...	0	0.00
!..	0	0.00
?..	0	0.00
!!!	0	0.00
?!	0	0.00
"	0	0.00
()	276	12.94
:	215	10.08
;	54	2.53
Буква	Кол-во (шт.)	Частота использования (в %)
А	7952	6.71
Б	1801	1.52
В	4728	3.99
Г	1531	1.29
Д	3286	2.77
Е-Ё	10731	9.06
Ж	1531	1.29
З	1995	1.68
И-Й	9758	8.24
К	3863	3.26
Л	4499	3.80
М	4510	3.81
Н	8166	6.89
О	13954	11.78
П	3104	2.62
Р	5134	4.33
С	6380	5.39
Т	8852	7.47
У	2540	2.14
Ф	347	0.29
Х	1013	0.86
Ц	507	0.43
Ч	2387	2.02
Ш	497	0.42
Щ	434	0.37
Ь-Ъ	2458	2.08
Ы	2940	2.48
Э	606	0.51
Ю	791	0.67
Я	2400	2.03

Части речи