Claude помог создать ИИ весом около 400 КБ для запуска из-под DOS Модель содержит всего 367 000 параметров и состоит из четырех слоев шириной 96. В отличие от современных больших языковых моделей, она обрабатывает текст посимвольно. Ее веса хранятся в 8-битном формате и занимают около 380 КБ. Для запуска требуется примерно 540 КБ ОЗУ. Обучали нейросеть на наборе из 3500 фактов, причем каждый из них был представлен в нескольких формулировках. Благодаря этому ИИ способен отвечать на знакомые вопросы, даже если их задают разными словами. Однако, если спросить о чем-то за пределами обучающего набора или задать слишком длинный вопрос, нейросеть начинает уверенно выдавать выдуманные ответы и бессмыслицу. Автор опубликовал проект на GitHub, где можно изучить его устройство и скачать файлы для самостоятельного запуска. Мой Компьютер
- 412
- 105
- 55
- 34
- 25
- 17