Учебник

Удобное оглавление по самым важным материалам блога. Насколько можем, даем систематическое представление о предмете.

Вводные материалы

• Современные возможности искусственного интеллекта: гайд для начинающих - обзор бесплатных сервисов, доступных в России
• Что такое Large Language Models (LLM, Большие языковые модели)
• Что такое системный промпт и как модели делают инструктивными
• Что такое Базовые (предобученные модели), как их получают методом Self-supervised learning и какие основные риски есть у ИИ систем в долгосрочной перспективе
• Текущее состояние разработок в области Искусственного Интеллекта
• Промтинг для программирования - как писать промпты для написания кода
• Что такое функция Canvas в ChatGPT и как ею пользоваться

Продвинутые материалы

• Что такое рейтинг ELO для LLM и какая модель самая сильная?
• Подключаемся к любым LLM из России без VPN через OpenRouter.ai
• Делаем прокси балансировщик для подключения к LLM, чтобы клиенты не толкались и не получать отбивку от внешнего АПИ по лимитам
• LLM instruction tuning - инструктивное обучение
• Stanford Alpaca и Self-instruct - генерация синтетических текстовых инструкций
• Medprompt - Могут ли универсальные базовые модели превзойти специализированные только за счет промптинга? На примере медицины
• Законы масштабирования нейросетей - LLM и Chinchilla scaling laws

Профессиональные материалы

• Lamini Memory Tuning - Mixture of Memory Experts (MoME) (как научить модель запоминать конкретные факты)
• SeerAttention - динамические разреженное внимание для LLM (как победить квадратичноую сложность внимания для длинных последовательностей)