Блог практикующих ML и DS инженеров с уклоном в NLP. От простого до сложного.
Методические рекомендации по созданию ТЗ на разметку данных
Оглавление статьи
LM Studio (lmstudio)
Это настольное приложение для разработки и экспериментов с LLM (большими языковыми моделями) на вашем компьютере, разработанное lmstudio.ai
Основные функции:
Применение рейтинговой системы ELO для оценки языковых моделей (LLM)
Система ELO, изначально разработанная для шахмат, нашла применение и в области оценки больших языковых моделей (LLM). Этот подход позволяет сравнивать качество и способность нейросетевых архитектур решать пользовательские задачи...
Законы масштабирования больших языковых моделей - эмпирические законы оптимальности и вычислительного бюджета
В машинном обучении закон масштабирования нейронных сетей — это эмпирический (выявленный опытным путем) закон масштабирования, который описывает, как изменяется производительность нейронно...
Современные возможности искусственного интеллекта: гид для начинающих
Искусственный интеллект перестал быть технологией будущего – сегодня он активно используется в повседневных задачах, творчестве и профессиональной деятельности. Этот гайд поможет разобраться в многообразии современных ИИ-инструм...
LLM proxy с контролем лимитов по потокам и нагрузке
Написал небольшой минималистичный прокси-сервис обертку для подключения к Gigachat от Сбера https://github.com/mlnavigator/gigachat-proxy. Но в общем-то оно с минимальными усилиями переделывается в прокси с контролем для обращения к любому друг...
OpenRouter - что это? Как пользоваться и оплачивать в России
OpenRouter это сервис единого окна к различным поставщикам ИИ моделей - ChatGPT, Claude и др. Google не работает в России, у OpenAI тоже сложности с оплатой Российскими картами и нужен VPN для работы. LLAMA предоставляется в виде исходны...
Большие языковые модели - Large Language Models, LLM - что это?
Краткий вводный гайд без математики и программирования - если вы впервые слышите про это.
Бесплатно попробовать мощь искусственного интеллекта в России можно тут
А вообще - не надо говорить, надо пробовать.
Текущее состояние разработок в области Искусственного Интеллекта
По состоянию на 01.2025
TLDR
Stanford Alpaca и Self-instruct - генерация синтетических текстовых инструкций
Исходный код генерации обучающего датасета и обучения модели Alpaca находится по ссылке https://github.com/tatsu-lab/stanford_alpaca/
Все началось с затравок в количестве 175 штук. Это примеры инструктивных задач, г...
Medprompt - Могут ли универсальные базовые модели превзойти специализированные только за счет промптинга? На примере медицины
Краткий ответ:
- да могут
- few-shot на основе векторной близости входящего вопроса и примеров с ответами из базы
- примеры во few-shot с цепочками рассуждений
- синт...
Instruction tuning LLM - инструктивное обучение больших языковых моделей
Модели, следующие инструкциям, - это уровень искусственного интеллекта конца 2023 года. Первой такой широко нашумевшей моделью стала GPT-3.5, и далее ChatGPT, Claude, Bing Chat и др.
Сейчас в модели стали добавлять разные д...
Системные промпты, system prompt и их магия в ChatGpt и других языковых моделях
Системный промпт для LLM (Large Language Models — Больших языковых моделей) представляет собой руководящие инструкции или исходные данные, которые задаются модели, чтобы она могла генерировать ответы на запросы пользов...
Lamini Memory Tuning - Mixture of Memory Experts (MoME)
В отдельных кейсах Lamini Memory Tuning дает 95% точности ответов LLM, снижая количество галлюцинаций модели в 10 раз, по заявлениям команды продукта Lamini.
Кратко:
Lamini Memory Tuning — это новый метод интеграции фактов в языковые...
Промпты ChatGPT для программистов - как промтить для написания кода
Если вы хотите писать код с LLM (большими языковыми моделями) то не обязательно ставить себе IDE, специализированное API копилота и т.д.
Писать код умеет более-менее любая инструктивная LLM (Chat Gpt, Clode, Gigachat, LLAMA, Mi...
Базовая модель (Foundation model) - что это
Базовая модель (founfation model) представляет собой модель машинного обучения, которая обучена на огромных наборах данных, что позволяет ей освоить некоторые общие знания о мире, поэтому ее можно применять в широком круге более узких задач с небольшими...
SeerAttention - динамические разреженное внимание для LLM
Внимание является краеугольным камнем современных крупных языковых моделей (LLM). Однако его квадратичная сложность ограничивает эффективность и масштабируемость LLM, особенно для моделей с длинным контекстом. Перспективный подход, решающий...
Что такое функция Canvas в ChatGPT и как ею пользоваться?
Ваш умный редактор текста и кода. Функция Canvas — это новый интерфейс в ChatGPT, предназначенный для работы над текстовыми и кодовыми проектами, требующими редактирования и доработки.
На декабрь 2024 года канвас доступен в веб-версии и...