LM Studio (lmstudio)

Это настольное приложение для разработки и экспериментов с LLM (большими языковыми моделями) на вашем компьютере, разработанное lmstudio.ai

Основные функции:

  • Настольное приложение для работы с локальными LLM.
  • Привычный интерфейс чата.
  • Функции поиска и загрузки моделей (через Hugging Face 🤗).
  • Локальный сервер, способный работать с API endpoints, подобными OpenAI.
  • Системы для управления локальными моделями и конфигурациями.

Как установить LM Studio?

Перейдите на страницу загрузки https://lmstudio.ai/download и скачайте установщик для вашей операционной системы.

Сайт, документация и скачивание самой lmstudio могут быть не доступны в России. В таком случае используйте VPN.

LM Studio доступен для macOS, Windows и Linux.

Системные требования

LM Studio поддерживает компьютеры с Apple Silicon (Mac), x64/ARM64 на Windows и x64 на Linux.

Для получения более подробной информации ознакомьтесь со страницей системных требований.

Запуск llama.cpp (GGUF) или MLX моделей

LM Studio поддерживает запуск LLM на Mac, Windows и Linux с использованием llama.cpp. На компьютерах Apple Silicon также доступна поддержка моделей через MLX от Apple.

Чтобы установить или управлять LM Runtimes, нажмите ⌘ Shift R на Mac или Ctrl Shift R на Windows/Linux.

Запуск LLM, таких как Llama 3.2, на вашем компьютере

Для запуска LLM на вашем компьютере сначала нужно получить файл модели. Вы можете скачать его прямо из LM Studio. Для этого ознакомьтесь с разделом "Основы > Загрузка LLM".

Экспериментируйте!

LLM — это новая область инженерии и практики. Специалистов в этой сфере пока мало, поэтому ценен практический опыт. Экспериментируйте, чтобы развить интуицию и лучше понять, как работают модели.

Системные требования

Минимальные системные требования для работы с LM Studio на декабрь 2024.

macOS

Чип: Apple Silicon (M1/M2/M3/M4).
Требуемая версия macOS: 13.4 или новее.
    Для моделей MLX требуется macOS 14.0 или новее.
Рекомендуемая память: 16 ГБ и больше.
    На Mac с 8 ГБ ОЗУ LM Studio также может работать, но рекомендуется использовать более компактные модели и умеренные размеры контекста.
Mac на базе Intel: в настоящее время не поддерживаются. Если вам это важно, напишите об этом здесь.

Windows

LM Studio поддерживается на системах с архитектурами x64 и ARM (Snapdragon X Elite).

Процессор: требуется поддержка набора инструкций AVX2 (для x64).
Оперативная память: LLM требует значительных ресурсов. Рекомендуется не менее 16 ГБ ОЗУ.

Linux

LM Studio для Linux распространяется в формате AppImage.
Требуемая версия: Ubuntu 20.04 или новее.
Поддерживаются только x64, архитектура aarch64 пока не поддерживается.
Версии Ubuntu старше 22 протестированы слабо.
Процессор:
    LM Studio поставляется с поддержкой AVX2 по умолчанию.

Поиск моделей

Вы можете искать модели по ключевым словам (например, llama, gemma, lmstudio) или указать конкретную строку в формате пользователь/модель. Также можно вставить полные URL-адреса Hugging Face в строку поиска!

Совет: вы можете перейти на вкладку "Discover" из любого места, нажав ⌘ + 2 на Mac или Ctrl + 2 на Windows/Linux.

Какой вариант загрузки выбрать?

Часто для одной и той же модели вы увидите несколько вариантов с названиями вроде Q3_K_S, Q_8 и т. д. Все эти варианты представляют одну и ту же модель, но с разной степенью точности. Буква "Q" обозначает технику, называемую "квантованием" (Quantization), которая позволяет сжимать файлы модели, жертвуя частью качества.

Выберите вариант с 4-битным или более высоким уровнем, если ваш компьютер достаточно мощный для его работы.

Документация для работы с LM Studio на английском https://lmstudio.ai/docs.

Сайт, документация и скачивание самой lmstudio могут быть не доступны в России. В таком случае используйте VPN.

Решение проблем с ошибками

Если у вас не загружаются модели

Если у вас не загружаются модели и выдается что-то в духе

Не удалось загрузить модель Error loading model. (Exit code: 18446744072635812000). Unknown error. Try a different model and/or config.

То с большой вероятностью у вас в runtime стоит CUDA (видеокарта) и либо ваша видеокарта не поддерживает CUDA или в ней не хватает места для размещения модели.

Выберите другой тип runtime, например CPU (процессор).

Как гуглить ошибку

Включите вывод логов

  • Включите вывод логов: Developer -> server settings -> verbose logging
  • Откройте окно с логами: ctrl + shift + J
  • Выполните дейстивя которые не корректно работают
  • по ошибке из логов гуглите ее решение