Это настольное приложение для разработки и экспериментов с LLM (большими языковыми моделями) на вашем компьютере, разработанное lmstudio.ai
Основные функции:
Перейдите на страницу загрузки https://lmstudio.ai/download и скачайте установщик для вашей операционной системы.
Сайт, документация и скачивание самой lmstudio могут быть не доступны в России. В таком случае используйте VPN.
LM Studio доступен для macOS, Windows и Linux.
Системные требования
LM Studio поддерживает компьютеры с Apple Silicon (Mac), x64/ARM64 на Windows и x64 на Linux.
Для получения более подробной информации ознакомьтесь со страницей системных требований.
Запуск llama.cpp (GGUF) или MLX моделей
LM Studio поддерживает запуск LLM на Mac, Windows и Linux с использованием llama.cpp. На компьютерах Apple Silicon также доступна поддержка моделей через MLX от Apple.
Чтобы установить или управлять LM Runtimes, нажмите ⌘ Shift R на Mac или Ctrl Shift R на Windows/Linux.
Запуск LLM, таких как Llama 3.2, на вашем компьютере
Для запуска LLM на вашем компьютере сначала нужно получить файл модели. Вы можете скачать его прямо из LM Studio. Для этого ознакомьтесь с разделом "Основы > Загрузка LLM".
Экспериментируйте!
LLM — это новая область инженерии и практики. Специалистов в этой сфере пока мало, поэтому ценен практический опыт. Экспериментируйте, чтобы развить интуицию и лучше понять, как работают модели.
Минимальные системные требования для работы с LM Studio на декабрь 2024.
macOS
Чип: Apple Silicon (M1/M2/M3/M4).
Требуемая версия macOS: 13.4 или новее.
Для моделей MLX требуется macOS 14.0 или новее.
Рекомендуемая память: 16 ГБ и больше.
На Mac с 8 ГБ ОЗУ LM Studio также может работать, но рекомендуется использовать более компактные модели и умеренные размеры контекста.
Mac на базе Intel: в настоящее время не поддерживаются. Если вам это важно, напишите об этом здесь.Windows
LM Studio поддерживается на системах с архитектурами x64 и ARM (Snapdragon X Elite).
Процессор: требуется поддержка набора инструкций AVX2 (для x64).
Оперативная память: LLM требует значительных ресурсов. Рекомендуется не менее 16 ГБ ОЗУ.Linux
LM Studio для Linux распространяется в формате AppImage.
Требуемая версия: Ubuntu 20.04 или новее.
Поддерживаются только x64, архитектура aarch64 пока не поддерживается.
Версии Ubuntu старше 22 протестированы слабо.
Процессор:
LM Studio поставляется с поддержкой AVX2 по умолчанию.Вы можете искать модели по ключевым словам (например, llama, gemma, lmstudio) или указать конкретную строку в формате пользователь/модель. Также можно вставить полные URL-адреса Hugging Face в строку поиска!
Совет: вы можете перейти на вкладку "Discover" из любого места, нажав ⌘ + 2 на Mac или Ctrl + 2 на Windows/Linux.
Какой вариант загрузки выбрать?
Часто для одной и той же модели вы увидите несколько вариантов с названиями вроде Q3_K_S, Q_8 и т. д. Все эти варианты представляют одну и ту же модель, но с разной степенью точности. Буква "Q" обозначает технику, называемую "квантованием" (Quantization), которая позволяет сжимать файлы модели, жертвуя частью качества.
Выберите вариант с 4-битным или более высоким уровнем, если ваш компьютер достаточно мощный для его работы.
Документация для работы с LM Studio на английском https://lmstudio.ai/docs.
Сайт, документация и скачивание самой lmstudio могут быть не доступны в России. В таком случае используйте VPN.
Если у вас не загружаются модели
Если у вас не загружаются модели и выдается что-то в духе
Не удалось загрузить модель Error loading model. (Exit code: 18446744072635812000). Unknown error. Try a different model and/or config.
То с большой вероятностью у вас в runtime стоит CUDA (видеокарта) и либо ваша видеокарта не поддерживает CUDA или в ней не хватает места для размещения модели.
Выберите другой тип runtime, например CPU (процессор).
Как гуглить ошибку
Включите вывод логов