Базовая модель (Foundation model) - что это

Базовая модель (founfation model) представляет собой модель машинного обучения, которая обучена на огромных наборах данных, что позволяет ей освоить некоторые общие знания о мире, поэтому ее можно применять в широком круге более узких задач с небольшими затратами на дообучение или без дообучения. Если говорить очень просто, базовые модели - это тушки из которых потом получаются прикладные ИИ модели.

Создание базовых моделей часто требует больших ресурсов и доступно в основном большим технологическим компаниями.

На современном этапе развития обучение мощных базовых моделей стоит сотни миллионов долларов, которые тратятся на:

  • сбор и обработку огромных наборов обучающих данных,
  • приобретение прав на эксклюзивные данные,
  • вычислительные мощности для обучения,
  • умных дорогих инженеров и менеджеров, которые все это сопровождают.

Но фактор вычислительных мощностей тут основной. Эти затраты обусловлены потребностью в большом объеме данных и вычислений для обучения моделей. Для обучения современных моделей, построенных на глубоких нейросетях, требуется специфичное оборудование - графические процессоры в сотнях и тысячах штук.

Напротив, адаптация уже обученной базовой модели для конкретной задачи обходится гораздо дешевле, поскольку она использует уже предварительно обученную модель, которая уже видела много данных и содержит в себе часть отношений реального мира и в том числе касающихся задачи, для которой происходит адаптация.

Например, чтобы решать задачу классификации текстов на токсичность (говорят гадости в тексте или нет) или на тональность (ругают в тексте что-то или хвалят) некоторые современные базовые модели LLM и вовсе не нужно дообучать, они уже могут решать такого типа задачи, хотя специально этому не учились.

LLM видели настолько много текстов, что подбор промпта с несколькими примерами уже объясняет модели что от нее хотят и она начинает решать нужную вам задачу.

Поэтому для того чтобы объяснить модели, что от нее требуют в конкретной задаче требуется гораздо меньше данных. Например базовую модель могли обучать на данных порядка нескольких триллионов обучающих примеров (как в случает языковых моделей LLM). Тогда как для обучения на конкретную задачу может понадобиться от нескольких примеров в промпте до нескольких десятков тысяч обучающих примеров для этапа дообучения на конктетную задачу.

А собрать несколько десятков или сотен примеров уже по силам почти каждому.

Примерами базовых моделей являются большие языковые модели (LLM), такие как серия GPT от OpenAI и BERT от Google. Помимо текста, были разработаны базовые модели в различных модальностях (изображения, звук и др.)  — включая DALL-E и Flamingo для изображений, MusicGen для музыки и RT-2 для управления роботами и другие. Базовые модели также разрабатываются для таких областей, как астрономия, радиология, геномика, музыка, программирование, прогнозирование временных рядов, математика, и химия.

Если упростить, то для получения базовой модели сегодня достаточно:

  • собрать несколько миллионов (а лучше больше) обучающих примеров
  • обучить модель на этих неразмеченных данных в self-supervised подходе
  • запастись множеством денег на покупку или аренду десятков или сотен (или тысяч) видеокарт для процесса вычислений.

Причем тут видеокарты?

Видеочипы - это специализированные процессоры для параллельных математических вычислений. Можно параллельно выполнять несколько десятков или сотен тысяч операций сложения и умножения на одном чипе видеокарты. Обычные компьютерные процессоры так не умеют, т.к. они спроектированы для выполнения последовательных операций. Так сложилось, что для расчета графики в видеоиграх и для обучения нейросетей используется одинаковая математика и спасибо индустрии видеоигр, что стимулировала развитие параллельных вычислений, которые сейчас и позволяют обучать нейросети и содавать ИИ системы.

Определение Foundation model

Центр исследований фундаментальных моделей (CRFM) Stanford Institute for Human-Centered Artificial Intelligence's (HAI) , ввел термин «foundation model» в августе 2021 года чтобы обозначить «любую модель, обученную на большом наборе данных (обычно с использованием техники self-supervised), которую можно адаптировать (например, доучить) для решения широкого спектра прикладных задач». Это было основано на их наблюдении, что существующие ранее термины, хотя и перекрывались, были недостаточными, например, термин «большая языковая модель» фокусируется не только на языке; термин «self-supervised модель» фокусируется на процессе обучения; а термин «предобученная модель» предполагает, что все заслуживающие внимания действия происходят после «предварительного обучения». Термин «foundation model» был выбран вместо «foundational model» потому что «foundational» - "основной" подразумевает, что эти модели предоставляют основные принципы, тогда как термин «foundation» - "основа, база, фундамент" этого не делает.

История

С технологической точки зрения базовые модели создаются с использованием устоявшихся методов машинного обучения, таких как глубокие нейронные сети, Transfer-learning и self-supervised learning. Базовые модели отличаются от предыдущих моделей тем, что они представляют собой универсальные модели, функционирующие как многоразовая инфраструктура, а не индивидуальные и одноразовые модели, предназначенные для решения конкретных задач.

Достижения в области параллелизма вычислений (графические процессоры CUDA ) и новые разработки в архитектуре нейронных сетей (архитектура Transformers), а также более широкая доступность обучающих данных (спасибо Интернету) — все это способствовало возможности создания мощных базовых моделей. Базовые модели начали появляться с развитием техник и архитектур глубокого обучения в конце 2010-х годов, например в сфере NLP - обработки естественного языка. По сравнению с большинством предыдущих работ по глубокому обучению эти языковые модели продемонстрировали потенциал обучения на гораздо больших наборах данных из веб-источников с использованием self-supervised подхода (например, предсказание следующего слова в большом корпусе текста). Эти подходы, основанные на более ранних работах, таких как word2vec и GloVe, отличаются от предыдущих контролируемых подходов, которые требовали аннотированных данных (например, меток классов для текстов, полученных с помощью краудсорсинга).

Выпуски Stable Diffusion и ChatGPT в 2022 году (первоначально работавшие на основе модели GPT-3.5) привели к тому, что базовые модели и генеративный ИИ стали предметом широкого общественного обсуждения. Кроме того, выпуски LLaMA, Llama 2 и Mistral в 2023 году способствовали тому, что больше внимания уделялось тому, как выпускаются базовые модели, при этом открытые базовые модели получили большую поддержку и пристальное внимание общества.

Self-supervised learning

Self-supervised обучение: ключ к мощным "foundation" моделям. В последние годы в машинном обучении появился новый революционный подход — self-supervised learning (SSL), или "самостоятельное обучение", "самообучение". Этот метод стал основой для создания "foundation models" — универсальных моделей, которые могут решать широкий спектр задач, таких как перевод текста, анализ изображений или программирование.

Что такое self-supervised обучение?

Представьте, что вы хотите научить машину решать сложные задачи, но не хотите тратить месяцы на создание огромной базы данных, где каждый пример вручную размечен (например, какие на изображении животные или какие эмоции передаются в тексте). Вместо этого вы используете уже доступные данные и строите задачу, в которой сама структура данных используется как источник разметки.

Пример: возьмём текстовую строку:

"Машинное обучение меняет мир к лучшему."

Мы можем взять часть этой строки, например, слово "лучшему", и попросить модель угадать его, основываясь на оставшейся части текста:

"Машинное обучение меняет мир к ____."

Этот процесс — пример self-supervised задачи: модель учится предсказывать скрытые или недостающие части данных на основе других частей. Здесь не нужно вручную размечать данные, потому что сама структура текста создаёт задачи.

Как это работает в практике?

Создание псевдоразметки:

Вместо ручной разметки данных с помощью людей мы используем алгоритмы, чтобы автоматически создавать задачи. Например:

  • В текстах — удаляем слова или фразы, а модель пытается их восстановить.
  • В изображениях — прячем части изображения или меняем их ориентацию, а модель учится восстанавливать исходное состояние.

Универсальность данных:

Поскольку мы не ограничены одной конкретной задачей (например, классификацией объектов или предсказанием тональности текста), self-supervised обучение позволяет модели "понять" общую структуру данных. Это делает её более универсальной.

Почему self-supervised обучение так эффективно?

  • Масштабируемость: Данные без ручной разметки гораздо легче собирать в огромных масштабах. Например, в Интернете полно текстов, изображений, видео и звуков, которые можно скачать и после небольшой очистки использовать для обучения.

  • Общая основа для разных задач: После self-supervised обучения модель становится "фундаментальной, базовой" (foundation model). Она уже обладает обширными знаниями, которые можно адаптировать под конкретные задачи (например, распознавание лиц или перевод текста). Это похоже на то, как человек с общими знаниями может быстро освоить новые навыки.

  • Результаты на уровне человека (или лучше): Современные foundation-модели, такие как GPT или CLIP, достигают результатов уровня человека в некоторых задачах, где требуется понимание контекста, логики или визуального анализа.

Примеры self-supervised обучения

Языковые модели: GPT (включая OpenAI GPT) обучаются на огромных объемах текстов, предсказывая следующую часть текста или заполняя пропуски.

Пример:
Вход: "Космос — это ____."
Задача: Предсказать слово "безграничный".

Модели для изображений: DINO или MAE обучаются на изображениях, заполняя скрытые участки или классифицируя иерархию объектов.

Пример:
Вход: Изображение с замазанным фрагментом.
Задача: Восстановить скрытый фрагмент.

Мультимодальные модели: CLIP обучается, сопоставляя текст и изображения, связывая описание ("собака на пляже") с визуальной картинкой собаки на пляже.

Self-supervised подходы активно применяются в различных типах данных: текстах, изображениях, видео, звуке и даже графах или временных рядах. Ниже приведены конкретные примеры для каждой модальности, чтобы показать, как универсально и гибко используется этот метод.

Self-supervised подходы для текста

Языковые данные — одна из первых областей, где self-supervised обучение добилось успеха.

Техники:

Masked Language Modeling (MLM): Используется в BERT. Берем миллионы текстов - все страницы википедии, научные статьи, тысячи художественных книг. Извлекаем тексты. Разбиваем тексты на абзацы. Далее некоторые слова в предложении заменяются маской ([MASK]), и модель обучается их предсказывать глядя на текст абзаца или предложения с маскированными словами.

Пример:
Вход: "Машинное обучение [MASK] мир."
Цель: предсказать слово "меняет".

Causal Language Modeling: Используется в GPT. Модель предсказывает следующее слово в последовательности.

Пример:
Вход: "Космос — это".
Цель: предсказать "безграничный".

Next Sentence Prediction (NSP): Тоже в BERT. Модель учится определять, является ли одно предложение логическим продолжением другого.

Пример:
    Вход:
        "Я пошёл в магазин."
        "Купил хлеб."
    Цель: Определить, что второе предложение связано с первым.

Text Infilling: Удаляются случайные части текста (несколько подряд идущих слов), а модель должна их восстановить.

Sentence Shuffling: Предложения в тексте перемешиваются, и модель обучается восстанавливать правильный порядок.

Self-supervised подходы для изображений

Изображения содержат пространственные и цветовые паттерны, которые можно использовать для self-supervised задач.

Техники:

Masked Image Modeling (MIM): Аналогично MLM для текста, применяется в Vision Transformer (ViT) и MAE. Часть изображения скрывается (например, заполняется шумом или замазывается), и модель обучается восстанавливать недостающие пиксели.

Rotation Prediction: Используется в задачах вроде RotNet. Изображение случайно поворачивается (на 0°, 90°, 180° или 270°), и модель обучается предсказывать угол поворота.

Contrastive Learning: Например, SimCLR или MoCo. Два преобразования одного изображения (например, обрезка, изменение цвета) считаются "позитивной парой", а различные изображения — "негативными". Модель обучается сближать представления позитивных пар и отдалять негативные.

Colorization: Модель получает черно-белое изображение и должна предсказать исходные цвета.

Clustering Features: В DeepCluster изображения автоматически группируются в кластеры (группы похожих) классическими методами машинного обучения, а полученные группы затем используются для обучения нейронной сети.

Self-supervised подходы для видео

Видеоданные имеют временные и пространственные зависимости, что открывает новые self-supervised подходы.

Техники:

Frame Prediction: Модель предсказывает следующий кадр или заполняет пропуски между кадрами.

Temporal Order Prediction: Кадры из видео перемешиваются, и модель обучается восстанавливать их правильный порядок.

Contrastive Video Learning: Два разных сегмента одного видео считаются "позитивной парой", а сегменты из разных видео — "негативными".

Audio-Visual Correspondence: Используется в видеороликах с звуком. Модель определяет, соответствует ли звук изображению на экране.

Action Prediction: Модель обучается угадывать действие, которое происходит в скрытом промежутке между кадрами.

Self-supervised подходы для звука

Аудиоданные имеют временные закономерности, которые используются для self-supervised задач.

Техники:

Masked Acoustic Modeling: Аналогично MLM для текста. Часть аудиосигнала скрывается, и модель предсказывает недостающие части.

Contrastive Predictive Coding (CPC): Модель пытается предсказать будущие части аудиосигнала на основе текущего контекста.

Audio Inpainting: Модель заполняет "дыры" в аудиофайле, восстанавливая пропущенные звуки. При этом мы знаем эталонное значение, что модель должна предсказать.

Audio-Visual Alignment: В задачах синхронизации звука и видео модель обучается определять, соответствует ли звук происходящему на экране.

Self-supervised подходы для графов

Графовые структуры используются в биологии, социальных сетях и других областях.

Техники:

Node Masking: Узлы в графе скрываются, и модель обучается предсказывать их свойства.

Edge Prediction: Модель предсказывает наличие или вес связи между двумя узлами.

Subgraph Prediction: Модель обучается восстанавливать недостающую часть графа. Которую мы модели не показали.

Self-supervised подходы для временных рядов

Применяются в финансовых данных, климатологии и здравоохранении.

Техники:

Time Gap Prediction: Модель пытается предсказать, какой временной интервал пропущен между двумя точками.

Trend Prediction: Модель обучается предсказывать будущий тренд на основе текущих данных. (Мы сами не показали будущие данные модели, у нас они уже есть)

Temporal Masking: Некоторый участок временного ряда скрывается, и модель обучается его восстанавливать.

Self-supervised подходы для мультимодальных данных

Мультимодальные задачи объединяют разные типы данных (например, текст и изображение).

Техники:

Image-Text Matching: Используется в CLIP. Модель обучается определять, соответствует ли описание изображению.

Audio-Text Alignment: В задачах синхронизации речи и текста модель обучается выравнивать текстовые транскрипции с аудио.

Video-Text Matching: Модель обучается сопоставлять описание с соответствующим видеороликом.

Self-supervised - или "самообучение" применимо почти ко всем основным типам данных. Основная мысль тут в том, чтобы зная исходный пример как-то его "испортить" - что-то изменить, спрятать часть, перемешать части примера и зная как оно должно быть в этом примере на самом деле - заставить модель восстановить известные нам данные, или их порядок, или известное нам значение.

Далее дело техники - собираем много данных из Интернета. Автоматически делаем разметку для обучения, случайым образом зашумляя примеры в разных местах или во всех доступных местах по очереди.

Загружаем эту "самообучающую разметку" на много видеокарт. Тратим N миллионов долларов на вычисления. Базовая модель готова. Ее после этого можно использовать как заготовку ИИ систем, дообучая на конкетную прикладную задачу имея уже всего несколько сотен или тысяч целевых примеров.

Эти подходы помогают моделям обучаться на необработанных или неразмеченных данных, извлекая полезные представления. Универсальность и эффективность self-supervised методов делают их важным инструментом для создания современных AI-систем.

Self-supervised обучение — это мощный инструмент, который меняет способ создания интеллектуальных систем. Оно позволяет моделям учиться, используя огромные объемы доступных данных, без необходимости ручной разметки. Именно благодаря SSL мы получили foundation-модели, которые становятся универсальными инструментами для науки, бизнеса и творчества. В будущем такие подходы помогут нам создавать ещё более умные и адаптивные системы, которые будут учиться почти так же, как человек.

В настоящее время архитектура Transformer является фактически архитектурой выбора для построения базовых моделей в различных модальностях.

В чем тут основная проблема уже сейчас - почти весь Интернет уже скачали и моделям показали или покажут в ближайшее время.

Но где брать данные дальше? Ответ тоже уже придуман. И он в следующем. На основе базовых моделей текущего поколения обучаются специфичные модели генераторы контента и специфичные модели оценщики качества контента. Например OpenAI сделала модель o1 - специализирующуюся на рассуждениях. И этой моделью уже создают новые текстовые данные для создания примеров решения задач и подготовки обучающих данных для новых более мощных моделей. Также множество обучающих данных компании попроще чем OpenAI создали с помощью других доступных сообществу моделей, в том числе на основе ChatGPT. Т.е. модели будут готовить и отбирать лучшие данные для обучения следующих более умных моделей.

Буквально на днях глава Open AI Сэм Альтман написал, что OpenAI уверена, что знает, как создать AGI (сильный искусственный интеллект, способный заменить человека), и ожидает увидеть первых агентов ИИ в составе рабочей силы в 2025 году, что существенно повлияет на производительность компаний. Долгосрочная цель OpenAI — разработать сверхинтеллектуальные инструменты, которые могут значительно ускорить научные открытия и инновации, быть использованы в повседневной деятельности компаний.

Frontier models (пограничные передовые модели) и связанные с ними опасности и риски

Некоторые наиболее мощные базовые модели называются «frontier models» - пограничными передовыми моделями, которые потенциально могут «обладать опасными возможностями, достаточными для того, чтобы представлять серьезную угрозу общественной безопасности». Эти «опасные возможности» возникают в результате случайного или преднамеренного неправильного использования таких моделей, что в сочетании с их мощными возможностями может привести к серьезному вреду. Поскольку базовые модели продолжают совершенствоваться, некоторые исследователи ИИ предполагают, что почти все базовые модели следующего поколения будут считаться пограничными передовыми моделями.

Поскольку концепция опасных возможностей по своей сути субъективна, не существует строгого определения того, какие базовые модели можно отнести к пограничным моделям. Однако некоторые общепринятые идеи относительно достаточно опасных возможностей включают в себя:

  • Разработка и синтез нового биологического или химического оружия
  • Производство и распространение убедительной, специально подобранной дезинформации с возможностью персонализации и адаптации для конкретных пользователей
  • Использование мощных наступательных кибервозможностей
  • Уклонение от человеческого контроля с помощью обмана

Из-за уникальных возможностей пограничных моделей сложно эффективно регулировать их разработку и внедрение. В силу своей эмерджентной природы новые опасные возможности могут появляться сами по себе в пограничных моделях как на этапе разработки, так и на этапе использования в прикладных задачах. Кроме того, поскольку пограничные модели продолжают доучиваться для конкретных задач и адаптируются на стадии использования к конкретной среде исполнения, то сложно предсказать и устранить весь потенциальный вред только на этапе предобучения базовой модели.

Эмерджетность (от английского emergent «возникающий, неожиданно появляющийся») - наличие у системы свойств, не присущих её компонентам по отдельности; несводимость свойств системы к сумме свойств её компонентов.

Также если пограничная модель имеет открытый исходный код и размещена в Интернете, она может быстро распространяться, что еще больше затрудняет работу регулирующих органов, создавая отсутствие подотчетности при дообучении и использовании модели.

Дальше прежде чем обсудить детальнее риски развития базовых моделей, приведу пару абзацев нудным юридическим языком, чтобы показать как об этом мыслят законодатели. Можете это перескочить.

Благодаря своей адаптивности к широкому спектру вариантов использования базовые модели иногда рассматриваются как примеры ИИ общего назначения. При разработке Закона ЕС об искусственном интеллекте Европейский парламент заявил, что новая волна технологий искусственного интеллекта общего назначения формирует общую экосистему искусственного интеллекта. Более полная структура экосистемы, в дополнение к свойствам конкретных систем ИИ общего назначения, влияет на разработку политики и исследований в области ИИ. Системы искусственного интеллекта общего назначения также часто появляются в повседневной жизни людей посредством таких приложений и инструментов, как ChatGPT или DALL-E .

Правительственные учреждения, такие как парламент ЕС, определили регулирование ИИ общего назначения, например, базовых моделей, как высокоприоритетную задачу. Системы искусственного интеллекта общего назначения часто характеризуются большими размерами, непрозрачностью и потенциалом эмерджентности, что может привести к непреднамеренному вреду. Подобные системы также оказывают сильное влияние на последующие приложения, что еще больше усугубляет необходимость регулирования. Что касается важного законодательства, ряд заинтересованных сторон настаивали на том, чтобы Закон ЕС об искусственном интеллекте включал ограничения на системы искусственного интеллекта общего назначения, которые также распространялись бы на базовые модели.

Подробнее смотрите на https://en.wikipedia.org/wiki/Foundation_model

В США и ЕС уже создается правовая база, для регулирования "foundation models".

  • В Соединенных Штатах Указ о безопасной, надежной и заслуживающей доверия разработке и использовании искусственного интеллекта определяет базовую модель как «модель ИИ, которая обучается на обширных данных; как правило, использует self-supervise learning ; содержит не менее десятков миллиардов параметров; применима в широком диапазоне контекстов». - В Соединенных Штатах предложенный в 2023 году Закон о прозрачности модели AI Foundation определяет базовую модель как «модель искусственного интеллекта, обученную на обширных данных, обычно использующую self-supervise learning, обычно содержащую не менее 1 000 000 000 (1 миллиард) параметров, применимую в широком диапазоне контекстов и демонстрирующую или легко модифицируемую для демонстрации высокого уровня производительности при выполнении задач, которые могут представлять серьезную угрозу безопасности, национальной экономической безопасности, национальному общественному здоровью или безопасности или любой комбинации этих вопросов».

  • В Европейском союзе согласованная позиция Европейского парламента по Закону ЕС об искусственном интеллекте определяет базовую модель как «модель искусственного интеллекта, которая обучается на обширных данных, предназначена для получения универсального результата и может быть адаптирована для широкого спектра различных задач».

  • В Великобритании в первоначальном отчете Управления по конкуренции и рынкам «Базовые модели ИИ» базовая модель определяется как «тип технологии ИИ, которая обучается на огромных объемах данных и может быть адаптирована к широкому спектру задач и операций».

  • В России некоторые шевеления на тему использования и регулирования применения ИИ тоже есть. Но до базовых моделей, пока не добрались. У нас пока больше смотрят на конкретику - медицину, бесплилотный транспорт и др.

Основные риски развития ИИ

Так почему нужно регулировать ИИ и базовые модели в частности? Потому что если это совсем не контролировать, то это несет риски. Точно также как надо контролировать другие опасные технологии, например химию (вещества могут отравить или взорваться) или электричество (оно вполне может убить того кто не умеет с ним обращаться), автотранспорные средства - все это технологии и средства расширяющие наши возможности, но несущие опасность при неправильном и бесконтрольном применении.

Поэтому перечислю некоторые фундаментальные риски ИИ, которые могут реализоваться с повышением мощности базовых моделей и как следствие мощности построенных на них систем.

  1. Социальные и экономические риски:

    • Замещение рабочих мест: ИИ и автоматизация могут заменить множество рабочих мест, что приведёт к массовой безработице и поляризации доходов. Например, роботы могут взять на себя функции, выполняемые людьми в производственной сфере, логистике и даже в некоторых услугах.
  2. Этические риски:

    • Предвзятость и дискриминация: Базовые модели построены на огромном не модерированном наборе данных. И если в среднем по Интернету бытуем мнение что "водитель - мужская профессия" или "программист - это мужчина" и подобное, то и базовые модели в своей картине мира сохранили все эти стереотипы и построенные на них ИИ системы будут неосознанно повторять и усиливать человеческие предубеждения, что всполне может привести к дискриминации людей. Особенно чувстивтельно это будет в таких сферах, как оценка кредитоспособности, найм или правосудие - а это как раз первейшие кандидаты на автоматизацию.
    • Прозрачность и ответственность: Решения, принятые ИИ, часто могут быть непрозрачными. Базовая модель - это огромный черный ящик. И что там у нее "в мозгах" - никто толком не знает. Например, если система машинного обучения принимает решение о выдаче кредита, в большинстве случаев трудно понять, почему она отказала какому-либо конкретному лицу.
    • Ошибочные предсказания: Вопреки их мощи, foundation models могут генерировать искаженную или ложную информацию по причине недостатков как в обучающих данных так и в самих алгоритмах.
  3. Безопасность и конфиденциальность:

    • Кибербезопасность: ИИ может быть использован для создания более мощных кибератак или защиты от них. Это означает, что возможно возникновение новых угроз как для отдельных людей, так и целых стран.
    • Сбор данных: Чтобы ИИ работал эффективно, он требует больших объёмов данных. Это вызывает вопросы о защите и конфиденциальности собранной информации -вы же не хотите, чтобы корпорации обучали свои модели на вашей переписке, персональных данных и всем прочем что корпрорациям доступно о вас. И также это вопрос об авторских правах. Если модель обучилась на работах конкретного художника, то она сможет потом бесконечно и очень быстро создавать работы в стиле этого художника.
    • Физическая безопасность: Foundation models могут найти применение в робототехнике и автономных системах, и если они работают ненадежно, это может привести к физическим рискам для людей.
    • Злоупотребление дипфейком: Технология дипфейка позволяет создавать поддельные видеоролики или изображения, что может использоваться для шантажа, дезинформации или клеветы. Или копировать биометрию человека.
  4. Технологические риски:

    • Проблемы с надежностью и безопасностью: Если ИИ-система функционирует неправильно, это может привести к авариям. Пример: авария с участием автономного автомобиля, спровоцированная сбоем работы системы.
    • Открытое распространение и злоупотребление: Есть риск, что информационные технологии ИИ могут попасть в руки людей с недобрыми намерениями. Например, ИИ может быть использован в целях создания оружия. И конечно первыми ИИ системы используют мошенники и преступники. Они смогут подделывать голоса людей, их биометрию, писать тексты писем или диалогов, основываясь на персональной информации человека.

      Например, уже сейчас если на вашей странице в соц сети есть ваш емейл, то можно показать модели содержимое вашей страницы соц сети и попросить написать релевантное для вас письмо - то что соответствует вашим интересам. А как целевое действие подставить ссылку которая будет вести на зараженный сайт. Даже фейковый сайт персонально под ваши интересы модель изобразит. И если раньше такая персонализация "вручную" была невозможна из-за трудозатрат. Сейчас это делается за секунды. И такой спам и фрод уже используется.

      А теперь представьте, что если к этому добавить сообщение с голосом знакомого вам человека? Современные базовые модели и построенные на них системы позволяют скопировать голос по нескольким секундам записанной речи, а сделать видео аватар с лицом человека по нескольким фотографиям.
    • Распространение фейковой информации: Большие модели могут быть использованы для массового автоматического создания ложных новостей или дезинформации. ИИ может быть использован для создания и распространения политической пропаганды.
  5. Регулирование и правительство:

    • Контроль над разработкой и применением: Регулирование необходимо для обеспечения того, чтобы ИИ использовался в интересах общества и с соблюдением этических стандартов. Правительство должно разрабатывать и поддерживать стандарты разработки и внедрения ИИ, включая аспекты безопасности, этики, прозрачности и защиты данных.

    • Обеспечение справедливости в доступе: Государственная политика должна направляться на то, чтобы гарантировать справедливое распределение выгод от ИИ и минимизацию негативных социальных последствий. Т.к. сделать базовые модели по силам только богатым и технологичным корпорациям, надо заставить их делиться, чтобы эти технологии не использовались как монопольное преимущество и не использовались только для наживы богатых, а улучшали жизнь общества в целом. Эти технологии надо предоставлять и небольшим и средним компаниям, чтобы поддерживать общую экономическую систему и конкуренцию в экономике.

    • Правовые аспекты: В случае ошибок и неприятностей возникают вопросы о юридической ответственности: кто несёт ответственность за ошибки, совершённые ИИ?

    • Экологические риски и высокое энергопотребление: Тренировка и эксплуатация больших моделей требуют значительных вычислительных ресурсов, что приводит к высокому энергопотреблению. Уже сейчас под такие модели в США планирую строить атомные электростанции, а в странах где нет атомной энергии будут жечь топливо - загрязняя природу и увеличивая углеродный след, а также потребляя мощности электро-генерации.

    • Барьеры доступа: Неравномерное распространение плюсов ИИ и доступа к ним может углубить социальное неравенство между развитыми и развивающимися странами, между городскими и сельскими регионами.

  6. Экзистенциальные риски

    • Экзистенциальный риск: Постепенное усовершенствование ИИ может привести к возникновению технологий, которые потенциально могут быть угрожающими для человечества, если будут использованы не по назначению или выйдут из-под контроля. Если ИИ достигнет уровня, значительно превосходящего человеческий интеллект, он может стать неконтролируемым и совершать действия, противоречащие интересам человечества. Поведение сверхинтеллектуальных систем может быть непредсказуемым, так как такие системы могут работать по логике, которую люди не понимают в полной мере, что значительно усложняет обеспечение безопасности.

    • Проблемы согласованности целей: Есть риск того, что ИИ-системы могут действовать в соответствии с алгоритмическими целями, которые не соответствуют человеческим интересам, особенно если эти цели весьма узко специфицированы. Уже сейчас моделирование показывает, что ИИ системы могут принимать неприемлемые для человека решения на промежуточных этапах, чтобы прийти к поставленной ей человеком "благой цели". Например военная ИИ система может решить "убить" управлящего оператора, который мешает ей уничтожить ранее поставленную цель.

    • Утрата навыков: С ростом зависимости от ИИ может произойти утрата основных человеческих навыков и компетенций, что сделает нас более уязвимыми в случае сбоев или отказов технологической инфраструктуры. Чрезмерная зависимость от ИИ-систем может привести к утрате людьми автономии и способности принимать самостоятельные решения. Люди могут полагаться на ИИ настолько, что потеряют критические способности к анализу, суждению и принятию решений. А также люди смогут утратить многие профессиональные и когнитинвые навыки.

Разумное регулирование ИИ правительством необходимо для обеспечения безопасности, защиты прав граждан и справедливости в применении технологий. Развитие технологий ИИ пока опережает создание нормативных и регуляторных рамок, что представляет значительные риски. С одной стороны надо создать регулирование которое не помешает развитию технологий, но с другой стороны и не создаст чрезмерной угрозы от их развития и использования.

В целом правительствам и обществу полезно знать:

  • как эти модели устроены, на какой технологии
  • на каких данных и как они обучались
  • сколько стоит по ресурсам их использование
  • как и кем эти технологии применяются - с какими целями и какой у кого есть доступ.

Почему все не так страшно?

Потому что, (далее мнение автора этой статьи), страшилок можно придумать много. Про любую из уже используемых технологий можно привести много стращающих аргументов. Напрмер у людей атрофируются мышцы, так как они будут ездить на машинах и сидеть сиднем на работе и т.д.

Пока еще ни одна технологическая революция или прорывная технология не делала жизнь общества в целом хуже. И огонь, и паровые машины, и электричество, и конвеер, и мобильная связь, и Интернет, и компьютеры и т.д. - все они приводили к общему росту уровня жизни и улучшениям в общей массе, хотя они в общем-то и опасны.

Да, пропали с улиц извозчики, зажигатели газовых фонарей, машинистки и телефонистки и т.д. Изменился труд мультипликаторов, программистов, лесорубов и т.д. Но ничего страшного для общества в целом не произошло. Только стало лучше.

Так что пожелаем корпорациям более умных базовых моделей, правительству и обществу разумного их регулирования, а нам с вами скорейшего и недорого к ним доступа.