Искусственный интеллект умеет шантажировать: российский специалист объяснил, как это возможно

Фото: Ingram Images/Global Look Press

тестовый баннер под заглавное изображение

О том, как возможно «восстание машин», мы выясняли с генеральным директором ИТ-компании «А-Я эксперт», руководителем образовательной программы «Искусственный интеллект» НИЯУ МИФИ Романом Душкиным.

Вредоносные действия ИИ на языке разработчиков называются «агентное несоответствие». Оно возникает, когда модель ИИ действует против интересов своей компании, чтобы сохранить себя или выполнить то, что, по ее мнению, она должна сделать, к примеру, завершить написание картины.

Исследовательская группа обнаружила эти модели поведения во время стресс-тестирования систем ИИ в вероятностных, гипотетических сценариях. Иными словами, программисты «прощупали» предел возможностей больших языковых моделей (БЯМ).

Источник