Доступно ли компьютерам творчество?

[Дарвинист]

Специалист уже не в состоянии отделить себя от компа

Ну да, как сферу чувств от интеллекта, что-то подобное мы, уже, обсуждали. А далее - все по спектру: проект, средства производства, изменение в окружении, наконец, "руины" этого изменения, достающиеся в наследство потомкам или пришельцам...и все, скорее всего, повторяется.

[василий андреевич]

Другой вопрос: что есть "сеть" вообще?
Не подобие ли она некоторому вязкому полю,

Тогда придется начинать с "пересмотра" Броуновского движения в вязкой среде. Массивная частица (пыльца) не может быть толкаема "стечением обстоятельств-векторов-факторов". А вот если пыльца - осциллятор, потенциал которого растет за счет хаотических ударов легких частиц, как рост вибрационной частоты, то неизбежен этап растраты накопленного потенциала в кинетику движения с релаксацией потенции.
  Релаксирующие траектории множества тяжелых частиц - это сеть. Добавив "информационная" сеть, будем искать узловые точки, в которых релаксирующие колебания сложатся, как резонанс, то есть, как тот новый вибрационный потенциал, символичный адекватной декодировке. Или, код и декодер нашли уже не случайно свою "половинку по любви".
  И творчества, как рождения того алгоритма, которого нет в объеме взаимодействий - нет. Нужен элемент из "четвертого" измерения, который оценит вспыхивающие и гаснущие узловые точки работающих-вычисляющих компов, как полезные для себя-любимого.

  Встройка человека в эти узловые точки - практически порабощение двух спецов из разных вселенных друг другом. Но всегда(?) остается "неспециализированная" масса, способная прочертить творческий алгоритм между теми узловыми точками в той среде, где этого алгоритма взаимодействия ранее не было.
  Как человек без калькулятора сможет выбрать траекторию через нужные именно ему точки? Назовем таковой выбор гармоническим правилом, или правилом наименьшего действия, а то и правилом золотого сечения.

[АrefievPV]

Робот-пылесос научили ходить по ступенькам
https://nplus1.ru/news/2024/03/25/ascender
И чистить их

Компания Migo Robotics разработала робопылесос, который способен спускаться и подниматься по лестницам, попутно очищая ступеньки. Робот оснащен модулем пылесоса и шваброй для влажной уборки. За навигацию отвечают лидар, HD-камера и ToF-сенсоры, а встроенные алгоритмы распознавания образов могут определить более 100 типов объектов. Одного заряда хватает, чтобы провести уборку на площади 500 квадратных метров, сообщает New Atlas. Подробная информация об устройстве доступна на Kickstarter.

[ключ]

Другой вопрос: что есть "сеть" вообще?
Не подобие ли она некоторому вязкому полю, в котором "вязнут" те же, в данном случае,

Вероятно ,пространство ,в котором возможен ответ Ааааа? (стандартный ответ на любой запрос) на запрос Эээээ! (вежливое обращение к незнакомому человеку).

[АrefievPV]

«Галлюцинации» искусственного интеллекта стали новой угрозой. Китайские корпорации уже попались
https://safe.cnews.ru/news/top/2024-04-01_ii_podskazyvaet_programmistam
Эксперимент исследователя по информационной безопасности выявил критическую уязвимость в процессе разработки программного обеспечения - возможность генеративного искусственного интеллекта (ИИ) внедрять поддельные пакеты в реальный код. Крупные компании, Alibaba, Tencent и Baidu, включили несуществующий пакет в свою документацию.

Несуществующая библиотека

Бар Ланьядо (Bar Lanyado) из ИБ-компании Lasso Security создал несуществующую библиотеку (пакет) для Python под названием huggingface-cli. Библиотеки представляют собой набор готовых функций, классов и объектов для решения задач разработчиков. Он заметил, что модели генеративного искусственного интеллекта (ИИ) неоднократно «галлюцинировали» (термин исследователя) это имя библиотеки при запросах пользователей, то есть советовали их. Чтобы проверить, как это отразится на реальном мире, Ланьядо разместил фальшивый пакет в индексе пакетов Python (PyPI).

Компания Alibaba включила несуществующий пакет в свою документацию. В инструкции к GraphTranslator от Alibaba ошибочно указано pip install huggingface-cli как метод установки легитимного инструмента от Hugging Face. К счастью, творение Ланьядо оказалось безвредным, но потенциальные последствия его использования не радуют специалистов по информационной безопасности (ИБ).

По словам Ланьядо, злоумышленник может использовать придуманное ИИ название для вредоносного пакета, загруженного в какой-нибудь репозиторий, в надежде, что другие смогут загрузить вредоносное ПО.

В результате, huggingface-cli получил более 15 тыс. подлинных загрузок за те три месяца, что он был доступен. Кроме того, исследователь провел поиск на GitHub, чтобы определить, использовался ли этот пакет в репозиториях других компаний. Результаты показали, что несколько крупных компаний либо используют, либо рекомендуют этот пакет в своих репозиториях. Например, инструкции по установке этого пакета можно найти в README репозитория, посвященного исследованиям, проводимым компанией Alibaba. На начало апреля 2024 г., эта техника не была использована в реальной атаке на компании.

Новая угроза для разработчиков

Этот случай указал на новую возможность взлома для хакеров. ИИ может рекомендовать программистов несуществующие пакеты, созданные и замаскированные под необходимые инструменты для разработки злоумышленниками. Таким образом вредоносы могут проникнуть на устройства тысяч разработчиков.

Идея заключается в том, что кто-то недобросовестный может обратиться к моделям за советом по коду, а после записать придуманные пакеты, которые системы ИИ неоднократно рекомендуют. Затем внедрить эти зависимости, чтобы другие программисты, используя те же модели и получая те же предложения, в итоге использовали эти библиотеки, которые могут быть отравлены вредоносным ПО. Хакеры могут загрузить вредоносные пакеты с такими же именами в соответствующие реестры, и с этого момента им остается только ждать, пока люди загрузят эти пакеты.

У «галлюцинаций» могут быть разные причины, например, обучение систем ИИ на неточных или недостаточных данных. Возможны и недочеты в алгоритмах, которые заставляют ИИ обобщать данные неправильно и учитывать фейкововую информацию. ИТ-разработчикам стоит помнить о том, что «галлюцинации» возможны, и важные данные, полученные от ИИ, следует перепроверять.

Цель эксперимента

Готовность моделей ИИ уверенно ссылаться на несуществующие судебные дела сегодня хорошо известна и вызывает немалое смущение у адвокатов, не знающих об этой тенденции. И, как оказалось, генеративные модели ИИ будут делать то же самое с программными пакетами.

Именно это и решила проверить компания Lasso Security. Вооружившись тысячами вопросов «как сделать», Бар Ланьядо опросил четыре модели ИИ (GPT-3.5-Turbo, GPT-4, Gemini Pro aka Bard и Cohere Command) на предмет задач программирования на пяти различных языках программирования (Python, Node.js, Go, .Net и Ruby), каждая из которых имеет свою собственную систему упаковки.

Оказывается, часть имен, которые эти чат-боты извлекают, сохраняется, причем в разных моделях. А постоянство - повторение вымышленного имени - это ключ к превращению причуды ИИ в функциональную атаку. Злоумышленнику нужно, чтобы модель ИИ повторяла названия галлюцинированных пакетов в своих ответах пользователям, чтобы вредоносные программы, созданные под этими именами, были найдены и загружены.

Ланьядо выбрал случайным образом 20 вопросов для галлюцинаций с нулевым результатом и задал их по 100 раз каждой модели. Его целью было оценить, как часто название галлюцинирующего пакета остается неизменным. Результаты его теста показали, что названия сохраняются достаточно часто, чтобы это было функциональным вектором атаки, хотя и не всегда, а в некоторых упаковочных экосистемах чаще, чем в других.

По словам Ланьядо, в GPT-4 24,2% ответов на вопросы приводили к появлению галлюцинаций, из которых 19,6% были повторяющимися. В таблице, предоставленной изданию The Register, приведена более подробная разбивка ответов на GPT-4. В GPT-3.5 22,2% ответов на вопросы вызывали галлюцинации, а 13,6% повторялись. Для Gemini 64,5% вопросов вызывали выдуманные имена, из которых 14% повторялись. А в Cohere 29,1% галлюцинаций и 24,2% повторов.

Несмотря на это, экосистемы упаковки в Go и .Net построены таким образом, что ограничивают возможности эксплуатации, отказывая злоумышленникам в доступе к определенным путям и именам.

Галлюцинации ИИ

В своем блоге от 6 июня 2023 г. исследователи Vulcan Cyber рассказали о новой технике распространения вредоносных пакетов, которую они назвали «галлюцинацией пакетов ИИ». Эта техника связана с тем, что ChatGPT и другие генеративные платформы ИИ иногда отвечают на запросы пользователей галлюцинациями в виде источников, ссылок, блогов и статистики.

Большие языковые модели (Large Language Models), такие как ChatGPT, могут генерировать такие галлюцинации - URL, ссылки и даже целые библиотеки кода и функции, которых на самом деле не существует. По словам исследователей, ChatGPT даже генерирует сомнительные исправления для CVE и может предлагать ссылки на несуществующие библиотеки кода.

Директор по исследованиям в области информационной безопасности Tanium Мелисса Бишопинг (Melissa Bischoping) рассказала о том, что компаниям никогда не следует загружать и исполнять код, который они не понимают и не проверяли - например, репозитории GitHub с открытым исходным кодом.

[АrefievPV]

Ученые считают, что ИИ может притворяться более глупым, чем есть на самом деле
https://naked-science.ru/community/948487
Новое исследование показало, что продвинутые модели ИИ могут притворяться глупее, чем они есть на самом деле, и это может иметь серьезные последствия, поскольку они продолжают активно развиваться.

В статье, опубликованной в журнале PLOS One, исследователи из Берлинского университета имени Гумбольдта обнаружили при тестировании большой языковой модели (LLM) по так называемым критериям теории разума, что ИИ не только может имитировать этапы изучения языка, наблюдаемые у детей, но и выражает нечто похожее на умственные способности, связанные с этими стадиями развития.

Опираясь на теорию разума, ориентированную на детей, ведущий автор исследования Анна Маклова и ее коллеги из Карлова университета в Праге попытались определить, могут ли такие модели ИИ, как GPT-4 от OpenAI, «притворяться менее способными, чем они есть на самом деле».

Чтобы это выяснить, исследовательская группа поручила моделям вести себя как дети в возрасте от одного до шести лет, давая ответы на вопросы. Пройдя более чем 1000 испытаний и когнитивных тестов, «смоделированные детские личности» действительно развивались почти так же, как дети указанного возраста, и в итоге продемонстрировали, что модели могут притворяться менее умными, чем они есть.

В интервью изданию PsyPost Анна Маклова объяснила, что эти результаты могут помочь развитию общего искусственного интеллекта (AGI), который способен мыслить и действовать как человек.

P.S. Ссылки в дополнение:

Модель психического состояния человека
https://ru.wikipedia.org/wiki/%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BF%D1%81%D0%B8%D1%85%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D1%81%D0%BE%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D1%8F_%D1%87%D0%B5%D0%BB%D0%BE%D0%B2%D0%B5%D0%BA%D0%B0

Теория разума оказалась подвластна двухлетним детям
https://nplus1.ru/news/2016/11/08/theoryofmind

Теория разума
https://postnauka.org/faq/94281