Наступление синтетиков

Существуют некоторые признаки того, что ряд видов исследований — такие как концепт-тесты новых продуктовых идей, визуальных макетов, цен и т.д. — могут быть не заменены, но как минимум дополнены исследованиями на синтетических респондентах.

Сейчас западная ресеч-пресса переполнена полными энтузиазма кейсами о том, что синтетические респонденты на 90% воспроизводят реальных.

Тут, наверное, надо дать вступление: что это такое. Синтетические респонденты – это ИИ-модели, обученные на множестве данных проведенных исследований, репрезентирующие многие ЦА и позволяющие с некой долей уверенности прогнозировать их поведение.

В западной прессе этот феномен подается с таким энтузиазмом, что сомнение в нем сразу тебя автоматом записывает в ряды противников прогресса и луддитов. Наша задача – внятно разобраться в этом. Моя лично проблема в том, что я не специалист по ИИ, а ресечер. К тому же, ресечер с фокусом на потребительские тесты: восприятие довольно тонких штук, типа вкуса, аромата, цвета, внешнего вида, эффекта воздействия и так далее.

Однако феномен появился, и как медиа-флаг идет по стране. Компания моего товарища А. Шашкина ОМИ уже вовсю с ними работает. Одновременно с этим, есть мнение, что это не работает и серьезные продуктовые решения на основе исследований с синтетиками принимать нельзя.

Разбираемся на примере.

В кейсе PyMC Labs постулируется прорыв, который заключается в Semantic Similarity Rating (SSR). Если кратко, то суть такова. Если просить LLM-модель оценить концепцию (к примеру) по 5-балльной шкале, условно Лайкерту, то модель будет стараться давать усредненно-позитивные ответы. Поэтому они стали просить генерить модель сначала огромную кучу текстовых ответов, а потом уже обрабатывать их по шкале. В 2 этапа и вроде как (вроде как) – 90% совпадение. Это прям очень серьезная цифра.

Вот что они пишут.

Используя 57 реальных потребительских опросов от ведущей компании по производству потребительских товаров (9300 ответов респондентов), метод семантического оценивания (SSR) позволил добиться следующих показателей:

• • Достижение 90% корреляциис ранжированием продуктов в реальных опросах
  • Более 85% сходства в распределенииответов с фактическими результатами опросов
  • Реалистичные паттерны реагирования, которые зеркально отражают то, как люди на самом деле оценивают продукты

Так: тут бы я со фразой «люди оценивают продукты» дал бы уточнение, что люди оценивают «концепции продуктов», а то кто-то подумает, что ИИ может уже воспроизвести реакцию человека на реальный продукт, от чего пока еще очень далеко.

Речь идет о множестве концепт-тестов.

Но и это немало, так как их делается тоже немало. И часто нужно быстро отработать ворох концепций, чтобы с неким шорт-листом идти уже дальше в ресеч с белково-углеродными респондентами.

Я не знаю, как это все будет влиять на усредненность, гомогенизацию ответов и, как следствие, на «полки» с продуктами. Они нам не завалят полку с копипастно-одинаковыми концептами? Потому, что остальное отрезали ИИ-тесты или «усреднили». Я не знаю. Вы знаете? Я люблю сомневаться.

Приведу забавный пример совершенно не из сферы FMCG.

На этих выходных я смотрел сессию с именитыми западными звукорежиссерами, которые рассуждали о том, как движки ИИ-миксинга и мастеринга влияют на музыкальную индустрию. (Микширование: достижение частотного баланса инструментов, динамическая обработка и т.д.)

Они говорят о том, что движки берут и режут частоты, которые выбиваются из миллионов проанализированных референсов. С одной стороны, это хорошо, так как это дичайшее ускорение, а главное, 99% демо-записей артистов содержат частотные косяки.

С другой стороны, есть и проблемка: модель воспринимает как артефакт, который надо скорректировать, любое выделение из стандартного. И будет его воспринимать как ошибку и устранять. И поэтому, не будет появляться нового ничего классного и крутого. Представьте, что такой ИИ-звукореж обучился на десятках тысяч записей джаза и ритм-энд-блюза, с довольно добрыми гитарами, и тут в него загружают записи Metallica, Napalm Death или Slipknot? Где конкретно, происходит «рев гитар», с занижением строя, перегрузом и 7-струнными гитарами Ibanez, которых в 1960-х просто не было. Понимаете, что бы было? ИИ-бы порезал это все.

Там звукорежиссер приводил разные примеры, когда по сути частотные конфликты становились «фишкой» произведения. В частности, почему-то альбом Nirvana Nevermind не прошел бы ИИ-фильтр. У меня есть легкое подозрение, что демо-запись хриплого голоса условного Владимира Высоцкого также была бы воспринята ИИ-звукорежиссером как «частотный конфликт» и гомогенизирована, урезана, так как там inharmonic frequencies у Высоцкого по полной присутствуют.

Это пример из другого мира, но он показывает риск того, что несмотря на скорость, могут быть и случаи, когда «с водой ребенка вылили». К примеру, как бы восприняла LLM-модель креативы бренда молодого производителя «Мармеладыч»?

Мне вот он нравится. Во-первых, симпатизирую производителю, я рад, когда молодежь идет в пищевку, а не в айтишку. Во-вторых, у Мармеладыча очень прикольная улыбка, у меня самого такая, в духе советских хоккеистов из мультика.

Но не сказала бы LLM-модель, натренированная на ответах мам (которые оплачивают мармеладки детям), что это «странный тип с пугающей улыбкой»?

В общем, есть риски, что все, что претендует на «дизрапт», модели будут отсекать, пытаться исправить, усреднить и т.д.

Но тут же, получается, есть и рецепт. Вы в разработке всегда знаете: у вас product innovation или традиционный продукт, у которого будут десятки прямых соседей на полке. Вы это заранее знаете. Это две разные игры. И для дизрапт-продуктов просто брать и НЕ использовать синтетические тесты концепций, и это как бы ок.

А в остальных случаях почему нет?

В конце концов, Артемий Лебедев создал ИИ-дизайнера Николая Иронова, который генерит логотипы за 10 тысяч рублей. А когда у вас большой серьезный проект, требующий подключения белково-углеродного естественного интеллекта, – то добро пожаловать в основное агентство Лебедева, где цены на услуги слегка повыше. И это нормально работает, клиенты все понимают.

Я думаю, мы придем к некоему комбо, когда ИИ-исследования и тесты будут использоваться как своего рода quickie, быстрая отработка наработок. В комбинации с исследованиями обычными, с людьми. Кстати, я помню, в времена, когда основным медиа-флагом в ресече был data science и predictive analytics? Это лет 10 назад было, то постулировался тезис, что опросные технологии (любые, что квант что квал) – мертвы, ибо это интерпретация людьми, а работает только факт. И где это все?

Но синтетический ресеч займет свою долю, и, скажу, позволю себе прогноз, эта доля будет немалая, я думаю, до 20-25% рынка. И это ничем не противоречит тому, как я, не специалист по ИИ, вижу роль ИИ: это экзоскелет, ускорение, удешевление, убыстрение и т.д.

Например, я с удовольствием смотрю, как ИИ дизраптит киноиндустрию. Не слышали про платформу Higgsfield? Создана нашим бывшим соотечественником, кстати. Рисует сцены и спецэффекты очень круто и позволит экономить Голливуду триллионы. Однако, я при этом уверен: «кожаные мешки» в виде актеров никуда не денутся. Люди хотят естественности, хотят привязки к личности, помнить, что вот такая-то на прошлом «Оскаре» напилась и рухнула на ковровую дорожку. С ИИ-моделями такого коннекта не будет.

Пока, во всяком случае.