Унікалізований текст: Я переживаю genAI меланхолію: чому ChatGPT та інші чатботи стають менш ефективними

Таку думку висловлює провідний IT експерт Стівен Вон-Ніколс. Нижче MigNews підготував переклад його статті українською.

Я хотів би, щоб інструменти генеративного штучного інтелекту (генAI) були по-справжньому корисними. Але вони такими не є. Я постійно експериментую з програмами -- ChatGPT, Meta AI, Gemini та іншими. На перший погляд, вони здаються корисними, якщо ви не розумієтеся на деталях. Їхні відповіді звучать переконливо. Але якщо придивитися уважніше, навіть якщо ви прощаєте їм їхні "галюцинації" -- тобто неправдиві відповіді, -- ви побачите, що занадто часто ці відповіді є неправильними.

Якщо ви працюєте, скажімо, на рівні шкільного звіту, відповіді генAI підходять. (Вибачте, вчителі.) Але якщо ви глибше занурюєтеся в тему, що є моєю сферою діяльності, ситуація змінюється.

Я маю глибші знання про теми, такі як Linux і програмне забезпечення з відкритим кодом, порівняно з типовою великою мовною моделлю (LLM). Хоча генеровані штучним інтелектом відповіді можуть здаватися коректними на перший погляд, їх якість значно погіршується при зануренні в деталі.

В реальності кінцевий результат часто виявляється дратівливим і прикро помилковим. Ще гірше, що ці помилки виникають несподівано. Якби я міг сподіватися на більш-менш точні, хоча й посередні відповіді, я міг би з цим змиритися. Але, на жаль, це не так.

Це не тільки моя позиція. BusinessWeek зазначає, що багато досвідчених користувачів GPT-4 все частіше називають його "більш ледачим" і "менш розумним". Інші з цим погоджуються. Наприклад, один користувач на Reddit нещодавно зауважив: "Сьогодні ChatGPT 3 та 4 значно менш ефективні та корисні, ніж коли я підписався на про-версію рік тому". Це виглядає цілком правдоподібно.

На мою думку, навіть найкращий чатбот генAI, Perplexity, здається, йде на спад. Однією з речей, яка мені подобалася в Perplexity, було те, що він надавав джерела для своїх спостережень. Я знаходив це корисним, коли сприймав його як пошукову систему з турбо-прискоренням. Однак останніми днями він стає ненадійним, і я більше не можу покладатися на те, що він вказуватиме, де знайшов інформацію, яку переробив для мене.

Чому це трапляється? Я не є експертом у розробці штучного інтелекту, проте активно спостерігаю за цією галуззю і помічаю мінімум два ключових фактори, які призводять до їхніх невдач.

Першою причиною є те, що якість контенту, використаного при створенні основних великих мовних моделей, завжди залишалася на недостатньо високому рівні. Значна частина цього контенту походить з таких "якісних" веб-ресурсів, як Twitter, Reddit та 4Chan.

Як продемонстрував огляд штучного інтелекту від Google на початку цього року, результати можуть бути вражаюче проблематичними. MIT Technology Review зазначає, що серед відповідей були такі безглузді рекомендації, як "користувачам слід додавати клей до піци або вживати щодня принаймні один маленький камінь". Також було стверджено, що колишній президент США Ендрю Джонсон отримував університетські ступені з 1947 по 2012 роки, хоча він помер у 1875 році.

Якщо ви не приклеюєте камені до піци, ці приклади є безглуздими і безпечними, але якщо вам потрібна правильна відповідь, це вже зовсім інша справа. Візьмемо, наприклад, адвоката, чиї юридичні документи містили інформацію з вигаданих AI справ. Судді не були задоволені.

Якщо вам цікаво обговорити еротичні теми з інструментами штучного інтелекту, що, схоже, є одним із найпоширеніших способів використання ChatGPT, точність, ймовірно, не буде для вас пріоритетом. Однак для мене важливо отримувати коректні відповіді, і це має бути важливим для всіх, хто планує застосовувати AI у бізнесі.

Якщо гіганти у сфері штучного інтелекту продовжуватимуть активно шукати нові дані, ситуація лише ускладнюватиметься. Згідно з дослідженням від Epoch AI, до 2026 року ми можемо зіткнутися з дефіцитом високоякісних даних.

Це спричиняє іншу серйозну проблему. У наш час, як ніколи раніше, контент, створений штучним інтелектом, витісняє контент, створений експертами-людьми. Наслідок цього не лише в тому, що неякісна інформація замінює надійну; ситуація є ще більш підступною.

Недавня стаття в Nature показала, що "безсистемне навчання на даних, створених іншими моделями, призводить до "колапсу моделі" -- дегенеративного процесу, коли з часом моделі забувають справжній розподіл даних, навіть за відсутності зміщення розподілу з часом". Я називаю це "сміття на вході -- сміття на виході" (GIGO).

Оскільки я не бачу шансів на те, що компанії припинять використовувати генAI для створення документів за частину вартості роботи справжніх експертів і досвідчених письменників, якість продовжуватиме знижуватися.

Можливо, ми вже досягли піку AI з точки зору якості, вірите ви чи ні. Хіба це не страшна думка?

Я не є противником AI. Чатботи генAI спеціального призначення, засновані на LLM, що присвячені певній темі, як, наприклад, діагностика програми або виявлення потенційного раку, вже є дуже корисними. Інші застосування, такі як AI-керовані персонажі в онлайн-іграх, покращать геймплей, а AI-друзі для самотніх людей, як-от ElliQ, можуть допомогти багатьом.

Але як заміна працівників інтелектуальної праці, на що багато компаній, здається, налаштовані, про це можна забути. За винятком, можливо, генеральних директорів -- їх можна було б замінити на чатботів AI. Я сумніваюся, що багато людей помітять велику різницю -- за винятком того, що це заощадить компаніям купу грошей.