Від GPT до мультимодального ШІ: розуміння сучасних можливостей ШІ

Коли в 2018 році OpenAI представила GPT (Generative Pre-trained Transformer — генеративний попередньо навчений трансформатор), мало хто за межами спільноти дослідників ШІ міг передбачити, наскільки це кардинально змінить наші відносини з технологіями. Оригінальна модель GPT, навчена на різноманітному корпусі інтернет-тексту, продемонструвала дивовижні можливості генерації зв’язного контекстуально релевантного тексту з простих підказок.
Те, що зробило GPT революційним, полягав не лише в його розмірі (хоча на той час його 117 мільйонів параметрів здавалися величезними), а в його базовій архітектурі. Модель трансформатора, представлена дослідниками Google у їхній статті «Увага — це все, що вам потрібно», виявилася надзвичайно ефективною в обробці послідовних даних, таких як текст. На відміну від попередніх рекурентних нейронних мереж, які обробляли токени один за одним, трансформери могли аналізувати цілі послідовності одночасно за допомогою механізму самоуважності.
Ця паралельна обробка не тільки прискорила час навчання, але й дозволила моделі краще фіксувати довготривалі залежності в тексті. Раптом штучний інтелект зміг «запам’ятати», що було згадано абзаци тому, і підтримувати тематичну послідовність у більш довгих результатах. Вперше створений машиною текст став справді схожим на людину.

Якщо GPT був доказом концепції, то GPT-2 став моментом, коли громадськість почала розуміти потенціал ШІ. GPT-2, випущений у 2019 році з 1,5 мільярдами параметрів, створив настільки переконливий текст, що OpenAI спочатку відклав його повний випуск, посилаючись на занепокоєння щодо можливого зловживання. Модель могла писати послідовні новинні статті, створювати переконливі аргументи та навіть генерувати вигадані історії з послідовними героями та сюжетними лініями.
Але справжній переломний момент настав із GPT-3 у 2020 році. Зі 175 мільярдами параметрів — більш ніж у 100 разів більше, ніж у GPT-2 — це стало кількісним стрибком у можливостях. Модель продемонструвала те, що дослідники називають «вихідними здібностями» — навичками, яким її не навчали явно, але розвинули завдяки масштабу та впливу різноманітних даних.
Мабуть, найдивовижнішим є те, що GPT-3 продемонстрував елементарні здібності до «некратного навчання». Маючи лише пару прикладів у підказці, він може адаптуватися до нових завдань, таких як переклад, узагальнення або навіть базове кодування. Сфера штучного інтелекту почала визнавати, що масштаб не просто поступово покращує продуктивність — він докорінно змінює можливості цих систем.

Незважаючи на те, що GPT-3 був вражаючим, він все одно створював текст, який міг бути фактично неправильним, упередженим або невідповідним. Наступний прорив полягав не в тому, щоб збільшити моделі, а в тому, щоб вони краще відповідали людським цінностям і намірам.
Введіть навчання за допомогою зворотного зв’язку людини (RLHF). Ця навчальна методологія представляє людей-оцінювачів, які оцінюють результати моделі, створюючи цикл зворотного зв’язку, який допомагає ШІ зрозуміти, які відповіді є корисними, правдивими та нешкідливими. Моделі, навчені за допомогою RLHF, такі як ChatGPT і Claude, виявилися значно більш корисними для повсякденних завдань, одночасно зменшуючи шкідливі результати.
RLHF відзначив вирішальний зсув у філософії розвитку ШІ. Потужності грубого прогнозування вже було недостатньо — системам потрібно було розуміти нюанси людських цінностей. Такий підхід до навчання допоміг моделям належним чином реагувати на делікатні теми, відхиляти невідповідні запити та висловлювати невпевненість, а не впевнено висловлювати неправду.

Поки текстові моделі швидко розвивалися, дослідники одночасно досліджували, як штучний інтелект може зрозуміти інші модальності — зображення, аудіо та відео. З’явилися моделі комп’ютерного зору, такі як DALL-E, Midjourney і Stable Diffusion, здатні генерувати приголомшливі зображення з текстових описів.
Ці системи працювали, навчаючи дифузійні моделі на величезних наборах даних пар зображення-текст. Вивчивши зв’язок між візуальними поняттями та їхніми текстовими описами, вони могли трансформувати підказки на кшталт «сюрреалістичної картини кота, який грає в шахи в стилі Сальвадора Далі» у відповідні зображення.
Подібним чином моделі розпізнавання мовлення ставали дедалі точнішими, а системи перетворення тексту в мовлення стали майже невідрізними від людських голосів. Генерація відео, ще на ранніх стадіях, почала показувати багатообіцяючі результати за допомогою таких систем, як Gen-2 від Runway ML і Lumiere від Google.
Кожна модальність швидко розвивалася, але вони залишалися здебільшого окремими системами. Наступна революція стане результатом об’єднання цих можливостей.

Перехід до справжнього мультимодального штучного інтелекту почався, коли дослідники розробили системи, які могли обробляти кілька типів вхідних даних одночасно та обґрунтовувати різні модальності. Такі моделі, як GPT-4 Vision, Claude Sonnet і Gemini, тепер можуть аналізувати зображення разом із текстом, створюючи набагато природнішу парадигму взаємодії.
Ці системи можуть описувати те, що вони бачать на зображеннях, витягувати текст із документів, аналізувати діаграми та графіки та навіть вирішувати візуальні головоломки. Користувач може завантажити фотографію інгредієнтів у своєму холодильнику та запитати: «Що я можу з них приготувати?» Потім ШІ визначає предмети та пропонує відповідні рецепти.
Що відрізняє справжню мультимодальну систему від простого з’єднання окремих моделей, так це її єдине розуміння. Коли ви запитуєте про елемент зображення, система не просто запускає окреме розпізнавання зображення, а потім генерує текст — вона розвиває інтегроване розуміння всіх модальностей. Це дає змогу більш складно міркувати, як-от пояснити, чому мем смішний, або визначити невідповідності між текстом і зображеннями.

Створення ефективного мультимодального ШІ передбачає вирішення складних технічних завдань. Різні типи даних мають принципово різні структури — зображення — це просторові сітки пікселів, аудіо — це хвилі, а текст — це послідовні маркери. Як створити уніфіковане представлення, яке відображає значення в цих різних форматах?
Сучасні мультимодальні архітектури використовують спеціалізовані кодери для кожної модальності, які перетворюють необроблені дані в загальний простір представлення. Наприклад, зображення може бути оброблено трансформатором зору (ViT), який розбиває його на патчі та перетворює їх на вбудовування, тоді як текст токенізується та вбудовується окремо. Потім ці окремі вбудовування проектуються в загальний простір, де основна модель може обробляти їх разом.
Ця архітектура «вежі та мосту» дозволяє моделям вивчати крос-модальні зв’язки — розуміти, як поняття в мові відповідають візуальним функціям або звуковим шаблонам. Коли GPT-4 Vision розпізнає орієнтир на фотографії, він може пов’язати це візуальне представлення зі своїми текстовими знаннями про історію, значення та контекст місця розташування.
Процес навчання зазвичай включає масивні набори даних парного вмісту — зображень із підписами, відео з транскриптами та інших узгоджених мультимодальних даних. Навчаючись на цих узгодженнях, модель створює внутрішнє представлення, де пов’язані концепції різних модальностей відображаються близько одна до одної у векторному просторі.

Практичні застосування мультимодального штучного інтелекту трансформують галузі в усіх сферах:
У сфері охорони здоров’я системи можуть аналізувати медичні зображення разом із записами пацієнтів і симптомами, щоб допомогти з діагностикою. Лікар може завантажити рентгенівський знімок і поставити конкретні запитання про можливі проблеми, отримуючи інформацію, яка поєднує візуальний аналіз із медичними знаннями.
Для забезпечення доступності мультимодальний штучний інтелект допомагає незрячим користувачам розуміти візуальний вміст за допомогою детальних описів, а також допомагає глухим користувачам, надаючи транскрипцію та переклад усного вмісту в реальному часі.
В освіті ці системи створюють інтерактивне навчання, де студенти можуть задавати запитання про діаграми, історичні фотографії чи математичні рівняння, отримуючи пояснення, адаптовані до їх стилю навчання.
Творці контенту використовують мультимодальний штучний інтелект для створення додаткових ресурсів — написання статей і створення відповідних ілюстрацій або створення навчальних відео із синхронізованими візуальними елементами та оповіданням.
Платформи електронної комерції реалізують візуальний пошук, де клієнти можуть завантажити зображення продукту, який їм подобається, і знайти схожі товари, тоді як штучний інтелект описує ключові характеристики, які йому відповідають.
Можливо, найважливішим є те, що мультимодальні системи створюють більш природні парадигми взаємодії людини та комп’ютера. Замість того, щоб адаптувати наше спілкування відповідно до жорстких комп’ютерних інтерфейсів, ми можемо дедалі більше взаємодіяти з технологіями так, як ми природно спілкуємося один з одним — за допомогою плавної комбінації слів, зображень, звуків і жестів.

Незважаючи на свої вражаючі можливості, сучасні мультимодальні системи ШІ мають значні обмеження та викликають серйозні етичні проблеми.
Візуальне розуміння залишається поверхневим порівняно з людським сприйняттям. Хоча штучний інтелект може ідентифікувати об’єкти та описувати сцени, він часто пропускає тонкі візуальні ознаки, просторові відносини та культурний контекст, які люди миттєво розпізнають. Попросіть мультимодальний ШІ пояснити складну інженерну схему або інтерпретувати мову тіла на фотографії, і його обмеження швидко стануть очевидними.
Ці системи також успадковують, а іноді й посилюють упередження, наявні в їхніх навчальних даних. Компоненти розпізнавання обличчя можуть бути гіршими для певних демографічних груп, або візуальне мислення може відображати культурні упередження в інтерпретації зображень.
Занепокоєння щодо конфіденційності зростає з мультимодальними системами, оскільки вони обробляють потенційно конфіденційні візуальні та аудіодані. Користувач може поділитися зображенням, не підозрюючи, що воно містить особисту інформацію у фоновому режимі, яку ШІ може розпізнати та потенційно включити у свої відповіді.
Можливо, найактуальнішою проблемою є потенціал мультимодального штучного інтелекту для створення переконливих синтетичних медіа — дипфейків, які поєднують реалістичні зображення, відео та аудіо для створення переконливого, але сфабрикованого контенту. Оскільки ці технології стають доступнішими, суспільство стикається з нагальними питаннями щодо автентичності медіа та цифрової грамотності.

Заглядаючи вперед, еволюція можливостей штучного інтелекту не сповільнюється. Наступним рубежем можуть стати справді мультисенсорні системи, які включають не лише зір і звук, але й дотик, нюх і смак за допомогою сенсорної інтеграції та вдосконаленого моделювання.
Нові дослідження вивчають втілений штучний інтелект — системи, підключені до роботизованих платформ, які можуть фізично взаємодіяти зі світом, поєднуючи сприйняття з дією. Робот, оснащений мультимодальним штучним інтелектом, міг візуально розпізнавати об’єкти, розуміти словесні інструкції та відповідно маніпулювати своїм середовищем.
Ми також бачимо ранню роботу над системами штучного інтелекту, які можуть підтримувати постійну пам’ять і створювати контекстне розуміння за допомогою розширених взаємодій. Замість того, щоб розглядати кожну розмову як ізольовану, ці системи розвиватимуть постійні стосунки з користувачами, запам’ятовуючи минулі взаємодії та вивчаючи вподобання з часом.
Можливо, найбільш трансформаційною розробкою стануть системи штучного інтелекту, які можуть виконувати складні ланцюжки міркувань у різних модальностях — бачити механічну проблему, міркувати про принципи фізики та пропонувати рішення, які інтегрують візуальне, текстове та просторове розуміння.
Оскільки ці технології продовжують розвиватися, вони дедалі більше стиратимуть межі між спеціалізованими інструментами та помічниками загального призначення, що потенційно призведе до систем штучного інтелекту, які можуть гнучко вирішувати майже будь-яке завдання обробки інформації, яке може описати людина.

Подорож від лише текстових моделей GPT до сучасних складних мультимодальних систем являє собою одну з найшвидших технологічних еволюцій в історії людства. Лише за півдесяти років штучний інтелект перетворився зі спеціалізованих дослідницьких інструментів на широкодоступні системи, з якими щодня взаємодіють мільйони людей.
Це прискорення не демонструє ознак уповільнення, і ми, ймовірно, все ще перебуваємо на ранніх розділах історії ШІ. Оскільки ці системи продовжують розвиватися, вони змінюватимуть те, як ми працюємо, навчаємося, створюємо та спілкуємося.
Для розробників мультимодальна парадигма відкриває нові можливості для створення більш інтуїтивно зрозумілих і доступних інтерфейсів. Для компаній ці технології пропонують можливості автоматизувати складні робочі процеси та покращити взаємодію з клієнтами. Для окремих людей мультимодальний ШІ надає потужні інструменти для творчості, продуктивності та доступу до інформації.
Однак орієнтування в цьому майбутньому вимагає ретельного розгляду як можливостей, так і обмежень. Найефективнішими будуть ті додатки, які використовують сильні сторони штучного інтелекту, одночасно враховуючи його слабкі сторони, створюючи співпрацю між людиною та штучним інтелектом, яка розширює наші колективні здібності.
Еволюція від GPT до мультимодального штучного інтелекту — це не просто технічне досягнення — це фундаментальна зміна в наших стосунках із технологіями. Ми переходимо від комп’ютерів, які виконують команди, до помічників, які розуміють контекст, інтерпретують значення різних модальностей і взаємодіють із багатством і неоднозначністю людського спілкування. Цей перехід продовжуватиме розгортатися дивовижним і трансформуючим чином у наступні роки.