Створення ШІ, який розуміє контекст: виклики та прориви

Коли я вперше почав працювати з системами штучного інтелекту десять років тому, їхня нездатність зрозуміти контекст була до болю очевидною. Ви задаєте, здавалося б, просте запитання, але отримуєте відповідь, яка абсолютно не відповідає суті, оскільки система не вловлює контекстуальні нюанси, які люди інтуїтивно розуміють.
Розуміння контексту є однією з найбільш важливих проблем у розробці штучного інтелекту. На відміну від людей, які легко інтерпретують значення на основі ситуаційної обізнаності, культурних знань і розмовної історії, традиційні системи штучного інтелекту працювали переважно на розпізнаванні образів і статистичному аналізі без справжнього «розуміння» ширшого контексту.
Цей контекстуальний розрив проявляється різними способами: штучний інтелект може не розпізнати сарказм, упустити важливість культурних посилань або забути попередні частини розмови, які забезпечують важливий контекст для інтерпретації нової інформації. Це як розмова з кимось із чудовим словниковим запасом, але без соціальної обізнаності чи пам’яті того, що ви сказали п’ять хвилин тому.

Контекст — це не окреме поняття, а багатовимірна структура, яка охоплює різні елементи:
Мовний контекст включає слова, речення та абзаци, що оточують певне твердження. Коли хтось каже: «Я не можу цього терпіти», значення різко змінюється, якщо попереднє речення: «Цей стілець хитається» проти «Ця музика прекрасна».
Ситуаційний контекст передбачає розуміння середовища, часу та обставин, у яких відбувається спілкування. Запит на «вказівку» означає дещо інше, коли ти стоїш на розі вулиці, а не на конференції про лідерство.
Культурний контекст містить спільні знання, посилання та норми, які формують спілкування. Коли хтось згадує «тягнути Гамлета», вони мають на увазі нерішучість, але ШІ без культурного контексту може почати декламувати Шекспіра.
Міжособистісний контекст включає динаміку стосунків, спільну історію та емоційні стани, які забарвлюють взаємодію. Друзі розуміють внутрішні жарти один одного і можуть помітити тонкі зміни в тоні, які сигналізують про емоції.
Щоб системи штучного інтелекту справді розуміли контекст так, як це роблять люди, їм потрібно осягнути всі ці виміри одночасно — монументальне завдання, яке десятиліттями поглинало дослідників.

Ранні спроби створити контекстно-залежний штучний інтелект значною мірою покладалися на системи, засновані на правилах, і знання, закодовані вручну. Розробники старанно програмували б тисячі правил «якщо-тоді» для обробки певних контекстів. Наприклад: «Якщо користувач згадує «почуття пригнічений» і раніше говорив про співбесіду при прийомі на роботу, тоді посилайтеся на співбесіду під час відповіді».
Такий підхід швидко став нежиттєздатним. Кількість потенційних контекстів по суті нескінченна, і вручну запрограмувати відповіді для кожного сценарію неможливо. Ці системи були крихкими, нездатними узагальнювати нові ситуації та часто ламалися, коли стикалися з несподіваними введеннями.
Статистичні методи, такі як n-грами та базове машинне навчання, дещо покращили ситуацію, дозволивши системам розпізнавати шаблони у використанні мови. Однак ці підходи все ще боролися з довгостроковими залежностями — зв’язуванням інформації, згаданої набагато раніше в розмові, з поточними твердженнями — і не могли включати ширші світові знання.
Навіть більш складні підходи до нейронних мереж, такі як ранні рекурентні нейронні мережі (RNN) і мережі довгострокової короткочасної пам’яті (LSTM), покращили контекстну обізнаність, але все ще страждали від «контекстної амнезії», коли розмови ставали тривалими або складними.

Прорив стався у 2017 році з появою архітектури Transformer, яка докорінно змінила те, як системи ШІ обробляють послідовну інформацію. На відміну від попередніх моделей, які обробляли текст по одному слову, Transformers використовують механізм під назвою «самоувага», який дозволяє їм розглядати всі слова в уривку одночасно, зважуючи зв’язки між ними.
Ця архітектура дозволила моделям фіксувати набагато довші контекстні залежності та підтримувати інформацію, згадану тисячами слів раніше. Знаменита стаття Васвані та ін. «Увага — це все, що вам потрібно». продемонстрували, що цей підхід може значно покращити якість машинного перекладу шляхом кращого збереження контекстуального значення різними мовами.
Ця архітектурна інновація заклала основу для таких моделей, як BERT, GPT та їхніх наступників, які продемонстрували дедалі витонченіші можливості розуміння контексту. Ці моделі попередньо навчені на величезних корпусах тексту, що дозволяє їм засвоювати шаблони використання мови в незліченних контекстах перед тим, як їх точно налаштувати для конкретних програм.
Масштаб цих моделей зріс експоненціально, від мільйонів параметрів до сотень мільярдів, що дозволяє їм фіксувати все більш тонкі контекстуальні моделі. Найбільші моделі тепер, здається, мають елементарні форми «здорового глузду» знання, яке допомагає їм усунути неоднозначність заплутаних посилань і зрозуміти неявне значення.

Хоча розуміння контексту на основі тексту різко просунулося, люди не покладаються лише на слова, щоб зрозуміти контекст. Ми інтерпретуємо ситуації за допомогою візуальних підказок, тону голосу, мови тіла та навіть тонких факторів навколишнього середовища.
Недавні прориви в мультимодальному штучному інтелекті починають долати цей розрив. Такі системи, як CLIP, DALL-E та їхні наступники, можуть поєднувати мову та візуальну інформацію, створюючи більш багате контекстне розуміння. Наприклад, якщо показати зображення переповненого стадіону разом із текстом про «гру», ці системи можуть визначити, чи йдеться про бейсбол, футбол чи футбол на основі візуальних підказок.
Аудіовізуальні моделі тепер можуть виявляти емоційні стани за тоном голосу та виразом обличчя, додаючи ще один важливий рівень розуміння контексту. Коли хтось каже «чудова робота» саркастично, а не щиро, сенс повністю змінюється — це відмінність, яку новітні системи починають розуміти.
Наступний рубіж передбачає інтеграцію цих мультимодальних можливостей із розмовним ШІ для створення систем, які розуміють контекст через різні сенсорні канали одночасно. Уявіть помічника зі штучним інтелектом, який розпізнає, що ви готуєте (візуальний контекст), чує ваш розчарований тон (аудіоконтекст), помічає, що ви читаєте рецепт (текстовий контекст), і пропонує відповідну допомогу без явних підказок.

Навіть із просунутими мовними моделями системи штучного інтелекту не можуть підтримувати узгоджену контекстну пам’ять протягом тривалої взаємодії. Ранні великі мовні моделі «забували» деталі, згадані раніше в розмові, або плутали відповіді, а не визнавали прогалини в знаннях.
Недавні прориви в пошуково-доповненій генерації (RAG) усувають це обмеження, дозволяючи системам штучного інтелекту посилатися на зовнішні бази знань і історію попередніх розмов. Замість того, щоб покладатися виключно на параметри, закодовані під час навчання, ці системи можуть активно шукати відповідну інформацію, коли це необхідно, подібно до того, як люди звертаються до своєї пам’яті.
Контекстні вікна — обсяг тексту, який штучний інтелект може враховувати під час генерування відповідей — різко зросли від кількох сотень токенів до сотень тисяч у найдосконаліших системах. Це дозволяє генерувати більш узгоджений довгостроковий вміст і розмовляти, що підтримує узгодженість у тривалих обмінах.
Не менш важливим є прогрес у здатності міркувати. Сучасні системи тепер можуть виконувати багатоетапні завдання, розбиваючи складні проблеми на керовані етапи, зберігаючи контекст протягом усього процесу. Наприклад, розв’язуючи математичну задачу, вони можуть відстежувати проміжні результати та припущення у спосіб, який відображає робочу пам’ять людини.

Оскільки системи штучного інтелекту стають більш вправними у розумінні контексту, з’являються нові етичні міркування. Системи, які враховують культурні та соціальні нюанси, потенційно можуть ефективніше маніпулювати користувачами або посилювати шкідливі упередження, присутні в навчальних даних.
Здатність підтримувати контекстну пам’ять під час взаємодії також викликає занепокоєння щодо конфіденційності. Якщо штучний інтелект запам’ятовує особисті дані, надані тижнями або місяцями раніше, і несподівано відкриває їх, користувачі можуть відчути, що їхню конфіденційність було порушено, навіть якщо вони добровільно поділилися цією інформацією.
Розробники працюють над вирішенням цих проблем за допомогою таких методів, як контрольоване забування, механізми явної згоди для зберігання особистої інформації та стратегії пом’якшення упередженості. Мета полягає в тому, щоб створити ШІ, який достатньо добре розуміє контекст, щоб бути корисним, не стаючи нав’язливим або маніпулятивним.
Існує також проблема прозорості. У міру того, як розуміння контексту стає більш витонченим, користувачам стає все важче зрозуміти, як системи штучного інтелекту роблять висновки. Техніки для пояснення прийняття рішень ШІ в контекстно-залежних сценаріях є активною сферою досліджень.

Прорив у контекстуальному розумінні трансформує численні сфери:
У сфері охорони здоров’я штучний інтелект з урахуванням контексту може інтерпретувати скарги пацієнтів у межах їх історії хвороби, факторів способу життя та поточних ліків. Коли пацієнт описує симптоми, система може поставити відповідні додаткові запитання на основі цього вичерпного контексту, а не за загальним сценарієм.
Системи обслуговування клієнтів тепер зберігають історію розмов і інформацію про обліковий запис під час взаємодії, усуваючи неприємну потребу повторювати інформацію. Вони можуть виявляти емоційні стани за мовними моделями та відповідно регулювати свій тон — стаючи більш формальними чи емпатичними залежно від контексту.
Освітні програми використовують контекстну обізнаність, щоб відстежувати шлях навчання студента, виявляючи прогалини в знаннях і помилкові уявлення. Замість того, щоб надавати стандартизований вміст, ці системи адаптують пояснення на основі попередніх запитань студента, помилок і продемонстрованого розуміння.
Аналіз юридичних і фінансових документів має величезну користь від розуміння контексту. Сучасний штучний інтелект може інтерпретувати положення в ширшому контексті цілих контрактів, відповідного законодавства та прецедентного права, виявляючи неузгодженості або потенційні проблеми, які можуть уникнути перевіряючих людей, що мають справу з перевантаженням інформацією.
Творчі інструменти, як-от помічники з написання, тепер зберігають тематичну послідовність у довгих творах, пропонуючи вміст, який узгоджується з усталеними персонажами, налаштуваннями та арками оповіді, а не із загальним завершенням тексту.

Заглядаючи в майбутнє, кілька перспективних напрямків досліджень можуть ще більше трансформувати контекстний ШІ:
Моделі епізодичної пам'яті мають на меті надати системам ШІ щось подібне до людської автобіографічної пам'яті — здатність запам'ятовувати конкретні події та переживання, а не лише статистичні закономірності. Це дозволило б набагато більш персоналізовану взаємодію на основі спільної історії.
Структури причинно-наслідкових міркувань прагнуть вийти за рамки розпізнавання закономірностей на основі кореляції та перейти до розуміння причинно-наслідкових зв'язків. Це дозволило б ШІ міркувати про контрфактичні ситуації («Що станеться, якщо...») та робити точніші прогнози в нових контекстах. Розробляються міжкультурні контекстуальні моделі, щоб зрозуміти, як контекст змінюється в різних культурних рамках, роблячи системи ШІ більш адаптивними та менш упередженими до західних культурних норм. Дослідження втіленого ШІ досліджують, як фізичний контекст — перебування в середовищі з можливістю взаємодії з ним — змінює контекстуальне розуміння. Роботи та віртуальні агенти, які можуть бачити, маніпулювати об'єктами та орієнтуватися в просторах, розробляють інші контекстуальні моделі, ніж текстові системи.
Кінцевою метою залишається створення штучного загального інтелекту (ЗШІ) з розумінням контексту, подібним до людського, — систем, які можуть безперешкодно інтегрувати всі ці форми контексту, щоб спілкуватися та міркувати про світ так само ефективно, як це роблять люди. Хоча ми ще далекі від цієї віхи, темпи проривів свідчать про те, що ми неухильно рухаємося в цьому напрямку.
У міру того, як ці технології продовжують розвиватися, вони трансформують наші стосунки з машинами від жорстких, командних взаємодій до гнучкої, контекстуально насиченої співпраці, яка все більше нагадує спілкування між людьми. Штучний інтелект, який справді розуміє контекст, — це не просто технічне досягнення, він являє собою фундаментальний зсув у технологічному розвитку людства.