Створення штучного інтелекту, який розуміє контекст: виклики та прориви

Коли я вперше почав працювати з системами штучного інтелекту десять років тому, їхня нездатність розуміти контекст була до болю очевидною. Ви задавали, здавалося б, просте запитання, а потім отримували відповідь, яка повністю не вдавалася до суті, оскільки система не враховувала контекстуальні нюанси, які люди інтуїтивно розуміють. Розуміння контексту є однією з найважливіших проблем у розвитку штучного інтелекту. На відміну від людей, які без зусиль інтерпретують значення на основі ситуаційної усвідомленості, культурних знань та історії розмов, традиційні системи штучного інтелекту працювали переважно на розпізнаванні образів та статистичному аналізі, не «розуміючи» по-справжньому ширшого контексту. Цей контекстуальний розрив проявляється різними способами: штучний інтелект може не розпізнати сарказм, не помітити значення культурних посилань або забути попередні частини розмови, які забезпечують вирішальний контекст для інтерпретації нової інформації. Це як розмовляти з кимось, хто має чудовий словниковий запас, але не має соціальної усвідомленості чи пам'яті про те, що ви сказали п'ять хвилин тому.

Контекст — це не окреме поняття, а радше багатовимірна структура, що охоплює різні елементи:
Лінгвістичний контекст включає слова, речення та абзаци, що оточують певне твердження. Коли хтось каже: «Я цього не можу витримати», значення різко змінюється, якщо попереднє речення звучить як «Цей стілець хитається» на відміну від «Ця музика прекрасна».

Ситуативний контекст включає розуміння середовища, часу та обставин, за яких відбувається спілкування. Запит на «вказівки» означає дещо інше, коли стоїш загублений на розі вулиці, ніж коли сидиш на конференції про лідерство.

Культурний контекст містить спільні знання, посилання та норми, які формують спілкування. Коли хтось згадує «грати Гамлета», він має на увазі нерішучість, але штучний інтелект без культурного контексту може почати декламувати Шекспіра.

Міжособистісний контекст включає динаміку стосунків, спільну історію та емоційні стани, які впливають на взаємодію. Друзі розуміють внутрішні жарти один одного та можуть виявляти ледь помітні зміни в тоні, які сигналізують про емоції.
Щоб системи штучного інтелекту справді розуміли контекст так, як це роблять люди, їм потрібно охопити всі ці виміри одночасно — це монументальний виклик, який поглинає дослідників протягом десятиліть.

Ранні спроби створити контекстно-залежний штучний інтелект значною мірою спиралися на системи, що базуються на правилах, та знання, що кодуються вручну. Розробники ретельно програмували тисячі правил «якщо-тоді» для обробки певних контекстів. Наприклад: «Якщо користувач згадує «пригнічений» і раніше говорив про співбесіду, то посилайтеся на цю співбесіду під час відповіді».

Такий підхід швидко став нестійким. Кількість потенційних контекстів практично нескінченна, і ручне програмування відповідей для кожного сценарію неможливе. Ці системи були крихкими, не могли узагальнюватися на нові ситуації та часто ламалися, стикаючись із неочікуваними вхідними даними. Статистичні методи, такі як n-грами та базове машинне навчання, дещо покращили ситуацію, дозволивши системам розпізнавати закономірності у використанні мови. Однак ці підходи все ще мали проблеми з довгостроковими залежностями – пов’язуючи інформацію, згадану набагато раніше в розмові, з поточними твердженнями – і не могли враховувати ширші світові знання. Ще більш складні підходи нейронних мереж, такі як ранні рекурентні нейронні мережі (RNN) та мережі довгої короткочасної пам’яті (LSTM), покращували контекстну обізнаність, але все ще страждали від «контекстної амнезії», коли розмови ставали тривалими або складними.

Прорив відбувся у 2017 році з появою архітектури Transformer, яка фундаментально змінила спосіб обробки послідовної інформації системами штучного інтелекту. На відміну від попередніх моделей, які обробляли текст по черзі, Transformers використовують механізм під назвою «самостійна увага», який дозволяє їм одночасно розглядати всі слова в уривку, зважуючи зв'язки між ними. Ця архітектура дозволила моделям фіксувати набагато довші контекстні залежності та підтримувати усвідомлення інформації, згаданої тисячі слів раніше. Відома стаття Васвані та ін. «Увага — це все, що вам потрібно» продемонструвала, що цей підхід може значно покращити якість машинного перекладу, краще зберігаючи контекстуальне значення різними мовами. Це архітектурне нововведення заклало основу для таких моделей, як BERT, GPT та їхніх наступників, які продемонстрували дедалі складніші можливості контекстного розуміння. Ці моделі попередньо навчаються на величезних корпусах тексту, що дозволяє їм засвоювати закономірності використання мови в незліченних контекстах, перш ніж їх точно налаштовувати для конкретних застосувань. Масштаб цих моделей зріс експоненціально, від мільйонів параметрів до сотень мільярдів, що дозволяє їм фіксувати дедалі тонші контекстні закономірності. Найбільші моделі зараз, схоже, мають рудиментарні форми знань «здорового глузду», які допомагають їм розрізняти заплутані посилання та розуміти неявне значення.

Хоча текстове контекстуальне розуміння значно просунулося, люди не покладаються виключно на слова для розуміння контексту. Ми інтерпретуємо ситуації за допомогою візуальних підказок, тону голосу, мови тіла та навіть ледь помітних факторів навколишнього середовища. Нещодавні прориви в мультимодальному штучному інтелекті починають долати цей розрив. Такі системи, як CLIP, DALL-E та їхні наступники, можуть поєднувати мову та візуальну інформацію, створюючи багатше контекстуальне розуміння. Наприклад, якщо показати зображення переповненого стадіону разом із текстом про «гру», ці системи можуть визначити, чи йдеться про бейсбол, футбол чи футбол, на основі візуальних підказок. Аудіовізуальні моделі тепер можуть виявляти емоційні стани за тоном голосу та виразом обличчя, додаючи ще один важливий рівень контекстуального розуміння. Коли хтось каже «Чудова робота» саркастично чи щиро, значення повністю змінюється — відмінність, яку починають усвідомлювати ці новіші системи. Наступний рубіж включає інтеграцію цих мультимодальних можливостей з розмовним штучним інтелектом для створення систем, які розуміють контекст одночасно по різних сенсорних каналах. Уявіть собі помічника на основі штучного інтелекту, який розпізнає, що ви готуєте (візуальний контекст), чує ваш роздратований тон (аудіо контекст), помічає, що ви читаєте рецепт (текстовий контекст), і пропонує відповідну допомогу без явних підказок.

Навіть із розвиненими мовними моделями, системи штучного інтелекту мали труднощі зі збереженням послідовної контекстної пам'яті протягом тривалої взаємодії. Ранні великі мовні моделі «забували» деталі, згадані раніше в розмові, або вигадували відповіді, замість того, щоб визнавати прогалини в знаннях. Нещодавні прориви в генерації з доповненим пошуком (RAG) усувають це обмеження, дозволяючи системам штучного інтелекту звертатися до зовнішніх баз знань та історії попередніх розмов. Замість того, щоб покладатися виключно на параметри, закодовані під час навчання, ці системи можуть активно шукати відповідну інформацію, коли це необхідно, подібно до того, як люди звертаються до своєї пам'яті. Контекстні вікна — обсяг тексту, який штучний інтелект може враховувати під час генерації відповідей — різко розширилися з кількох сотень токенів до сотень тисяч у найрозвиненіших системах. Це дозволяє набагато більш узгоджено генерувати довгий контент та розмовляти, що підтримує узгодженість протягом тривалих обмінів. Не менш важливими є досягнення в можливостях міркування. Сучасні системи тепер можуть виконувати багатоетапні завдання міркування, розбиваючи складні проблеми на керовані кроки, зберігаючи контекст протягом усього процесу. Наприклад, під час вирішення математичної задачі вони можуть відстежувати проміжні результати та припущення таким чином, що відображає робочу пам'ять людини.

Оскільки системи штучного інтелекту стають більш вправними у розумінні контексту, виникають нові етичні міркування. Системи, які враховують культурні та соціальні нюанси, потенційно можуть ефективніше маніпулювати користувачами або посилювати шкідливі упередження, присутні в навчальних даних. Здатність зберігати контекстуальну пам'ять під час взаємодій також викликає занепокоєння щодо конфіденційності. Якщо штучний інтелект пам'ятає особисті дані, якими поділилися тижні або місяці тому, і несподівано їх згадує, користувачі можуть відчувати, що їхню конфіденційність було порушено, навіть якщо вони добровільно поділилися цією інформацією. Розробники працюють над вирішенням цих проблем за допомогою таких методів, як контрольоване забування, механізми явної згоди на зберігання особистої інформації та стратегії зменшення упередженості. Мета полягає в тому, щоб створити штучний інтелект, який достатньо добре розуміє контекст, щоб бути корисним, не стаючи нав'язливим чи маніпулятивним. Існує також проблема прозорості. Оскільки контекстуальне розуміння стає все складнішим, користувачам стає все важче зрозуміти, як системи штучного інтелекту доходять до своїх висновків. Методи пояснення прийняття рішень штучним інтелектом у контекстно-залежних сценаріях є активною сферою досліджень.

Прориви в контекстуальному розумінні трансформують численні сфери:

У сфері охорони здоров'я контекстуально усвідомлений штучний інтелект може інтерпретувати скарги пацієнтів у рамках їхньої історії хвороби, способу життя та поточних ліків. Коли пацієнт описує симптоми, система може ставити відповідні додаткові запитання на основі цього всебічного контексту, а не дотримуватися загального сценарію.

Системи обслуговування клієнтів тепер зберігають історію розмов та інформацію про обліковий запис протягом усієї взаємодії, що усуває неприємну потребу повторювати інформацію. Вони можуть виявляти емоційні стани за мовними шаблонами та відповідно коригувати свій тон, стаючи більш формальними або емпатичними, залежно від контексту.

Освітні програми використовують контекстуальну усвідомленість для відстеження навчального шляху студента, виявлення прогалин у знаннях та помилкових уявлень. Замість того, щоб надавати стандартизований контент, ці системи адаптують пояснення на основі попередніх запитань студента, помилок та продемонстрованого розуміння.

Аналіз юридичних та фінансових документів отримує величезну користь від контекстуального розуміння. Сучасний штучний інтелект може інтерпретувати положення в ширшому контексті цілих контрактів, відповідного законодавства та судової практики, виявляючи невідповідності або потенційні проблеми, які можуть вислизнути від людських рецензентів, які мають справу з інформаційним перевантаженням.
Творчі інструменти, такі як помічники з написання текстів, тепер підтримують тематичну узгодженість у довгих творах, пропонуючи контент, який відповідає усталеним персонажам, місцям дії та наративним лініям, а не шаблонному завершенню тексту.

Заглядаючи в майбутнє, кілька перспективних напрямків досліджень можуть ще більше трансформувати контекстний ШІ:
Моделі епізодичної пам'яті мають на меті надати системам ШІ щось подібне до людської автобіографічної пам'яті — здатність запам'ятовувати конкретні події та переживання, а не лише статистичні закономірності. Це дозволило б набагато більш персоналізовану взаємодію на основі спільної історії.
Структури причинно-наслідкових міркувань прагнуть вийти за рамки розпізнавання закономірностей на основі кореляції та перейти до розуміння причинно-наслідкових зв'язків. Це дозволило б ШІ міркувати про контрфактичні ситуації («Що станеться, якщо...») та робити точніші прогнози в нових контекстах. Розробляються міжкультурні контекстуальні моделі, щоб зрозуміти, як контекст змінюється в різних культурних рамках, роблячи системи ШІ більш адаптивними та менш упередженими до західних культурних норм. Дослідження втіленого ШІ досліджують, як фізичний контекст — перебування в середовищі з можливістю взаємодії з ним — змінює контекстуальне розуміння. Роботи та віртуальні агенти, які можуть бачити, маніпулювати об'єктами та орієнтуватися в просторах, розробляють інші контекстуальні моделі, ніж текстові системи.
Кінцевою метою залишається створення штучного загального інтелекту (ЗШІ) з розумінням контексту, подібним до людського, — систем, які можуть безперешкодно інтегрувати всі ці форми контексту, щоб спілкуватися та міркувати про світ так само ефективно, як це роблять люди. Хоча ми ще далекі від цієї віхи, темпи проривів свідчать про те, що ми неухильно рухаємося в цьому напрямку.
У міру того, як ці технології продовжують розвиватися, вони трансформують наші стосунки з машинами від жорстких, командних взаємодій до гнучкої, контекстуально насиченої співпраці, яка все більше нагадує спілкування між людьми. Штучний інтелект, який справді розуміє контекст, — це не просто технічне досягнення, він являє собою фундаментальний зсув у технологічному розвитку людства.