В новому експерименті, проведеному в Стенфордському Університеті, досліджували корисність штучного інтелекту для праці над науковими статтями. Конкретно перевіряли чи можуть Великі Мовні Моделі (ВММ), такі як GPT-4, давати корисні відгуки на наукові праці, які б дозволяли ці праці покращувати.
В першій частині дослідження показано, що відгуки, згенеровані GPT-4, мають значний ступінь співпадіння з відгуками, написаними людськими експертами. Вчені випробували GPT-4 у понад 3000 статтях у журналі Nature та 1700 статтях конференції ICLR. Понад 30% коментарів від Великих Мовних Моделей співпадало з відгуками рецензентів, при чому для слабих статей (відкинутих ICLR) співпадіння було вищим і досягало 43%. На практиці це означає, що ШІ здатний на 30%-40% відсотків зменшити людські зусилля, спрямовані на покращення тексту. А якщо врахувати час на очікування відгуків, який буває дуже довгим, то економія взагалі вражаюча. І тут йдеться тільки про статті, які вже були надіслані на рецензування і на які вже було витрачено сотні годин праці. Підозрюю, що для сирого матеріалу штучний інтелект може стати незамінним помічником на кшталт автоматичної перевірки орфографії.
В другій частині наведені результати опитування 308 дослідників з 110 навчальних закладів США в галузі штучного інтелекту та обчислювальної біології. Вчені намагалися з’ясувати, як дослідники сприймають відгуки, створені системою на базі GPT-4 на їхніх власних статтях. Загалом більше половини (57,4%) користувачів вважали, що відгуки, створені GPT-4, є корисними або дуже корисними, і 82,4% вважали їх кориснішими, ніж відгуки хоча б деяких людських рецензентів.
Отже, результати цього дослідження свідчать про те, що Великі Мовні Моделі можуть допомогти дослідникам у покращенні якості їхніх наукових робіт, особливо коли експертні відгуки не доступні вчасно або на етапі підготовки рукопису до публікації. Враховуючи ці обмеження, можна стверджувати, що використання Великих Мовних Моделей та експертних відгуків можуть взаємодіяти та доповнювати один одного, забезпечуючи більш якісний та ефективний науковий процес.
P.S. Як додаткова демонстрація потужності генеративного штучного інтелекту, такого як Великі Мовні Моделі, скажу, що прочитаний вами текст був створений за допомоги ChatGPT. Це не значить, що він повністю був згенерований машиною, але використання ВММ значно пришвидшило його написання.