LLM для модерації контенту показали високу точність у дослідженні Стенфорда

Дослідники зі Стенфордського університету та Університету штату Аризона проаналізували можливості та обмеження використання великих мовних моделей (LLM) для модерації контенту на онлайн-платформах. Робота базується на практичних проєктах студентів навчального курсу «Trust and Safety» у Стенфорді.

Розробка ботів для Discord

У межах курсу студенти створювали ботів для платформи Discord на основі LLM, націлених на виявлення та модерацію конкретних типів шкідливого контенту. Автори дослідження провели інтерв'ю з 16 учасниками цих проєктів, щоб оцінити результати роботи систем.

Точність і розбіжності в оцінках

За спостереженнями студентів, мовні моделі продемонстрували високий рівень точності, який часто перевершував їхні початкові очікування. У випадках, коли рішення студента та вердикт моделі не збігалися, детальніший повторний аналіз нерідко підтверджував саме правоту LLM.

Виявлені обмеження технології

Поряд із високою ефективністю студенти зафіксували кілька суттєвих недоліків:

• Моделі виявилися надмірно чутливими до точного формулювання промптів.
• Системи зіткнулися з труднощами інтерпретації контексту, аналогічними до тих, що виникають у людей-модераторів і класичних класифікаторів машинного навчання.