Новости цивилизации ИИ Клоны Роботы

В Китае создан совершенный ИИ-цензор

Два года назад компания Google представила новый поисковый алгоритм BERT для лучшей обработки запросов на разных языках. С помощью нейронной сети алгоритм анализирует не отдельные слова, а предложения целиком, что существенно улучшает релевантность выдачи. Оказалось, что на базе BERT можно создать крайне эффективного ИИ-цензора, чем воспользовались китайские разработчики.

Он позволяет находить подлежащие цензуре тексты с точностью в 91%, утверждают исследователи. При этом, например, поиск по ключевым словам даёт точность в 70%, а у обученной людьми нейросети — 80%.

Алгоритм Google BERT с открытым кодом не может анализировать тексты длиной более 512 слов. Чтобы обойти это ограничение разработчики из Шэньянского университета Лигун и Китайской академии наук разработали алгоритм для разбивки больших текстов на доступные для анализа с помощью BERT и технологию последующей сборки текстов до первоначального объёма. Получилось решение, которое может искать даже скрытый между строк подтекст.

Интернет в Китае находится под строгим контролем правительства. Среди запрещённых в китайском интернет-пространстве тем — порнография, злоупотребление наркотиками, оружие и терроризм.

Изображение Pete Linforth с сайта Pixabay
Безопасность
Made on
Tilda