NLP (Natural Language Processing, обработка естественного языка) в искусственном интеллекте (ИИ) – это область компьютерных наук и искусственного интеллекта, направленная на взаимодействие между компьютерами и человеческими (естественными) языками.
Естественный язык – это язык, на котором говорят люди, например, русский, английский, китайский и другие.
Цель технологии NLP – разработка алгоритмов, которые позволяют компьютерам понимать, интерпретировать и генерировать человеческий язык. Простыми словами, это математические правила и инструкции, которые использует компьютер, чтобы перевести наш вопрос, устный или письменный, на свой «компьютерный» язык и наоборот – перевести свой ответ с «компьютерного» языка на человеческий.
К основным задачам NLP относятся:
-
-
— Морфологический анализ: Разбор слов по их составляющим частям (например, префиксам, корням, суффиксам). Всё как в начальной школе 😉.
— Синтаксический анализ: Определение грамматической структуры предложения.
— Семантический анализ: Определение смысла и значения слов и предложений.
— Распознавание именованных сущностей: Выделение из текста имён, дат, организаций и других сущностей.
— Распознавание и синтез речи: Преобразование устной речи в текст и наоборот.
— Анализ эмоциональной окраски текста: Выделение из текста его субъективных характеристик, например эмоциональной составляющей.
— Машинный перевод: Перевод текста с одного языка на другой.
-
Сегодняшний уровень технологий ИИ – это дети 7–10 лет. Они знают отдельные слова, могут строить предложения, но путают значения слов, неправильно ставят ударения при произношении, неправильно подбирают окончания слов и прочие прелести, которые умиляют при общении с детьми и раздражают при общении с ИИ.
Углубимся в историю.
В 1950 году математик Алан Тьюринг представил свою знаменитую статью «Вычислительные машины и разум» (оригинальное название «Computing Machinery and Intelligence»).