Автоматический поиск, выделение ошибок и аномалий в договорах

Для анализа документа система использует технологии машинного обучения с применением метода выявления аномалий в тексте. Так как разные типы документов отличаются по наполнению, структуре и обязательным пунктам, первостепенной задачей является его классификация по типу. Более того, семантика каждой главы документа имеет свою уникальную специфику, поэтому алгоритмы настроены для раздельной работы с ними.

После того как данные прошли этап предподготовки и очистки, текст преобразуется к векторному представлению для дальнейшего анализа с помощью нейронных сетей. После получения данных на выходе (output) происходит измерение схожести предложений с использованием метода косинусного расстояния. Так как при применении нейронных сетей валидация модели является непростой задачей, мы прибегаем к созданию синтетических данных – ошибок и неточностей в тексте, чтобы протестировать работу модели.

• Снижение финансовых и репутационных рисков (в том числе связанных с «закладками» в договорах) и значительное сокращение трудозатрат.
• Технология помогает менеджерам проводить внутренний аудит, оценивать проделанную сотрудниками работу. В дальнейшем это помогает предотвратить риски, вызванные человеческим фактором.
• Сотрудники, работающие с договорами, получают инструмент, который помогает им заметить потенциально опасные параметры договора.

Данное исследование проводилось для того, чтобы протестировать возможности технологий машинного обучения в выявлении аномалий в тексте и их применимости к реальным документам. Для решения задачи при составлении обучающего текстового корпуса были собраны две базы: собственные договоры Digital Design и договоры с сайта государственных закупок (http://zakupki.gov.ru).

Перед разработкой модели были проанализированы разные виды договоров и выявлены отличия по содержанию, предмету , основным главам и др. Данный анализ послужил основой для классификации договоров.

Для перевода слов в вектора был использован алгоритм word2vec. Слова, которые являются изменяемыми договорах, но имеют одинаковый контекст, были представлены в виде векторов с минимальным расстоянием между ними.

Для сравнения предложений использовались различные метрики расстояния между точками, включая косинусное расстояние. Благодаря алгоритму определения расстояния между двумя векторами определялась мера схожести предложений.

После построения модели выделения аномалий в договорах было проведено её тестирование с использованием искусственно созданных ошибок в документах. В результате модель смогла найти ошибки и дать рекомендации по их исправлению; сравнить предложения и найти сходные по смыслу.