cyberspaceФилософские проблемы информационных технологий и киберпространстваPhilosophical Problems of IT & Cyberspace (PhilIT&C)2305-3763Пятигорский государственный университет10.17726/philIT.2015.10.2.004.89cyberspace-192Research ArticleПРИКЛАДНЫЕ АСПЕКТЫ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙМетод семантического сравнения нечеткой информации при проверке текстов на наличие плагиатаMETHOD OF THE SEMANTIC COMPARISON OF FUZZY INFORMATION ON TEXT PLAGIARISMКомарницкаяО. И.KomarnitskayaO. I.kater_is@mail.ruКомарницкаяИ. И.KomarnitskayaI. I.kater_is@mail.ruНациональная академия Государственной пограничной службы УкраиныРоссияThe National Academy of the State Border Guard Service of UkraineRussian Federation20150807202102127139Copyright © Комарницкая О.И., Комарницкая И.И., 20212021Комарницкая О.И., Комарницкая И.И.Komarnitskaya O.I., Komarnitskaya I.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://cyberspace.pgu.ru/jour/article/view/192

В статье проанализированы известные системы анализа текстов на наличие плагиата. Предложен новый метод лингвистического анализа, который определяет латентные ассоциативно-семантические зависимости во множестве документов. Данный метод позволяет: частично устранять омонимию, полисемию и синонимию; исправлять слова, написанные с орфографическими и техническими ошибками; учитывать синтаксические отношения, логику построения терм в контексте предметной сферы. Разработанный алгоритм семантического сравнения нечеткой текстовой информации (исходный текст, представленный для проверки на естественном языке в произвольной форме, с вариантами текстов, имеющихся в локальных базах данных, и контентом Интернета) предусматривает автоматическую конвертацию исходного текста на естественном языке к внутрисистемному виду, экстракцию лексических единиц текста с последующим осуществлением морфологического, синтаксического, семантического и прагматического анализа. Применение разработанного алгоритма позволяет устранять ошибки, которые могут быть в исходном тексте (неправильные окончания, нестандартные сокращения и т.д.), определять принадлежность исходного текста к определенной предметной области, выявлять степень семантического сходства исходного текста, формировать общую оценку степени сходства текстов по комплексному показателю. Применение такого подхода будет повышать достоверность и обоснованность вывода о наличии плагиата в документах.

Famous systems of text analysis on the presence of plagiarism have been analyzed in the article. A new method of linguistic analysis has been proposed, which determines the latent and semantic associative dependencies in the set of documents; partially eliminates homonymy, polysemy and synonymy; corrects the words written with spelling and technical mistakes; takes into account the syntactic relations, logic of the term building in the context of the subjective area. The developed algorithm of the semantic comparison of fuzzy text information (the original text submitted for testing in natural language in any form, with text versions available in the local databases and content on the Internet) assumes automatic conversion of the original natural language text into the intra-system form, extraction of the text lexical units followed by the implementation of morphological, syntactic, semantic and pragmatic analysis. The use of the algorithm makes it possible to eliminate errors that may be in the source text (the wrong endings, unusual shortenings, etc.) to determine the source text belonging to a particular subject area, to identify the degree of semantic similarity of the source text, to form an overall assessment of the degree of similarity of texts by complex indicator. The usage of this approach will increase the conclusion’s reliability and validity on the presence of plagiarism in documents.

анализантиплагиатлингвистический анализметодплагиатсемантический анализсервиссистемаanalysisanti-plagiarismlinguistic analysismethodplagiarismsemantic analysisservicesystemReferencesШостак И.В., Груздо И.В. Компьютеризация процесса выявления плагиата в студенческих работах // Сборник научных трудов Военного института Киевского национального университета имени Тараса Шевченко. Киев, 2013. Вып. 41. - С. 99-109Шостак И.В., Груздо И.В. Компьютеризация процесса выявления плагиата в студенческих работах // Сборник научных трудов Военного института Киевского национального университета имени Тараса Шевченко. Киев, 2013. Вып. 41. - С. 99-109Лупаренко Л.А. Данные сравнительного анализа инструментов поиска текстового плагиата (сравнительные таблицы) // Информационные технологии и средства обучения. 2014. Т. 40. № 2Лупаренко Л.А. Данные сравнительного анализа инструментов поиска текстового плагиата (сравнительные таблицы) // Информационные технологии и средства обучения. 2014. Т. 40. № 2Шарапов Р.В., Шарапова Е.В. Система проверки текстов на заимствования из других источников // Труды 13-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции». - RCDL’2011, Воронеж, Россия, 2011. - С. 121-126Шарапов Р.В., Шарапова Е.В. Система проверки текстов на заимствования из других источников // Труды 13-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции». - RCDL’2011, Воронеж, Россия, 2011. - С. 121-126Резанова З.И., Романов А.С., Мещеряков Р.В. О выборе признаков текста, релевантных в автороведческой экспертной деятельности // Вестник Томского государственного университета. Филология. 2013. № 6(26). - С. 38-52Резанова З.И., Романов А.С., Мещеряков Р.В. О выборе признаков текста, релевантных в автороведческой экспертной деятельности // Вестник Томского государственного университета. Филология. 2013. № 6(26). - С. 38-52Ширяев М.А., Мустакимов В. Plagiatinform избавит от плагиата в научных работах // Educational Technology & Society. 2008. № 11(1). - С. 367-374. (Ширяев М.А., Мустакимов В. Plagiatinform избавит от плагиата в научных работах // Educational Technology & Society. 2008. № 11(1). - С. 367-374. (Неелова Н.В., Сычугов А.А. Сравнение результатов детектирования дублей методом шинглов и методом Джаккарда // Вестник РГРТУ. 2010. № 4. Вып. 34). - С. 72-78Неелова Н.В., Сычугов А.А. Сравнение результатов детектирования дублей методом шинглов и методом Джаккарда // Вестник РГРТУ. 2010. № 4. Вып. 34). - С. 72-78Дягилев В.В., Цхай А.А., Бутаков С.В. Архитектура сервиса определения плагиата, исключающая возможность нарушения авторских прав // Вестник НГУ. Серия: Информационные технологии. Барнаул, 2011. Том 9. Вып. 3. - С. 26-29Дягилев В.В., Цхай А.А., Бутаков С.В. Архитектура сервиса определения плагиата, исключающая возможность нарушения авторских прав // Вестник НГУ. Серия: Информационные технологии. Барнаул, 2011. Том 9. Вып. 3. - С. 26-29Шахрай С.М., Аристер Н.И., Тедеев О.О. О плагиате в произведениях науки (диссертациях на соискание ученой степени): научно-методическое пособие. М.: МИИ, 2014. - 176 сШахрай С.М., Аристер Н.И., Тедеев О.О. О плагиате в произведениях науки (диссертациях на соискание ученой степени): научно-методическое пособие. М.: МИИ, 2014. - 176 сBroder A. On the resemblance and containment of documents // Compression and Complexity of Sequences (SEQUENCES’97). IEEE Computer Society, 1998. - P. 21-29. 10. Большой толковый словарь современного украинского языка. Киев: Ирпень; ВТФ «Перун», 2005. - С. 977Broder A. On the resemblance and containment of documents // Compression and Complexity of Sequences (SEQUENCES’97). IEEE Computer Society, 1998. - P. 21-29. 10. Большой толковый словарь современного украинского языка. Киев: Ирпень; ВТФ «Перун», 2005. - С. 977Stein B., Koppel M. Plagiarism Analysis, Authorship Identification, and Near-Duplicate Detection PAN’07 (англ.) // ACM SIGIR Forum. 2011. - Р. 68-71.Stein B., Koppel M. Plagiarism Analysis, Authorship Identification, and Near-Duplicate Detection PAN’07 (англ.) // ACM SIGIR Forum. 2011. - Р. 68-71.Мартыненко Г.Я. Основы стилеметрии. Л.: Изд-во ЛГУ, 1988. - 176 с.Мартыненко Г.Я. Основы стилеметрии. Л.: Изд-во ЛГУ, 1988. - 176 с.Комарницкая О.И. Совершенствование алгоритма латентно-семантического анализа нечеткой текстовой информации // Современный научный вестник. 2014. № 29(225). Серия: Филологические науки. Белгород: Руснаучкнига, 2014. - С. 58-62Комарницкая О.И. Совершенствование алгоритма латентно-семантического анализа нечеткой текстовой информации // Современный научный вестник. 2014. № 29(225). Серия: Филологические науки. Белгород: Руснаучкнига, 2014. - С. 58-62Катеринчук И.С., Кулик В.Н., Комарницкая О.И. Интеллектуальная автоматизированная система контроля знаний: лингвистическая подсистема // Информационные технологии в образовании: сборник научных трудов. Вып. 7. Херсон: Изд-во ХГУ, 2010. - С. 33-39Катеринчук И.С., Кулик В.Н., Комарницкая О.И. Интеллектуальная автоматизированная система контроля знаний: лингвистическая подсистема // Информационные технологии в образовании: сборник научных трудов. Вып. 7. Херсон: Изд-во ХГУ, 2010. - С. 33-39

The authors declare that there are no conflicts of interest present.