cyberspaceФилософские проблемы информационных технологий и киберпространстваPhilosophical Problems of IT & Cyberspace (PhilIT&C)2305-3763Пятигорский государственный университет10.17726/philIT.2024.2.4cyberspace-325Research ArticleСтатьиЭволюция методов обработки естественного языкаEvolution of natural language processing methodsБесединаА. Ю.BesedinaA. Yu.

Беседина Анастасия Юрьевна, студентка 1-го курса магистратуры кафедры теории и практики перевода Института переводоведения, русистики и многоязычия

Пятигорск 

Besedina Anastasia Yuryevna, first-year graduate student, Department of Theory and Practice of Translation Institute of Translation Studies, Russian Studies and Multilingualism

Pyatigorsk 

nastya.besedina.02@mail.ruПятигорский государственный университетРоссияPyatigorsk State UniversityRussian Federation202414012025025263Copyright © Беседина А.Ю., 20252025Беседина А.Ю.Besedina A.Y.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://cyberspace.pgu.ru/jour/article/view/325

Обработка естественного языка (Natural language processing, NLP) претерпела значительные изменения в своей методике, что отражает прогресс в области вычислительных технологий и когнитивных исследований. В данном обзоре мы осветим ключевые моменты эволюции методов анализа естественного языка. В статье затрагивается тема первых разработанных систем NLP, приведены обоснования причин сложности некоторых обрабатываемых текстов и возможной глубины анализа. Кроме того, здесь описаны не только методы NLP до и после GPT-революции, но и современные тенденции и перспективы в сфере обработки естественного языка. Статья позволяет проследить, как менялось представление о тексте на естественном языке в ходе развития компьютерных методов анализа, а также разобраться, чем является текст в зеркале обработки естественного языка, что в действительности является предметом исследования обработки естественного языка и чего нельзя увидеть глазами простого исследователя, не использующего методы NLP.

Natural language processing (NLP) has undergone significant changes in its methods, reflecting advances in computing technology and cognitive research. This article reviews the key stages of the evolution of natural language processing methods. The article touches on the topic of the first NLP systems developed, provides justification for the reasons for the complexity of some processed texts and the possible depth of analysis. In addition, it describes not only NLP methods before and after the GPT revolution, but also current trends and prospects in the field of natural language processing. The article allows us to trace how the idea of natural language text has changed during the development of computer analysis methods, as well as to understand what text is in the mirror of natural language processing, what is really the subject of natural language processing research and what cannot be seen through the eyes of a simple researcher who does not use NLP methods.

обработка естественного языкаанализ текставиртуальные ассистентытрансформерыискусственный интеллектнейронные сетиnatural language processingtext analysisvirtual assistantstransformersartificial intelligenceneural networksReferencesБольшакова Е. И., Клышинский Э. С., Ландэ Д. В., Носков А. А., Пескова О. В., Ягунова Е. В. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб. пособие. М.: МИЭМ, 2011. 272 с.Bolshakova E. I., Klyshinsky E. S., Lande D. V., Noskov A.A., Peskova O. V., Yagunova E. V. Automatic text processing in natural language and computational linguistics: textbook. the manual. M.: MIEM, 2011. 272 p.Гольдберг Й. Нейросетевые методы в обработке естественного языка. Пер. с англ. А. А. Слинкина. М.: ДМК Пресс, 2019. 282 с.Goldberg J. Neural network methods in natural language processing. Translated from English by A.A. Slinkin. M.: DMK Press, 2019. 282 p.Леонтьева Н. Н. Автоматическое понимание текстов: системы, модели, ресурсы: учеб. пособие. М.: ИЦ «Академия», 2006. 304 с.Leontieva N. N. Automatic understanding of texts: systems, models, resources: a textbook. M.: IC “Academia”, 2006. 304 p.Manning C. D., Schütze H. Foundations of Statistical Natural Language Processing, 8, [print.]-е изд. Cambridge, Massachusetts: The MIT Press, 2005. 720 p.Manning C. D., Schütze H. Foundations of Statistical Natural Language Processing, 8, [print.]-е изд. Cambridge, Massachusetts: The MIT Press, 2005. 720 p.Bird S., Klein E., Loper E. Natural language processing with Python. 1st ed-е изд. Beijing; Cambridge [Mass.]: O’Reilly, 2009. 479 c.Bird S., Klein E., Loper E. Natural language processing with Python. 1st ed-е изд. Beijing; Cambridge [Mass.]: O’Reilly, 2009. 479 c.Тюрина Д. А., Пальмов С. В. Применение нейронных сетей в обработке естественного языка // Журнал прикладных исследований. 2023. № 7. C. 158-162.Tyurina D.A., Palmov S. V. Application of neural networks in natural language processing // Journal of Applied Research. 2023. № 7. P. 158-162.Jackson P., Moulinier I. Natural Language Processing for Online Applications: Text Retrieval, Extraction and Categorization // Computational Linguistics. 2003. № 29. P. 510-511.Jackson P., Moulinier I. Natural Language Processing for Online Applications: Text Retrieval, Extraction and Categorization // Computational Linguistics. 2003. № 29. P. 510-511.Jelinek F. Statistical methods for speech recognition. Cambridge (GB): MIT press, 1998. 305 p.Jelinek F. Statistical methods for speech recognition. Cambridge (GB): MIT press, 1998. 305 p.Jurafsky D., Martin J. H. Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. 2023. 636 p.Jurafsky D., Martin J. H. Speech and Language ProcessingAn Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. 2023. 636 p.Kumar L.A., Renukay D. K. Deep learning approach for natural language processing, speech, and computer vision: techniques and use cases. First edition-е изд., Boca Raton, FL: CRC Press, 2023. 246 p.Kumar L.A., Renukay D. K. Deep learning approach for natural language processing, speech, and computer vision: techniques and use cases. First edition-е изд., Boca Raton, FL: CRC Press, 2023. 246 p.Garg M., Kumar S. Natural language processing and information retrieval: principles and applications. London, New York: CRC Press, 2024. 271 p.Garg M., Kumar S. Natural language processing and information retrieval: principles and applications. London, New York: CRC Press, 2024. 271 p.Manning C. D., Raghavan P., Schütze H. Introduction to information retrieval. Cambridge: Cambridge university press, 2008. 528 p.Manning C. D., Raghavan P., Schütze H. Introduction to information retrieval. Cambridge: Cambridge university press, 2008. 528 p.Everaert M. B. H., Huybregts M.A. C., Chomsky N., Berwick R. C., Bolhuis J. J. Structures, not strings: Linguistics as part of the cognitive sciences // Trends in Cognitive Sciences. 2015. № 19(12). P. 729-743.Everaert M. B. H., Huybregts M.A. C., Chomsky N., Berwick R. C., Bolhuis J. J. Structures, not strings: Linguistics as part of the cognitive sciences // Trends in Cognitive Sciences. 2015. № 19(12). P. 729-743.Mihalcea R., Radev D. Graph-based natural language processing and information retrieval. Cambridge; New York: Cambridge University Press, 2011. 192 p.Mihalcea R., Radev D. Graph-based natural language processing and information retrieval. Cambridge; New York: Cambridge University Press, 2011. 192 p.Rothman D. Transformers for natural language processing and computer vision: explore generative AI and large language models with Hugging Face, ChatGPT, GPT-4V, and DALL-E3. Third edition, revised publication Sept 2024-е изд., Birmingham, UK Mumbai: Packt Publishing Ltd, 2024. 693 p.Rothman D. Transformers for natural language processing and computer vision: explore generative AI and large language models with Hugging Face, ChatGPT, GPT-4V, and DALL-E3. Third edition, revised publication Sept 2024-е изд., Birmingham, UK Mumbai: Packt Publishing Ltd, 2024. 693 p.

The authors declare that there are no conflicts of interest present.