logo
calendar27 Avgust 2026
view93
Основной язык:Узбекский

НАУЧНО-ТЕОРЕТИЧЕСКИЙ АНАЛИЗ МОДЕЛЕЙ ОПРЕДЕЛЕНИЯ СЕМАНТИЧЕСКОГО СХОДСТВА ТЕКСТОВ УЗБЕКСКОГО ЯЗЫКА

Область науки:Теория вычислений и математика
pdf

Allabergenova_Ilm-fan 1....pdf

PDF

АННОТАЦИЯ СТАТЬИ

quote
В области обработки естественного языка (NLP) определение семантической схожести текстов (Semantic Textual Simi- larity, STS) является основой для многих практических задач, таких как информационный поиск, вопросно-ответные системы, автоматическое обобщение текстов и сравнение документов. Для языков с ограниченными ресурсами, таких как узбекский язык, данная задача представляет особую сложность, что обусловленно богатой морфологической структурой языка и недостатком размеченных (аннотированных) корпусов данных. В результате традиционные статистические и векторные модели не обеспечивают достаточной точности при определении семантической схожести. В статье предлагается гибридный подход к определению семантической схожести текстов на узбекском языке, основанный на интеграции архитектуры сиамской нейронной сети с языковыми моделями на базе Transformer, в частности BERT и Sentence-BERT. В предложенной модели пары текстов кодируются с использованием сиамской сети с общими весами, а их семантическая близость оценивается в векторном пространстве. Результаты экспериментальных исследований показывают, что гибридная модель Siam-Transformer обладает более высокой точностьюи устойчивостью по сравнению с традиционными нейронными сетями и подходами, основанными на классических векторных представлений. В частности, наблюдается улучшение показателей по коэффициентам корреляции Спирмена и Пирсона. Кроме того, предложенный подход обладает преимуществами с точки зрения вычисл

АВТОРЫ

Теги

# (NLP)

ПОХОЖИЕ СТАТЬИ

ДРУГИЕ СТАТЬИ ЭТОГО ЖУРНАЛА

Оценить статью

0
оценок: 0
5
4
3
2
1

Идентификаторы статьи

DOI:

Недоступно

Список литературы

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. In Proceedings of the International Conference on Learning Representations (ICLR)

Mo‘minov, B. B., & Allaberganova, N. M. (2025a). Transformer arxitekturasiga asoslangan til modellari yordamida o‘zbek tili matnlarini semantik tahlil qilish. Raqamli transformatsiya va sun’iy intellekt, 3(3), 275–279

Mo‘minov, B. B., & Allaberganova, N. M. (2025b). Semantik tahlil dasturi va asosiy elementlari. Development of Science, 6(6), 68–79

Mueller, J., & Thyagarajan, A. (2016). Siamese recurrent architectures for learning sentence similarity. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, 2786–2792

Muminov, B. B., & Allaberganova, N. M. (2025). A semi-supervised framework named AugSBERT-UZ for high-performance semantic textual similarity in Uzbek. Science and Innovation International Scientific Journal, 4(11), 34–45. https://doi.org/10.5281/zenodo.17693973

Neculoiu, P., Versteegh, M., & Rotaru, M. (2016). Learning text similarity with Siamese recurrent networks. In Proceedings of the 1st Workshop on Representation Learning for NLP, 148–157

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. In Proceedings of NAACL-HLT, 2227–2237

Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT- networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP-IJCNLP), 3982–3992

Salaev, U., Kuriyozov, E., & Gómez-Rodríguez, C. (2022). SimRelUz: Similarity and relatedness scores as a semantic evaluation dataset for Uzbek language. In Proceedings of the 1st Annual Meeting of the ELRA/ISCA Special Interest Group on Under-Resourced Languages, 199–206

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems, 30, 5998–6008

Xo‘jamqulov, A., & Jumanazarov, J. (2025). Has multimodal learning succeeded enough to capture contextual meaning of human-to-human interaction? A survey. Digital Transformation and Artificial Intelligence, 3(3), 153–170

Xo‘jamqulov, A., & Xo‘jamqulova, N. (2024). Kompyuter ko‘rish va tabiiy tilni qayta ishlashdan foydalangan holda inson mehnat unumdorligini baholash imkoniyatlari. Digital Transformation and Artificial Intelligence, 2(3), 29–34

Xo‘jamqulov, A., Muxamadiyev, S., & Omonov, S. (2024). Integrating large language models with visual data for enhanced human–object interaction detection. In Proceedings of DTAI 2024, 306–309

Yao, T. (2021). Improving semantic meaning of BERT sentence embeddings. Stanford University

Zervanou, K., Iosif, E., & Potamianos, A. (2014). Word semantic similarity for morphologically rich languages. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014), 1642–1648

Zmigrod, R., Mielke, S. J., Wallach, H., & Cotterell, R. (2019). Counterfactual data augmentation for mitigating gender stereotypes in languages with rich morphology. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 1651–1661

Aggarwal, C. C., & Zhai, C. (2012). Mining text data. Springer, 514–518

Bobojonova, L., Akhundjanova, A., Ostheimer, P., & Fellenz, S. (2025). BBPOS: BERT-based part-of-speech tagging for Uzbek. In Proceedings of the Workshop on Low-Resource Semantic Language Modeling (LoReSLM), 287–293

Boudaa, S., Boudaa, T., & El-Haddadi, A. (2024). Semantic textual similarity: Overview and comparative study between Arabic and English. Computación y Sistemas, 28(3), 1209–1228

Cer, D., Diab, M., Agirre, E., Lopez-Gazpio, I., & Specia, L. (2017). SemEval-2017 Task 1: Semantic textual similarity multilingual and crosslingual evaluation. In Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), 1–14

Chen, X., Awadallah, A. H., Hassan, H., Wang, W., & Cardie, C. (2019). Multi-source cross-lingual model transfer: Learning what to share. In A. Korhonen, D. Traum, & L. Màrquez (Eds.), Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 3098–3112. https://doi. org/10.18653/v1/P19-1299

Chikoti, B. C., Jeelaga, K., Dande, A. S., & Kumar, S. (2022). Text similarity using Siamese networks and transformers. International Journal for Research in Applied Science and Engineering Technology, 10(6)

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 4171–4186

Dong, N., Qin, M., Chang, J., Wu, C. H., Ip, W. H., & Yung, K. L. (2022). Weighted triplet loss based on deep neural networks for loop closure detection in VSLAM. Computer Communications, 186, 153– 165

Kuriyozov, E., Vilares, D., & Gómez-Rodríguez, C. (2024). BERTbek: A pretrained language model for Uzbek. In Proceedings of the 3rd Annual Meeting of the Special Interest Group on Under- Resourced Languages at LREC-COLING, 33–44

Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to information retrieval. Cambridge University Press