Глубинное обучение (англ. deep learning) является новомодным названием для построения многослойных перцептронов, известных в кибернетике, по крайней мере, с начала 1960-х [1]. Интересно отметить, что сама идеология построения такого рода систем была проработана ещё в 1930-х в лингвистике (гипотеза лингвистической относительности Сепира — Уорфа, общая семантика [2] и др. ) и, отчасти, стимулировала развитие алгоритмической теории информации [3], в т.ч. подходов к анализу колмогоровской сложности [4]. Современные методы анализа больших данных, основанные на теории классификации значений признаков, позволяют в явном виде оперировать со слоями данных, которые являются “скрытыми” при т.н. “глубинном обучении” [5], и выявлять семантические особенности текстов, неочевидные при использовании простых статистических методов или тематического моделирования.
1. Ивахненко А. Г., Лапа В. Г. Кибернетические предсказывающие устройства. — К.: «Наукова думка», 1965. — 216 с. — ISBN 978-5-458-61159-6.
2.Korzybski, Alfred (1994). Science and Sanity: An Introduction to Non-Aristotelian Systems and General Semantics (5th ed.). Brooklyn, NY: Institute of General Semantics. p. xxxv. ISBN 0-937298-01-8.
3. Solomonoff, Ray (March 1964). “A Formal Theory of Inductive Inference Part I” (PDF). Information and Control. 7 (1): 1—–22. DOI:10.1016/S0019-9958(64)90223-2
4. Колмогоров А. Н. Комбинаторные основания теории информации и исчисления вероятностей. УМН, 38(4), 1983, с.27-36.
5. Torshin IY, Rudakov, KV (2017). Combinatorial analysis of the solvability properties of the problems of recognition and completeness of algorithmic models. Part 1: Factorization approach. Pattern Recognition and Image Analysis. 27. 16-28. 10.1134/S1054661817010151.