Применение робастной нейросетевой фильтрации в задачах построения интеллектуальных интерфейсов

В последние годы возрос научный интерес к построению интеллектуальных интерфейсов для управления компьютером на основе биометрических данных. Одним из источников таких данных служит сигнал электромиографии (ЭМГ). Сигнал ЭМГ можно использовать для классификации жестов рук человека. Это позволяет организовать интуитивно понятный интерфейс «человек – компьютер». Основными проблемами при использовании сигналов ЭМГ являются наличие нелинейных шумов в сигнале и значительное влияние индивидуальных особенностей человека.

Цель работы – исследование возможностей применения нейронных сетей для фильтрации индивидуальных компонент сигнала ЭМГ.

Методы. Использованы математические методы обработки сигналов и методы машинного обучения.

Результаты. Проведен анализ исследований по теме обработки ЭМГ-сигналов. Предложена концепция интеллектуальной обработки биологических сигналов. Разработана модель фильтрации сигнала, построена структура сверточной нейронной сети на основе технологий Python 3, TensorFlow и Keras. Проведен эксперимент на наборе данных ЭМГ по фильтрации индивидуальных компонент сигнала.

Выводы. Продемонстрирована возможность применения искусственных нейронных сетей для выявления и подавления индивидуальных особенностей человека в биологических сигналах. При обучении сети основной упор делался на индивидуальные особенности, тестируя сеть на данных, полученных от субъектов, не участвующих в процессе обучения. Достигнуто уменьшение индивидуального шума в среднем на 5%. Для решения задачи классификации сигнала ЭМГ данный результат поможет избежать переобучения сети и повысить точность классификации жестов для новых пользователей.

1. Arruda L.M., Calado A., Boldt R.S., Yu.Y., Carvalho H., Carvalho M.A., Soares F., Matos D. Design and testing of a textile EMG sensor for prosthetic control. In: Garcia N.M., Rires I.M., Goleva R. (Eds.). IoT Technologies for HealthCare: 6th EAI International Conference, HealthyIoT 2019. Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering. Springer; 2020;341:37–51. https://doi.org/10.1007/978-3-030-42029-1_3

2. Hu Y., Wang H., Sheikhnejad O., Xiong Y., Gu H., Zhu P., Sun R., Wong C.P. Stretchable and printable medical dry electrode arrays on textile for electrophysiological monitoring. In: IEEE 69th Electronic Components and Technology Conference (ECTC). 2019;243–248. https://doi.org/10.1109/ECTC.2019.00043

3. Truong H., Zhang S., Muncuk U., Nguyen P., Bui N., Nguyen A., Dinh T.N., Vu T. CapBand: Battery-free successive capacitance sensing wristband for hand gesture recognition. In: Proceedings of the 16th ACM Conference on Embedded Networked Sensor Systems (SenSys ‘18). 2018;54–67. https://doi.org/10.1145/3274783.3274854

4. Goto D., Shiozawa N. Can textile electrode for ECG apply to EMG measurement? In: World Congress on Medical Physics and Biomedical Engineering. 2018;431–434. https://doi.org/10.1007/978-981-10-9038-7_81

5. Samuel O.W., Asogbon M.G., Geng Y., Al-Timemy A.H., Pirbhulal S., Ji N., Chen S., Li G. Intelligent EMG pattern recognition control method for upper-limb multifunctional prostheses: advances, current challenges, and future prospects. IEEE Access. 2019;7:10150–10165. https://doi.org/10.1109/ACCESS.2019.2891350

6. Raheema M.N., Hussain J.S., Al-Khazzar A.M. Design of an intelligent controller for myoelectric prostheses based on multilayer perceptron neural network. In: IOP Conf. Ser.: Mater. Sci. Eng. 2020;671(1):012064. https://doi.org/10.1088/1757-899X/671/1/012064

7. Sosa M., Oviedo G., Fontana J.M., O’Brien R., Laciar E., Molisani L. Development of a serious game controlled by myoelectric signals. In: The 8th Latin American Conference on Biomedical Engineering and The 42nd National Conference on Biomedical Engineering. CLAIB 2019. IFMBE Proceedings. 2019;75:1171–1177. https://doi.org/10.1007/978-3-030-30648-9_152

8. McIntosh J., Marzo A., Fraser M., Phillips C. EchoFlex: Hand gesture recognition using ultrasound imaging. In: Proceedings of The 2017 CHI Conference on Human Factors in Computing Systems. (CHI ‘17). 2017; 1923–1934. https://doi.org/10.1145/3025453.3025807

9. Lukyanchikov A.I., Melnikov A.O., Lukyanchikov O.I. Algorithms for classifi of a single channel EMG signal for human-computer interaction. In: ITM Web of Conferences. 2018;18:02001. https://doi.org/10.1051/itmconf/20181802001

10. Tavakoli M., Benussi C., Lopes P.A., Osorio L.B., de Almeida A.T. Robust hand gesture recognition with a double channel surface EMG wearable armband and SVM classifier. Biomed. Signal Process. Control. 2018;46: 121–130. https://doi.org/10.1016/j.bspc.2018.07.010

11. Chen C., Ma S., Sheng X., Zhu X. Continuous estimation of grasp kinematics with real-time surface EMG decomposition. In: International Conference on Intelligent Robotics and Applications. 2019;11744: 108–119. https://doi.org/10.1007/978-3-030-27541-9_10

12. Wang Y., Wang C., Wang Z., Wang X., Li Y. Hand gesture recognition using sparse autoencoder-based deep neural network based on electromyography measurements. In: Nano-, Bio-, Info-Tech Sensors, and 3D Systems II. 2018;105971D:163–169. https://doi.org/10.1117/12.2296382

13. Qi J., Jiang G., Li G., Sun Y., Tao B. Surface EMG hand gesture recognition system based on PCA and GRNN. Neural Comput. Appl. 2020;32(10):6343–6351. https://doi.org/10.1007/s00521-019-04142-8

14. Cappellari P., Gaunt R., Beringer C., Mansouri M., Novelli M. Identifying electromyography sensor placement using dense neural networks. In: Proceedings of The 7th International Conference on Data Science, Technology and Applications. 2018:130–141. http://dx.doi.org/10.5220/0006912501300141

15. Pal K.K., Banerjee P., Choudhuri S., Sampat S. Activity classification using Myo Gesture Control Armband data through machine learning. 2019. Available from URL: https://kuntalkumarpal.github.io/files/MC_Report.pdf

16. Noble W. What is a support vector machine? Nat. Biotechnol. 2006;24:1565–1567. https://doi.org/10.1038/nbt1206-1565

17. Breiman L. Random forests. Machine learning. 2001;45:5–32. https://doi.org/10.1023/A:1010933404324

18. Wright R.E. Logistic regression. In: Grimm L.G., YarnoldP.R.(Eds.).Readingandunderstandingmultivariate statistics. American Psychological Association; 1995. P. 217–244. https://psycnet.apa.org/record/1995-97110-007

19. Chen T., Guestrin C. XGBoost: A scalable tree boosting system. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ‘16). New York, NY, USA: Association for Computing Machinery; 2016. P. 785–794. https://doi.org/10.1145/2939672.2939785

20. Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W., Ye Q., Liu T.Y. LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems (NIPS 2017). Long Beach, CA, USA: 2017;30. Available from URL: https://proceedings.neurips.cc/paper/2017/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf

21. Sherstinsky A. Fundamentals of recurrent neural network (RNN) and long short-term memory (LSTM) network. Physica D: Nonlinear Phenomena. 2020 Mar. 1;404:132306. https://doi.org/10.1016/j.physd.2019.132306

22. Shi X., Chen Z., Wang H., Yeung D.Y., Wong W.K., Woo W.C. Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in Neural Information Processing Systems (NIPS 2015). 2015;28. Available from URL: https://papers.nips.cc/paper/2015/hash/07563a3fe3bbe7e3ba84431ad9d055af-Abstract.html

23. Chen C., Yu Y., Ma S., Sheng X., Lin C., Farina D., Zhu X. Hand gesture recognition based on motor unit spike trains decoded from high-density electromyography. Biomed. Signal Process. Control. 2020;55:101637. https://doi.org/10.1016/j.bspc.2019.101637

24. Atzori M., Müller H. The Ninapro database: A resource for sEMG naturally controlled robotic hand prosthetics. In: 2015 The 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2015:7151–7154. https://doi.org/10.1109/EMBC.2015.7320041

25. Андрианова Е.Г., Головин С.А., Зыков С.В., Лесько С.А., Чукалина Е.Р. Обзор современных моделей и методов анализа временных рядов динамики процессов в социальных, экономических и социотехнических системах. Российский технологический журнал. 2020;8(4):7–45. https://doi.org/10.32362/2500-316X-2020-8-4-7-45

26. Никонов В.В., Горчаков А.В. Тренировка моделей машинного обучения с использованием современных средств контейнеризации и облачной инфраструктуры. Промышленные АСУ и контроллеры. 2021;6: 26–36. https://doi.org/10.25791/asu.6.2021.1288

27. Kingma D.P., Ba J. Adam: A method for stochastic optimization. arXiv preprint arXiv.1412.6980. 2014. https://doi.org/10.48550/arXiv.1412.6980

28. Wang Z., Bovik A.C. Mean squared error: Love it or leave it? A new look at signal fidelity measures. In: IEEE Signal Processing Magazine. 2009;26(1):98–117. https://doi.org/10.1109/MSP.2008.930649