Модификация алгоритма глубинного обучения с подкреплением для модели двигательного аппарата человека с протезом

Разработка протезов - дорогостоящий процесс, требующий значительного количества времени. Одной из причин этого является то, что для тестирования полученных конструкций требуется привлечение людей в качестве испытуемых, что приводит к значительным трудностям в получении информации о качестве конструкции протеза. Альтернативой испытаниям на реальных подопытных является использование высокоточной компьютерной симуляции физических и биомеханических процессов. Важной частью такой симуляции является алгоритм, контролирующий движения симулируемой физической модели опорно-двигательного аппарата. На данный момент большинство таких симуляций используют алгоритмы, основанные на экспериментальных данных или знании биомеханических процессов конкретного типа движения. Их использование для тестирование новой конструкции протеза не представляется возможным, поскольку для этого требуются знания о взаимодействии человека и протеза, получение которых и является целью эксперимента. В данной работе исследуется возможность разработки алгоритмов, контролирующих модель опорно-двигательного аппарата при помощи методов обучения с подкреплением. Главным отличием такого подхода является то, что он позволяет адаптироваться к новым конструкциям протеза похожим на человека способом. Представленное в работе решение было протестировано при помощи симулятора OpenSim и метрики, предложенной Лабораторией Нейромышечной Биомеханики Стенфорда, а так же заняло шестое место в соревновании NeurIPS 2018: AI for Prosthetics Challenge.