또 다른 흥미로운 분야는 로봇이 다양한 유형의 정보를 이해하도록 가르치는 것이다. 예를 들면 주변 환경의 3D 지도, 촉각 센서, 인간의 행동에서 얻은 데이터 같은 것들이다. 이런 모든 다양한 입력을 결합함으로써 로봇은 인간처럼 주변 환경을 이해하는 방법을 배울 수 있다.
이런 모든 연구 아이디어는 현실에서 더 다양한 작업을 처리할 수 있는 더 스마트하고 다재다능한 로봇을 만드는 것을 목표로 한다. 오늘날의 로봇 학습 시스템 한계를 극복하고 로봇의 역량을 확대하는 것이 핵심이다. MIT 연구에 대한 기사에 따르면, “연구팀은 데이터 다양성이 HPT 성능을 어떻게 향상할 수 있는지 연구할 계획이며, GPT-4와 같은 LLM처럼 라벨링되지 않은 데이터를 처리할 수 있도록 HPT를 강화할 예정”이라고 전했다.
궁극적인 목표는 추가 훈련 없이도 다운로드하여 사용할 수 있는 ‘범용 로봇 두뇌’를 만드는 것이다. 본질적으로 HPT를 사용하면 로봇이 인간처럼 더 자연스럽게 작업할 수 있다. 실제 세계에서는 조립 라인에 신입 직원이 투입되면 따로 훈련받지 않아도 물건을 집어 들고 이동하며, 물건을 다루고 시각적으로 물건을 식별하는 방법을 알고 있다. 이후 신입 직원은 경험을 쌓으며 자신감을 얻고 추가적인 기술을 습득한다. MIT 연구팀은 HTP로 훈련된 로봇도 이와 같은 방식으로 작동할 것으로 기대한다.
