‹ 연구 목록

건설 협동 작업을 위한 인간-로봇 인터랙티브 커뮤니케이션 시스템 디자인 및 개발

Interactive Communication System for Human-Robot Collaboration in Construction

연구 기간
2021.10 – 2023.09
발주 기관
서울대학교
연구 개요 Overview
본 연구의 목표는 (1) 작업자-로봇 간 상호작용형 의사소통을 통해 건설 협업 로봇에 계획된 작업 지점을 할당하고, (2) 로봇이 인식 알고리즘을 통해 작업 지시의 내용과 의도 및 작업 공간의 형상을 인식하며, (3) 모션 플래닝을 통해 건설 작업용 매니퓰레이터의 궤적을 계획하여 최종적으로 작업을 수행하는 시스템을 개발하는 것이다.
The objective of this study is (1) Allocating planned work points to construction collaboration robots through worker-robot interactive communication.
(2) The robot recognizes the content and intention of the work instruction and the geometry of the work space through the recognition algorithm. (3) The goal of developing a system that finally performs the work by planning the trajectory of a manipulator for construction work through motion planning.
연구 내용 Research Content
본 연구는 건설 협업을 위한 인간-로봇 상호작용형 의사소통 시스템을 개발하는 것을 목표로 하며, 연구 목표 달성에 필요한 요소 원천기술을 개발하고 3D 시뮬레이션 및 현장 적용성 테스트를 통해 시스템을 검증할 계획이다. 본 연구는 (1) 작업자-로봇 간 상호작용형 의사소통을 통해 건설 협업 로봇에 계획된 작업 지점을 할당하고, (2) 인식 알고리즘을 통해 작업 지시의 내용과 의도, 작업 공간의 형상을 인식하며, (3) 최종적으로 건설 작업용 기계를 개발할 계획이다.

1) 작업자와 로봇 간 상호작용형 의사소통 시스템
ㅇ 다중 3D 비전(RGB-D 카메라, LiDAR)을 통한 3D 포인트 클라우드 데이터 수집 및 컴퓨터 비전을 활용한 데이터 처리
ㅇ 작업 지점 인식 알고리즘 개발
– 딥러닝 기반 3D 자세 추정 기술을 통한 작업자 자세 추정 (1차: 작업 영역 추정)
– 추정된 작업 영역 내 레이저 포인터 인식 (2차: 작업 지점 추정)
ㅇ 로봇 엔드 이펙터의 3D 비전을 통한 작업 공간 형상 인식 기술 개발

2) 시스템 적용 협업 로봇 플랫폼 개발 및 3D 로봇 시뮬레이션을 통한 시스템 검증
ㅇ 모션 플래닝 기술(OMPL 활용)을 통한 매니퓰레이터의 건설 작업 궤적 계획
ㅇ 작업 지점 인식 및 궤적 계획 알고리즘 시스템 통합 및 협업 로봇 플랫폼 구축
ㅇ 협업 로봇을 활용한 작업 설정 및 유사 작업 환경 시나리오 구성
ㅇ 로봇 시뮬레이터(Gazebo)와 개방형 로봇 운영체제(ROS)를 활용한 외부 환경 디지털 트윈 생성
ㅇ 디지털 트윈 내 3D 로봇 시뮬레이션을 통한 시스템 검증

3) 시스템 적용성 테스트 및 개선 방안 도출을 위한 테스트베드
ㅇ 현장 테스트용 상호작용형 의사소통 시나리오 구성
ㅇ 평가 항목 및 데이터 수집 계획 수립
ㅇ 테스트베드를 통한 시스템 적용성 테스트
ㅇ 현장 작업자의 HRI 사용자 경험 평가
ㅇ 결과 분석 및 피드백을 통한 시스템 개선 방안 도출

연구 지원
서울대학교 (과제번호: 0583-20210090)
This study aims to develop a human-robot interactive communication system for construction cooperation, and plans to develop source element technologies necessary to achieve research goals and verify the system through 3D simulation and field applicability tests. This study allocates planned work points to construction collaboration robots through worker-robot interactive communication, (2) recognizes the content and intention of work instructions, workspace geometry through recognition algorithms, and (3) plans to finally develop a machine for construction work.

1) Interactive communication system between workers and robots.
ㅇ Collect 3D point cloud data through Multiple 3D vision (RGB-D camera, LiDAR) and process data using computer vision.
ㅇ Development of a working point recognition algorithm.
– Workers' pose estimation through deep learning-based 3D pose estimation technology (1st: Work area estimation)
– First, laser pointer recognition within the estimated work area (2nd: Estimation of work point)
ㅇ Development of workspace geometry recognition technology through 3D vision of robot end effector.

2) System verification through system application collaboration robot platform development and 3D robot simulation.
ㅇ Planning the trajectory of the construction work of the Money Pulator through Motion Planning Technology (OMPL utilization).
ㅇ Integrated work point recognition and trajectory planning algorithm system and constructed a collaborative robot platform.
ㅇ Establishing tasks using collaborative robots and configuring scenarios for similar work environments.
ㅇ Generation of external environment digital twin using a robot simulator (Gazebo) and an open robot operating system (ROS)
ㅇ Verification of the system through 3D robot simulation in Digital twin.

3) Testbed to test the applicability of the system and derive measures to improve it.
ㅇ Field test Interactive communication scenario configuration
ㅇ Establish evaluation items and data collection plans.
ㅇ System applicability test through Testbed.
ㅇ Evaluation of HRI user experience of field workers.
ㅇ Derivation of a system improvement plan through result analysis and feedback.

SPONSOR

Seoul National University (Award number: 0583-20210090)