‹ 연구 목록

중소기업 현장 안전사고 예방을 위한 멀티모달 AI 에이전트 개발 및 실증

Development and Demonstration of a Multimodal AI Agent for Workplace Accident Prevention in Small and Medium-sized Enterprises

연구 기간
2026.07 – 2028.06
발주 기관
중소벤처기업부
총 연구비
3,334,000,000원 중 100,000,000원
연구 개요 Overview
본 연구는 현장 영상, 작업환경 정보, 안전관리 문서를 통합 분석하는 멀티모달 AI 에이전트를 개발하고, 현장 실증을 통해 중소기업의 안전사고 예방을 위한 적용성과 성능을 검증하는 것을 목표로 한다. 우리 연구실은 건설현장 데이터 수집 기준 수립과 라벨링 체계 표준화에 참여하며, 텍스트 중심 데이터셋 구축 및 라벨링, 문서·이미지 기반 모델 파인튜닝을 위한 데이터 가이드라인 수립, 건설안전 용어 체계 정립, 위험행동 인식·보호장비 판별 모델의 성능 평가체계 개발에 중점을 둔다.
This project aims to develop a multimodal AI agent that integrates site imagery, work environment information, and safety documents to support workplace accident prevention in SMEs. Its applicability and performance will be evaluated through field demonstrations. Our research team focuses on data collection and annotation standards, with particular emphasis on text dataset development and annotation, fine-tuning data guidelines for documents and images, construction safety terminology, and performance evaluation frameworks for unsafe behavior recognition and personal protective equipment (PPE) detection.
연구 내용 Research Content
본 연구는 CCTV·드론·로봇캠으로 수집한 현장 영상과 작업계획서, 위험성평가서, 사고사례 등의 안전관리 정보를 연계하여 작업 전·중·후의 안전관리 업무를 지원하는 멀티모달 AI 에이전트를 개발한다. 작업 전에는 위험요인 분석과 안전조치 추천을, 작업 중에는 위험행동 및 보호장비 착용 여부의 실시간 인식을, 작업 후에는 안전 리포트 생성과 조치이력 분석을 지원하는 통합 안전관리 체계를 구축한다. 이 가운데 우리 연구실은 텍스트 데이터의 수집·구조화·라벨링 체계를 설계하고, 문서·이미지 데이터의 학습 활용 기준과 모델 성능 검증체계를 마련하는 연구를 수행한다. 세부 연구 내용은 아래와 같다.

1) 국내외 데이터 구축 사례 분석 및 초기 데이터 수집체계 설계
2) 트랜스포머 모델 파인튜닝을 위한 학습데이터 가이드라인 수립
3) 건설안전 표준 및 현장 용어의 체계화
4) 위험행동 인식·보호장비 판별 모델의 성능 검수 및 평가 지표 개발
5) 텍스트 중심 데이터셋의 초기 구축안 설계
6) 텍스트 데이터 라벨링 초안 설계 및 초기 라벨링 수행

이를 통해 건설안전 AI 에이전트 개발에 필요한 데이터의 품질과 일관성을 확보하고, 현장 특성을 반영한 모델 학습과 신뢰할 수 있는 성능 검증을 지원하고자 한다.
This project develops a multimodal AI agent that connects video collected from CCTV, drones, and robot cameras with safety information, including work plans, risk assessments, and accident reports. The integrated system supports safety management before, during, and after work through pre-work hazard analysis and safety recommendations, real-time recognition of unsafe behavior and PPE use, and post-work safety reporting and analysis of corrective action records.

Within this project, our research team designs frameworks for collecting, structuring, and annotating text data, establishes guidelines for using documents and images as training data, and develops protocols for model performance evaluation. The specific research tasks are as follows:

1) Review domestic and international dataset development practices and design an initial data collection framework.
2) Establish training data guidelines for fine-tuning transformer models.
3) Systematize construction safety standards and site terminology.
4) Develop performance review procedures and evaluation metrics for unsafe behavior recognition and PPE detection models.
5) Design an initial framework for text dataset construction.
6) Draft text annotation guidelines and conduct initial annotation.

These efforts aim to ensure the quality and consistency of data for construction safety AI agents and support model training and reliable performance evaluation that reflect site conditions.
키워드 Keywords
건설안전멀티모달 AI텍스트 데이터셋데이터 라벨링 표준화모델 성능 평가