‹ 연구 목록

Edge Keyframe 추출 기반 VLM 건설 현장 실시간 안전관제 테스트베드 구축

Edge Keyframe Extraction-Driven VLM Testbed for Real-Time Construction Site Safety Monitoring

연구 기간
2026.05.11 – 2026.08.11
발주 기관
서울대학교 RISE 사업단
연구 개요 Overview
본 프로젝트는 제한된 엣지(Edge) 컴퓨팅 자원 및 네트워크 환경을 가지는 건설 현장에서 시각-언어 모델(VLM)을 실시간으로 구동하기 위한 안전 관제 테스트베드 구축을 목표로 합니다. 딥러닝 탐지의 오탐 문제와 VLM의 연산 지연 한계를 극복하고자, 엣지 단에서 비지도 학습 기반 활동 에너지를 산출하여 위험 연관 핵심 프레임만을 실시간 선별하는 Keyframe 추출 알고리즘을 개발합니다. 선별된 프레임은 VLM 에이전트와 연동하여 단계별 위험 판단을 수행하며, 실제 현장 시범 적용을 통해 실시간성과 감지 효율성을 정량적으로 검증합니다.
This project aims to build a real-time construction safety monitoring testbed that operates Vision-Language Models (VLMs) efficiently under resource-constrained edge computing environments. To address high false-alarm rates in deep learning models and computational latency in VLMs, we develop an edge-based keyframe extraction algorithm that selectively identifies risk-relevant frames based on activity energy. The selected keyframes are processed by a VLM agent for step-by-step hazard reasoning, with system latency and detection performance quantitatively validated at actual construction sites.
연구 내용 Research Content
주요 수행 내용은 엣지 기반 Keyframe 추출 알고리즘 개발과 VLM 기반 안전 관제 테스트베드 구축 및 현장 검증입니다. 알고리즘 개발 단계에서는 KNN 배경 차분, DIS Optical Flow, 소실점 기반 Dual-Axis Depth Map을 결합해 원근 왜곡을 보정하고 적응형 임계값(Z-Score)으로 유의미한 활동 피크 장면을 자동 추출합니다. 이어 추출된 프레임을 시각-언어 데이터로 전환한 후 Chain-of-Thought(CoT) 추론 기법을 적용해 복합 위험 상황을 분석하는 VLM 에이전트 테스트베드를 구축하며, 실제 CCTV 데이터를 바탕으로 처리 지연 시간 및 위험 감지 누락률을 정량적으로 평가합니다.
The core tasks comprise developing an edge-based keyframe extraction algorithm, establishing a VLM safety monitoring testbed, and conducting field validations. The algorithm combines KNN background subtraction, DIS Optical Flow, and a vanishing point-based Dual-Axis Depth Map to compensate for perspective distortions and extract key activity peaks using adaptive thresholds. Next, a VLM agent testbed converts keyframes into vision-language data to perform step-by-step risk reasoning via Chain-of-Thought (CoT) prompting. Finally, processing latency and hazard detection omission rates are quantitatively evaluated using real CCTV video feeds.
키워드 Keywords
건설안전 (Construction Safety)엣지 시스템 (Edge System)시각-언어 모델 (Vision-Language Model)