‹ 연구 목록
거대언어모델 GPT(Generative Pre-trained Transformers)를 활용한 건설 사고 예측 및 재해 원인 시각화
Harnessing Generative Pre-trained Transformers for Construction Accident Prediction with Saliency Visualization
- 연구 기간
- 2023.01 – 2023.11
- 발주 기관
- 서울대학교
연구 개요 Overview
본 연구는 자연어 처리 기술을 건설 안전 분야에 적용하여 대규모 텍스트 데이터를 학습한 결과, 거대 언어 모델이 안전 사고에 대한 이해를 향상시킬 수 있음을 제시하고 있다. 특히, 거대 언어 모델을 사용하여 사고 유형을 예측하는 것이 잠재적인 사고를 예방하고 관리하는 데 도움이 될 수 있다는 점을 강조하였다.
Leveraging natural language processing models using a large volume of text data in the construction safety domain (e.g., accident reports and contextual information such as weather and work types) offers a unique opportunity to improve our understanding of safety accidents and the ability to learn from them. Although large language models can effectively improve prediction accuracy and generalization capabilities with limited data, little effort has been made to date in regard to utilizing large language models for prediction of accident types that can help to prevent and manage potential accidents.
연구 내용 Research Content
본 연구는 자연어 처리 기술을 건설 안전 분야에 적용하여 대규모 텍스트 데이터를 학습한 결과, 거대 언어 모델이 안전 사고에 대한 이해를 향상시킬 수 있음을 제시하고 있다. 특히, 거대 언어 모델을 사용하여 사고 유형을 예측하는 것이 잠재적인 사고를 예방하고 관리하는 데 도움이 될 수 있다는 점을 강조하였다. 그러나, GPT 결과의 해석 방법에 대한 논의가 부족한 실정에서, 본 연구에서는 건설 사고 보고서의 대규모 데이터셋에 미세 조정된 GPT를 활용하여 6가지 사고 유형을 예측하는 모델을 제안하였다. 이를 평가하기 위해 미세 조정된 GPT 모델의 해석 능력을 측정하기 위한 입력 텍스트의 중요도 시각화 방법을 개발하였다. 제안된 모델은 건설 사고 보고서의 대규모 데이터셋에서 전이 학습을 통해 평가되었고, 15,000 건의 사고 사례를 사용하여 82%의 정확도를 달성함을 확인하였다. 또한, 중요도 시각화 방법이 비정형 텍스트 데이터에서 사고의 전조를 식별하는 데 효과적임을 보여 주었다. 이러한 결과는 건설 현장에서의 사고를 예방하기 위한 GPT 기반 모델의 성능 향상을 강조하며, 향후에는 생성형 인공지능을 활용하여 건설 현장 문서 작성에 대한 연구를 계획하고 있다.
Leveraging natural language processing models using a large volume of text data in the construction safety domain (e.g., accident reports and contextual information such as weather and work types) offers a unique opportunity to improve our understanding of safety accidents and the ability to learn from them. Although large language models can effectively improve prediction accuracy and generalization capabilities with limited data, little effort has been made to date in regard to utilizing large language models for prediction of accident types that can help to prevent and manage potential accidents. In this context, we aim to develop a model for predicting the 6 types of accidents (caught-in-between, cuts, falls, struck-by, trips, and others) by employing transfer learning with a fine-tuned generative pre-trained transformer (GPT) on a large existing dataset of construction accident reports. Additionally, in order to improve the interpretability of the fine-tuned GPT model, we developed a method for saliency visualization of input text to identify the words that significantly impact the prediction results. The models were evaluated using a comprehensive dataset comprising 15,000 actual accident records. The results obtained from the dataset indicate that the suggested model for detecting the 6 accident types achieves an 82% performance accuracy rate. Furthermore, we observed that the suggested saliency visualization method can identify accident precursors from unstructured free-text data of construction accident reports. These results highlight the advancement of the generalization performance of large language processing-based construction accident prediction models, thereby proactively preventing accidents at the construction sites.
