‹ 연구 목록
KoCEM: 한국 건설 엔지니어링 및 경영을 위한 복합 지식 및 추론 벤치마크
KoCEM: A Multimodal Knowledge and Reasoning Benchmark for Korean Construction Engineering & Management
- 연구 기간
- 2024.10.01 – Present
연구 개요 Overview
KoCEM(Korean Construction & Engineering Multitask Benchmark)은 AI 모델이 단순한 일반 지식이 아니라 건설공학 및 건설경영 분야에서 실무적이고 전문가 수준의 역량을 갖추었는지를 평가하기 위해 설계된 도메인 특화 벤치마크입니다.
KoCEM (Korean Construction & Engineering Multitask Benchmark) is a domain-specific benchmark designed to evaluate whether AI models can demonstrate practical, professional-level competence in construction engineering and management, rather than relying on general factual knowledge.
연구 내용 Research Content
KoCEM은 한국어 기반 건설공학 AI 모델의 전문성을 측정하는 공개 리더보드입니다. 국가기술자격시험과 실제 건축 도면을 기반으로, AI의 도면·이미지 해석(Perception), 전문 지식(Knowledge), 다단계 문제 해결(Reasoning)이라는 3대 핵심 역량을 평가합니다. 총 20개 과목, 4,823개 문항(텍스트+이미지)으로 구성되어, 건설 분야에 특화된 시각, 지식, 추론 능력을 통합적으로 검증하는 한국어 AI의 표준 평가 지표를 제공합니다
KoCEM is a public leaderboard that measures the expertise of Korean-language AI models in construction engineering. Based on national technical qualification exams and real architectural drawings, it evaluates three core capabilities of AI: interpretation of drawings and images (Perception), domain expertise (Knowledge), and multi-step problem solving (Reasoning). Comprising 20 subjects and 4,823 questions (text + images), it provides a standard evaluation benchmark for Korean-language AI that comprehensively verifies vision, knowledge, and reasoning capabilities specialized for the construction domain.
키워드 Keywords
