Unite Seoul 2026 · COEX · 2026년 7월 21일

제조 AI를 위한 Unity 디지털 트윈 기반 합성 데이터 파이프라인

AI를 위한 디지털 트윈. 디지털 트윈을 위한 AI.
제조 현장이 실제로 필요로 하는 기술.

원홍인 · 하승엽 · 황재훈
한국생산기술연구원 제조AI연구센터

모션캡처 장갑을 낀 작업자가 상자를 잡으려 손을 뻗고, 같은 공간에서 팔레타이징 로봇이 작업하는 장면 — 기준 데이터 촬영 장면 — 작업자와 팔레타이징 로봇이 같은 공간에서 상자를 다룬다. 이런 순간에서 근접도와 자세, 안전영역 상태를 모두 복원해내야 한다.

저희는 실제 제조 라인의 디지털 트윈을 Unity로 구축하고, 그것을 AI가 학습하고 시험받을 수 있는 환경으로 만듭니다. 이 페이지는 그중 하나 — 산업 현장의 인간–로봇 협업(HRC) 환경과, 거기서 만들어진 데이터셋에 대한 이야기입니다.

문제

AI는 데이터로 학습합니다. 그리고 데이터가 충분한 분야들이 있습니다 — 자율주행에는 수백만 킬로미터의 주행 기록이, 일반 비전에는 웹의 이미지와 영상이, 언어모델에는 인터넷 전체의 텍스트가 있습니다. 다만 저희에게 필요한 데이터 — 작업자가 로봇에 접근하고, 몸의 일부가 가려지고, 안전영역을 넘나드는 장면 — 는 공개된 형태로 거의 존재하지 않습니다.

안전

사람이 로봇 곁에서 위험에 놓이는 순간은, 데이터를 얻자고 반복해서 만들 수 있는 상황이 아닙니다.

비용

실제 라인을 세우고 센서를 달고 조건을 바꿔가며 촬영하는 데는 큰 시간과 비용이 듭니다.

라벨링

3차원 위치와 거리, 관절 정보, 픽셀 단위 영역을 여러 센서에서 같은 시점으로 맞추는 작업은 사람 손으로는 사실상 불가능에 가깝습니다.

희귀성

충돌 직전 같은 long-tail event는 현실에서 거의 일어나지 않습니다 — 그리고 잘 운영되는 현장이라면 더 적게 일어나야 정상입니다.

게다가 저희가 정말 학습시키고 싶었던 것은 사람이 거기 있느냐 없느냐가 아니었습니다. 근접 관계, proximity 자체였습니다 — 로봇에서 얼마나 떨어져 있는지, 어느 방향에 있는지, 어떤 자세로 접근하는지.

작업자와 로봇이 한 공간을 공유하고, 정지·감속·감시로 색이 구분된 동심 안전영역과 작업자의 골격이 함께 표시된 장면 — 근접도는 로봇이 언제 감시하고, 감속하고, 정지해야 하는지를 판단하는 근거입니다. 이를 읽어내려면 다양한 거리와 자세, 픽셀 단위 ground truth를 갖춘 정확한 3차원 위치, 그리고 정확한 안전영역 label이 — 모두 같은 순간에 — 있어야 합니다. 실제 현장에서 이 셋을 동시에 확보하기란 현실적으로 매우 어렵습니다.

접근

수집할 수 없다면, 만들어낸다 — 다만 측정할 수 있는 값을 기준으로. 현실에서 측정한 값에 Unity 디지털 트윈을 고정했습니다. Unity를 선택한 이유는 네 가지를 하나의 runtime 안에서 연결할 수 있기 때문입니다.

Physics simulation

로봇과 사람, 물체가 물리적으로 타당하게 상호작용합니다.

HDRP rendering

도메인 갭을 줄이기 위해 조명과 재질을 현실에 맞춥니다.

Sensor simulation

RGB-D, LiDAR, 360도 카메라를 가상에서 재현합니다.

저비용 label

사람이 일일이 표시하지 않아도 트윈에서 정답이 바로 나옵니다.

이 넷이 따로 있으면 그저 네 개의 기능입니다. 같은 시뮬레이션 시간축을 공유할 때 비로소 AI가 학습할 수 있는 데이터가 됩니다.

Industrial HRC-Bench

무엇을 생성하기 전에, 먼저 신뢰할 수 있는 기준 데이터셋을 구축했습니다 — 제조 도메인 전문가의 참여로 설계한 실제 HRC 시나리오를, KTL 로봇시험인증센터에서 촬영했습니다.

2시나리오 — 팔레타이징, 표면 검사

17에피소드 — HRC 9, 로봇 단독 8

10만+프레임 (약 83분)

20 FPS이종 센서 동기화 수집

LiDAR, RGB-D, 모션캡처, 로봇 상태 정보, 360도 영상을 동시에 기록했습니다. 규모보다 훨씬 더 중요하게 여긴 것은 구조입니다 — 모든 관측치와 label이 완벽하게 동일한 시간축을 공유해야만, 이후의 정확한 비교와 유의미한 데이터 생성이 가능하기 때문입니다.

어디서 찍었는가 — 실험실 세트가 아니라 인증 시험장

한국산업기술시험원(KTL)은 정부 출연 시험인증기관입니다. 그중 로봇시험인증센터는 2024년 서울 강남 로봇플러스 테스트필드 안에 개소해, 국제표준에 기반한 협동로봇 제품인증과 협동로봇 시스템의 작업장 위험성 평가·실증을 수행합니다. 협동로봇은 산업용 로봇과 달리 울타리 없이 사람과 같은 공간에서 일하도록 만들어집니다 — 그래서 제품과 시스템에 대한 안전 인증이 형식이 아니라 전제가 됩니다.

기준 데이터를 저희 자체 실험실이 아니라 그곳에서 기록한 이유가 여기 있습니다. 이 데이터셋이 다루는 주제는 사람과 로봇 사이의 근접 안전이고, 바로 그것을 인증하는 것이 그 시설의 존재 이유입니다. 인증 시험장에서 촬영했다는 사실이, 이 기준 데이터에 저희 주장 너머의 무게를 실어줍니다.

KTL 로봇시험인증센터 시험동 내부 — KTL 로봇시험인증센터(강남 로봇플러스 테스트필드) 시험동 — 이 공간을 측정해 1:1 규모로 디지털 트윈에 옮겼습니다.

데이터셋 공개를 준비하고 있습니다

Industrial HRC-Bench는 외부 저장소를 통해 공개될 예정입니다. 사전 접근이나 협업을 원하시면 페이지 끝의 안내를 참고해주십시오.

파이프라인

전체 흐름은 세 단어로 정리됩니다 — Ground, Calibrate, Generate. 현실에서 측정한 값에 맞춰 트윈을 고정하고, 남아 있는 차이를 맞추고, 그 기준점에서 데이터를 만듭니다.

환경 — 실제 라인을 있는 그대로

KTL 테스트베드의 공간 크기와 설비 배치를 측정해 1:1로 Unity 안에 대응시켰습니다. 그 위에 HDRP로 재질과 조명을 실제에 맞추고, 배경은 현장에서 촬영한 360도 파노라마 기반의 포토리얼리스틱 3D Gaussian Splatting으로 구성해 도메인 갭을 처음부터 줄였습니다.

스캔한 라인을 Unity 안에 1:1 규모로 재구성한 화면 — 왼쪽이 실제, 오른쪽이 같은 시점의 디지털 트윈입니다 — 조명과 가림, 물체 사이의 위치 관계를 나란히 비교할 수 있도록 만들었습니다.

로봇 — 그럴듯해 보이는 것이 아니라 물리적으로 타당하게

ArticulationBody로 로봇의 실제 관절 구조와 자유도를 재현하고, 기록된 joint trajectory를 관성과 접촉이 함께 계산되는 조건에서 프레임 단위로 replay했습니다.

Unity 안의 팔레타이징 셀 디지털 트윈에서 기록된 RB20 궤적을 재생하는 화면 — Unity 안의 팔레타이징 셀 — 기록된 RB20 궤적을 프레임 단위로 재생하고 있습니다.

Label — 작업자가 아니라 트윈에서

2D·3D bounding box, semantic·instance segmentation, 관절 좌표, depth ground truth가 모두 같은 시뮬레이션 상태에서 함께 나옵니다. labeling 비용도, annotation 오류도 함께 줄어듭니다.

로봇·작업자·부품이 라벨링된 셀의 포인트 클라우드 — label은 사람이 그리는 것이 아니라 트윈에서 읽어냅니다 — 여기서는 셀을 포인트 클라우드로 보고, 로봇과 상호작용 요소를 분리한 화면입니다.

Real-to-Sim 갭

트윈을 만들었습니다. 그래도 맞지 않았습니다. 남아 있는 차이 가운데 근접도와 ground truth를 직접 흔드는 두 가지를 찾아, 각각 해소했습니다.

갭 1 · 카메라

문제 — 실제 렌즈는 데이터시트대로 동작하지 않는다

같은 센서 모델, 같은 화각을 설정했는데도 같은 물체가 같은 픽셀에 맺히지 않았습니다. HRC에서는 몇 픽셀의 어긋남도 중요합니다 — 시뮬레이션에서 만든 pixel label과 실제 관측의 대응이 같이 흔들리기 때문입니다.

보정 전 edge overlay — 두 카메라의 경계선이 빨강과 청록으로 어긋나 있다 — 실제 센서(빨강)와 트윈(청록)의 edge overlay, 보정 전과 후입니다. 선이 갈라진 자리에서 실제와 가상이 어긋나 있고, 보정 후에는 대체로 겹칩니다.

보정 후 edge overlay — 두 카메라의 경계선이 겹친다 — 실제 센서(빨강)와 트윈(청록)의 edge overlay, 보정 전과 후입니다. 선이 갈라진 자리에서 실제와 가상이 어긋나 있고, 보정 후에는 대체로 겹칩니다.

해법 — 렌즈를 모델링하지 말고, 측정하라

3DGS view로 실제와 가상의 대응 장면을 확보하고, 그 차이를 픽셀 단위로 계산해 per-pixel distortion map으로 기록한 뒤, Unity의 CameraDistortion shader에 적용했습니다 — 보정이 영상을 그리는 그 과정에서 일어나므로, 보정된 관측과 ground truth가 같은 실행환경에서 나옵니다.

갭 2 · 사람 동작 추적

문제 — 가림이 커지면 사람 추적이 노이즈가 된다

몸이 가려지면 보이지 않는 관절의 추정이 불안정해집니다 — 발이 바닥에서 미끄러지고 자세가 떨리며, 거리와 안전영역 label도 함께 틀어집니다.

보정 전 원본 모션캡처 골격 — 관절이 물리적으로 불가능한 위치에 있다 — 원본 추적(왼쪽) — 가림 구간에서 보이지 않는 관절이 불가능한 위치로 추정되고 다리가 엉킵니다. 보정 후(오른쪽) — 발이 측정된 바닥에 다시 붙고, 관절이 유효 범위 안에서만 움직입니다.

Foot IK와 Humanoid IK로 보정한 골격 — 원본 추적(왼쪽) — 가림 구간에서 보이지 않는 관절이 불가능한 위치로 추정되고 다리가 엉킵니다. 보정 후(오른쪽) — 발이 측정된 바닥에 다시 붙고, 관절이 유효 범위 안에서만 움직입니다.

해법 — Foot IK + Humanoid IK

Foot IK로 자세를 측정된 실제 바닥 형상에 다시 붙이고, Humanoid IK로 가려진 관절을 유효 가동범위 안으로 제한했습니다. 둘 다 근접도와 안전영역 label을 틀리게 만드는 비물리적 움직임을 겨냥한 보정입니다.

시나리오와 데모

두 시나리오는 같은 HRC 환경을 배경으로 하지만, 시험하는 지점이 다릅니다.

팔레타이징 — RB20

작업자가 넓은 작업 반경 안으로 반복해서 들어갔다 나옵니다. 넓은 동선 안에서의 전신 자세와 거리, 그리고 안전영역 판단이 핵심입니다.

표면 검사 — UR5e

사람과 로봇이 아주 좁은 공간에서 밀착해 협업합니다. 손과 상체의 세밀한 자세, 로봇에 의한 가림, 그리고 짧은 거리에서의 근접도가 핵심입니다.

작업자와 UR5e가 밀착 협업하는 표면 검사 시나리오 — 표면 검사 — 기록된 로봇 동작, 작업자 자세, depth ground truth가 동기화되어 재생되고 segmentation mask가 함께 붙습니다.

벤치마크를 넘어

고정된 데이터셋으로 보면 이 작업은 두 시나리오에서 멈춥니다. 저희는 이것을 데이터 생성 엔진(Data Generation Engine)으로 만들었습니다 — 보정된 기준점 위에서, Unity Perception 패키지 기반의 도메인 랜덤화 모듈이 조명과 재질, 카메라 배치를 통제된 범위 안에서 변화시킵니다. 노이즈가 아니라 현실적인 변주입니다.

시스템 다이어그램 — 교체 가능한 입력이 Ground·Calibrate·Generate 코어로 들어가 RGB/depth, mask, 3D box, pose·proximity ground truth를 출력한다 — 교체 가능한 입력 — 타깃 물체, 사람 동작, 로봇 데이터 — 이 Ground → Calibrate → Generate 코어로 들어가, 동기화된 RGB/depth와 mask, 3D box, pose·proximity ground truth를 출력합니다. 재사용성은 저희가 기준을 잡고 보정한 범위 안에서 보장됩니다.

오늘 보여드린 HRC는 이 파이프라인의 구성 원리를 증명하기 위한 하나의 application domain입니다. 로봇과 휴머노이드가 현장을 공유하게 될 AI Factory 시대에는, AI가 현실에 투입되기 전에 미리 상황을 학습하고 행동을 시험할 수 있는 simulation 및 data layer의 역할이 그 어느 때보다 중요해질 것입니다.

연구자·개발자분들께

HRC, 근접 인식, sim-to-real을 다루고 계신가요? Industrial HRC-Bench는 공개를 준비하고 있으며, 협업에도 열려 있습니다. 사전 접근이나 논의를 원하시면 연락 주십시오 — [email protected]

디지털 트윈 인간–로봇 협업 합성 데이터 Real-to-Sim 제조 AI Unity HDRP 센서 시뮬레이션 도메인 랜덤화

HRC-Bench 프로젝트 팀

원홍인한국생산기술연구원 · 수석연구원 · 제조AI협력팀장

황재훈한국생산기술연구원 · 연구원 · 3D 복원, 디지털 트윈, Real-to-Sim

하승엽한국생산기술연구원 · 연구원 · 시뮬레이션, HRC, 도메인 적응

서예찬연구원 · 지능로봇

차승민연구인턴

협력

한국산업기술시험원(KTL)로봇시험인증센터, 강남 로봇플러스 테스트필드 — 테스트베드 환경 제공 및 공동 실험
문의 — [email protected] · 이재민 팀장 031-500-2548

Unity Technologies기술 구현 초기 단계부터의 지원

소속과 직함은 발표 시점 기준입니다.

발표 영상

Unity 측에서 세션 영상을 공개했습니다.

세션 영상 보기 — 제조 AI를 위한 Unity 디지털 트윈 기반 합성 데이터 파이프라인
Unite Seoul 2026 · Unity Korea

관련 영상자료 모음
황재훈 연구원이 별도로 게시한 자료입니다.

이 페이지는 Unite Seoul 2026에서 발표한 한 프로젝트의 스냅샷입니다. 물류·주조·전기차 조립 라인의 디지털 트윈 등 저희의 다른 작업도 이후 이곳에 포트폴리오 형태로 이어질 예정입니다.
연구 협력 및 문의 — [email protected]
© 2026 원홍인 · 시뮬레이터 데모는 별도 협의가 필요합니다.