이 LLM이 당신의 레고 블록과 함께 무한한 가능성을 열어드립니다.
카네기 멜런 대학교의 한 연구팀이 텍스트 입력만으로 유효한 레고(LEGO) 디자인을 생성하는 AI 모델 'LegoGPT'를 개발했습니다. 팀이 GitHub에 게시한 연구 논문에 따르면, 연구진은 "다음 토큰 예측을 통해 추가할 다음 브릭을 예측하는 자동회귀 대규모 언어 모델(autoregressive large language model)"을 훈련했습니다. 핵심적인 특징은 이 AI LLM이 레고 디자인을 처음부터 독자적으로 창조해낸다는 점입니다.
이 AI는 책장, 테이블, 의자, 자동차, 배, 기타 등 28,000개 이상의 독특한 3D 객체로 구성된 47,000개 이상의 레고 구조물 데이터셋으로 훈련되었습니다. 이 데이터셋은 AI 모델 학습에 활용되었으며, 덕분에 텍스트 입력만으로 독창적이고 오리지널한 디자인 생성이 가능해졌습니다.
이 도구는 GitHub에서 무료로 이용할 수 있으며, 컴퓨터 비전 모델이나 이미지 처리 AI와 결합하여 사용할 수 있습니다. 예를 들어, 사용자가 가진 레고 브릭 사진을 촬영하고 AI에게 제공하면, 해당 재료로 만들 수 있는 무수히 많은 독특한 옵션들을 얻을 수 있습니다.
(이미지 캡션: 1979년의 클래식한 작은 레고 컴퓨터 브릭 디자인이 풀스케일 작동 컴퓨터로 변모—이 10:1 축소 비율로 확대 재구성된 Mac Mini가 심어지다.)
연구팀은 자동회귀 추론(autoregressive inference) 과정에 유효성 검사 및 물리 인식 롤백(physics-aware rollback) 기능을 추가했습니다. 이를 통해 최종 결과물은 항상 물리적으로 유효하며(예: 브릭이 겹치지 않음), 안정적임(예: 떠다니는 브릭이 없음)이 보장됩니다. 더욱이, LegoGPT의 최종 결과물은 사람과 로봇 모두가 조립할 수 있습니다.
LegoGPT 훈련에 사용된 데이터셋인 StableText2Lego를 구축한 과정은 다음과 같습니다. 텍스트 프롬프트 입력이 먼저 ShapeNetCore 메시로 변환된 후, 이 메시를 20 x 20 x 20 복셀 그리드에 삽입하여 초기 레고 브릭 레이아웃이 결정됩니다.
이 레이아웃은 전체 형태를 유지하며 변형된 후, 불안정한 디자인은 최종 결과물에서 필터링됩니다. 남은 디자인들은 24가지 다른 시점에서 렌더링되며, 이후 GPT-4o가 최종 결과물에 대한 상세 설명을 생성하는 데 사용됩니다.
새로운 디자인을 텍스트로 생성하는 과정은 이렇습니다. LegoGPT는 텍스트를 레고 디자인으로 변환하고, 이를 다시 바닥에서 위로 순서가 지정된 텍스트 토큰으로 변환합니다. 이후 구조화된 레고 브릭과 디자인을 설명하는 주석을 연결하는 지침(instruction)이 생성되는데, 이 과정 덕분에 AI는 텍스트 프롬프트와 물리적 브릭 간의 관계를 이해하게 됩니다.
이후 LegoGPT는 자동회귀 모델을 사용하여 디자인을 완성하는 데 필요한 다음 브릭을 예측합니다. 이 과정에서 매 단계마다 브릭의 유효성(형식 준수 여부), 라이브러리 존재 여부, 기존 브릭과의 중첩 여부를 검사합니다. 이 검증 과정은 디자인이 완성될 때까지 계속되며, 이후 최종 안정성 테스트를 거칩니다.
만약 AI가 출력물이 불안정하다고 판단하면, 가장 최근의 안정 상태로 롤백(rollback)하여 해당 지점부터 생성을 재개합니다. 안정적인 최종 결과물이 나오면 디자인이 완성됩니다.
직접 이 AI를 활용해보고 싶다면, 팀은 데이터셋, 코드, 모델을 공개하여 누구나 이 연구 결과를 포크(fork)하기 쉽게 했습니다. 향후 발전 가능성 중 하나는 사용자가 자체 브릭 라이브러리를 커스터마이징할 수 있는 다운로드 가능한 AI 앱으로 변환되는 것입니다.
최신 뉴스, 분석, 리뷰를 받아보시려면 Tom's Hardware를 Google News에서 팔로우하세요. 팔로우 버튼을 클릭하는 것을 잊지 마세요.