마인크래프트 초파리 2탄, 붓질에도 반응해요

마인크래프트 화면 오른쪽에 붓이 들려 있어요. 가운데 작은 초파리가 움직이고, 왼쪽 상태창에는 ‘붓 접촉(Brush contact)’과 ‘몸단장(Groom)’이 함께 떠요. 제작자가 준비한 접촉 신호를 넣자, 신경망 모형의 출력을 읽어 몸단장 동작을 실행한 장면이에요. 공식

1탄에서 초파리 뇌 지도와 게임이 만나는 모습을 봤다면, 이번에는 그 사이에서 무슨 일이 일어나는지 조금 더 가까이 들여다봐요. 주인공은 에번 싱클레어 스미스(Evan Sinclair Smith)의 NeuroCraft Fly예요. Ro0oney를 다룬 1탄과는 다른 프로젝트예요.

스미스는 9월 4일(UTC) X에 짧은 비행 영상을 올리며, 수컷 초파리 신경망을 이용해 게임 속 움직임을 만들었다고 밝혔어요. 제작 과정에서 GPT-6 Astra의 도움을 받았다는 설명도 덧붙였어요. 이어 공개한 GitHub에는 동작과 신경망 상태를 함께 볼 수 있는 더 긴 시연이 올라와 있어요. 공식

뇌에서 몸통까지 이어지는 지도예요

이번 모형의 재료는 MaleCNS, 수컷 초파리의 중추신경계(central nervous system, CNS) 연결 지도예요. 신경세포가 누구와 이어져 있는지 기록한 지도를 커넥톰(connectome)이라고 해요. HHMI 재닐리아와 케임브리지대, MRC 분자생물학연구소, 구글 리서치가 함께 만든 자료예요. 공식

눈여겨볼 부분은 뇌 아래로 길게 이어진 복부신경삭(ventral nerve cord, VNC)이에요. 곤충의 몸통에 있는 신경 구조로, 우리 척수에 빗대어 이해할 수 있어요. 뇌와 몸의 운동 회로를 잇는 이 부분까지 지도에 담겼기 때문에, 감각 정보가 몸을 움직이는 신호로 이어지는 길을 살펴볼 수 있어요. 공식

스미스가 모형에 포함했다고 밝힌 규모는 뉴런 16만6,700개예요. 지도에 계산 규칙을 더해 활동을 구하고, 그중 정해 둔 신호를 읽어 게임 속 몸을 움직이는 데 써요. 연결 지도가 길을 알려 준다면, 계산 규칙은 그 길로 신호를 얼마나, 어떻게 보낼지 정하는 셈이에요. 공식

붓질 한 번이 몸동작이 되기까지

과정은 세 부분으로 나눠 보면 이해하기 쉬워요.

먼저 게임의 사건을 신호로 바꿔요. 플레이어가 다가오거나, 주변에 다른 캐릭터인 몹(mob)이 있거나, 붓이 닿는 상황 등이 입력이에요. 여기에 공격 시도·먹이·빛을 더해 여섯 가지를 시연해요. 다음으로 연결 지도 위에서 신경 활동을 계산해요. 마지막으로 제작자가 고른 신호를 읽어, 준비해 둔 몸동작을 선택하고 조절해요. 공식

이때 출력 신호를 읽는 단계를 리드아웃(readout)이라고 해요. 계기판에서 필요한 바늘을 읽는 것과 비슷해요. 어느 신호를 읽을지, 그 값이 어떤 몸동작으로 이어질지는 제작자가 정해 두었어요. 날개나 다리의 모든 움직임이 연결 지도 하나에서 저절로 생겨나는 방식과는 구별해야 해요.

9월 12일 공개된 안될과학의 해설도 약 5분 9초부터 이 순서를 짚어요. 게임 정보가 들어오고, 신경 활동을 계산하고, 사람이 정한 신호를 읽어 준비한 동작을 실행한다는 설명이에요. ‘뇌를 게임에 넣었다’는 짧은 표현을 구체적인 과정으로 풀어 볼 수 있는 대목이에요. 보도

안될과학 해설에서 이 부분 보기

같은 초파리에게 다른 신경망을 연결하면요?

긴 시연의 약 42초부터는 조건이 바뀌어요. 화면 아래에 ‘Shuffled weights’, 연결 가중치를 섞었다는 표시가 떠요. 가중치(weight)는 모형에서 한 연결이 다음 뉴런의 활동에 미치는 영향력을 나타내는 값이에요. 배선의 영향력을 바꿨을 때 같은 종류의 사건에 어떻게 반응하는지 비교하려는 거예요. 공식

여기서 제작자가 공개한 흥미로운 결과가 있어요. 가중치를 섞어도 일부 반응이 남아요. 약 1분 20초부터는 감각 입력을 끈 조건도 보여 주는데, 이때도 기본 이동 프로그램이 몸을 움직일 수 있어요. 움직임이 보인다는 사실과, 그 움직임을 특정 신경 연결이 만들어 냈다는 설명 사이를 나눠 볼 수 있는 장면이에요. 공식

그렇다면 특정 연결은 행동에 어떤 몫을 할까요? 이 질문에 답하려면 같은 입력을 반복하고, 가중치를 여러 방식으로 섞어 보며 결과를 비교해야 해요. 제작자도 이런 비교를 보강하겠다고 로드맵에 적었어요. 현재 영상은 준비한 시행들을 이어 붙인 시연이고, 각 시행의 실제 입력 이력도 서로 달라요. 따라서 지금은 비교할 장치를 만들고 그 작동을 보여 준 단계로 읽으면 돼요. 공식

원본 영상의 마지막 약 2분 1초부터는 초파리의 동작을 가까이 볼 수 있어요. 이 부분은 신경망 계산을 멈추고 제작자가 동작을 직접 선택한 별도 소개 구간이에요. 초파리의 몸이 할 수 있는 동작을 보려면 마지막을, 신경망과 동작의 연결을 보려면 앞부분의 상태창을 함께 보면 좋아요. 공식

제작자의 2분 27초 원본 시연 보기

다음에는 보는 사람이 실험해 볼 차례예요

현재 GitHub는 프로젝트 소개와 시연을 공개하는 공간이에요. 실행용 모드와 코드는 배포 준비 중이에요. 제작자는 마인크래프트용 Fabric 모드, 신경망 계산을 맡는 보조 프로그램, 설치 안내를 함께 제공할 계획이에요. 공식

게임 밖에서 살펴볼 방법도 준비해요. 신경망을 들여다보고, 자극을 넣어 활동을 관찰하고, 연결 조건을 바꿔 결과를 비교하는 Python 예제 세 편이에요. 처음 배우는 사람을 위한 작은 예제는 뉴런 14개와 연결 22개의 자료를 사용할 예정이에요. 게임 시연에 쓴 16만6,700개 신경망과는 규모가 다른 입문용 자료예요. 공식

관심 있는 독자는 프로젝트 저장소에서 후속 공개를 확인할 수 있어요. 모형이 어떤 연결에서 출발했고, 무엇을 입력으로 받으며, 어떤 신호로 움직임을 고르는지 직접 따라가 보는 것이 이 프로젝트가 제안하는 다음 경험이에요.