요약
뇌가 없는 대장균도 단백질 몇 가지만으로 먹이를 감지해 쫓아가고 짧은 기억까지 지닙니다.
제임스 소머스와 에드윈 모리스가 쓴 긴 해설 글입니다. 대장균이 먹이 쪽으로 헤엄쳐 가는 화학주성(화학물질의 농도를 따라 움직이는 성질)을 분자 단위까지 따라가며 애니메이션과 함께 설명합니다.
왜 중요한가
- 뇌 없이도 후각, 의욕, 기억과 비슷한 기능이 단백질의 모양 변화와 화학적 표지만으로 생길 수 있음을 보여 줍니다.
- 단백질 구조, 세포막 신호 전달, 화학 변형으로 상태를 저장하는 원리 같은 생물학의 핵심 개념을 한 사례로 익힐 수 있습니다.
핵심 내용
- 대장균은 편모 다발로 1초쯤 곧게 나아가다가(런), 다발이 풀리며 잠깐 제자리에서 방향을 바꾸는(텀블) 동작을 되풀이합니다.
- 먹이 분자가 수용체에 붙으면 모터에 방향 전환을 지시하는 CheY-p 단백질이 줄어 직진이 길어집니다.
- 수용체 배열은 신호를 50배 넘게 키워, 세포 부피당 분자 세 개도 안 되는 농도 변화까지 감지합니다.
- 수용체에 메틸기를 붙였다 떼며 감도를 조절하고, 이 상태가 몇 초 동안의 농도 변화를 기억하는 구실을 합니다.
- 편모 모터는 초당 약 1,500회 돌고, 한 바퀴를 도는 데 양성자 약 500개를 씁니다.
HN 반응
- 세포 하나가 인공신경망 전체에 가깝다는 의견에, 인공 뉴런은 실제 뉴런을 거칠게 본뜬 수학 함수일 뿐이며 신호의 타이밍이 빠져 있다는 보충이 이어졌습니다.
- 정해진 대로 움직이는 조절 장치는 지능이 아니라는 반론과, 지능의 정의부터 정해야 하며 세균은 종의 경험을 DNA에 담고 있다는 재반론이 맞섰습니다.
어떤 면에서는 세포 하나가 인공 신경망 전체에 더 가깝습니다.
실제 뉴런에는 ANN의 개별 뉴런에는 없는 놀라운 특성이 있습니다. 그런 특성을 AI 개선에 어떻게 써먹을 수 있을지는 아직 분명하지 않습니다.
제가 알기로 AI의 '뉴런'은 실제 뉴런과 아무 상관이 없습니다. '서로 연결되어 있다'는 발상에서 이름만 슬쩍 따왔을 뿐이죠. 신경망은 실제 뉴런에 대한 우리의 이해를 바탕으로 만든 (아주) 대략적인 모델에 불과합니다. 실제 뉴런이 환경에 반응해서 제 일을 해내는 방식은 얼마든지 많을 수 있는데, 인공 '뉴런'은 그냥 수학 함수일 뿐이니까요.
그렇다면 신경망에 실제 뉴런의 특성을 불어넣으려는 건 헛된 야심 아닐까요?
AI의 "뉴런"(즉 가중치 층과 그 뒤의 활성화 층의 조합)은 실제 뉴런을 아주 조잡하게 흉내 낸 모델이 맞습니다. 그래도 시냅스 입력을 통합하고, 통합된 입력이 어떤 문턱을 넘으면 비선형적으로 발화한다는, 뉴런의 핵심 기능으로 보이는 부분은 모델링하고 있습니다. 그러니 단순한 연결주의 이상이긴 하지만, 생물학을 정밀하게 모방하는 것과는 거리가 멉니다.
생물학적으로 더 정확한 뉴런 모델을 쓰면 얼마나 얻을 게 있을지는 아무도 모릅니다. 낮은 수준의 세부 사항은 대부분 상관없을 수도 있지만, 타이밍 요소나 그에 상응하는 무언가는 ANN이 실시간 패턴 인식과 제어를 학습하게 하려면 도움이 될지도 모릅니다.
철학적인 이야기인데요.
뉴런은 환경과 떼려야 뗄 수 없는 일부입니다. 그러니 훨씬 원시적인 생물의 뉴런(환경과 자기 사이의 "처리" 거리가 짧은 것)을 모델로 삼으면 뭔가 나올 수도 있다고 저는 생각합니다. 하지만 진화를 거친 뉴런은 아니에요. 그런 뉴런은 수만 개의 시스템에 속해 있고, 그중 몇 개만 양파처럼 겹겹이 쌓여 있으니까요. 거리의 정의 자체가 완전히 다르고, 신경망은 어디에도 속해 있지 않습니다.
수만 개의 비동기적이고 연속적이고 비선형적인 사건이 수만 군데에서 딱 맞는 타이밍에 발화하고, 그 타이밍이 완벽한 동기화보다 더 기막힌 무언가를 만들어 냅니다. 그 낮은 수준의 세부 사항이 타이밍을 책임질 가능성이 큽니다. 마치 삼투압이 몸, 장기, 조직의 여러 부위에서 중요한 모든 비율의 바탕에 암묵적으로 깔려 있어서 안팎의 삼투압이 중요한 것과 비슷하죠.
저는 지금까지도 AI나 생성형 AI에 감흥이 없습니다. 그래도 멋지다고는 생각해요. 사실 "AI"라고 부르지 않고도 전부 해낼 수 있는 일이거든요. 그냥 노드 한 무더기와 잘 정리하고 태그를 붙인 입력일 뿐인데, 대부분 사회적 증거로 세탁된 경외감입니다. 그 마케팅 기계를 이길 방법은 없으니 LLM이 곧 AI가 된 거죠. LLM이 사전이나 위키백과 이상일 수도 있겠다 싶을 때마다, 내 프롬프트에 대한 답을 읽고 잠깐이라도 그렇게 생각한 내가 얼마나 멍청한지 깨닫습니다. 코드도 마찬가지예요. 우와, 대박, 아 잠깐, 그 오픈소스 코드랑 그 무료 프런트엔드 디자인이랑, 내가 예전에 언제 어디선가 이미 북마크해 둔 온갖 스니펫이며 에셋이잖아...
처음 ANN을 연구한 사람들이 연구비를 더 따내려고 뉴런이라고 불렀을 것 같습니다.
본질적으로 ANN은 학습 데이터에 맞게 조정할 수 있는 복잡한 수학 함수일 뿐입니다. 처음에는 ANN 뉴런의 활성화 함수가 실제 뉴런을 닮았지만, 나중에 전혀 다른 함수가 훨씬 낫다는 사실이 밝혀졌죠. RLE 같은 것 말입니다.
맞습니다. 신경망이 그런 이름으로 불린 건 있어 보이게 하려는 것이었어요. 저도 1980년대에 그 이름에 끌렸으니까요(컴퓨터와 생물학에 둘 다 관심이 있었거든요). 신경망이 뇌와 근본적으로 얼마나 다른지 이해하기 전인 2000년대 초에는 논쟁도 많이 벌였습니다.
그건 아니죠. 처음에는 퍼셉트론이라고 불렀습니다.
뉴런 비유는 처음부터 계속 있었어요. ANN은 "BNN"과 완전히 유사하니까요. NIPS 학회만 봐도 그렇고요.
발화율과 활성화 수준의 차이는 그렇게 큰 문제가 아닙니다.
ChatGPT에게 뇌 시뮬레이션에 필요한 메모리를 추정해 달라고 했습니다. 원글에 링크된 논문("Single cortical neurons as deep artificial neural networks")의 뉴런을 쓰는 조건이었어요. 이 논문은 실제 뉴런을 시뮬레이션하도록 만든 뉴런 모델을 씁니다. 답은 뉴런끼리 10^7개의 가중치를 공유하면 8~50PB, 뉴런마다 자기만의 10^7개 가중치를 가지면 3.4EB였습니다. 그러니 불가능한 영역은 아니라는 얘기죠.
10^7은 어디서 나온 숫자인지 궁금하네요. 표준적인 수치는 뉴런 860억 개에 뉴런당 시냅스 1만 개입니다.
반대로 보면 최첨단 LLM이 실제 뇌에 비해 얼마나 작고 원시적인지 보여 주는 셈이기도 합니다. 참고로 우리 뇌는 최대 클럭 속도가 100~1000Hz 정도로만 돌아갑니다.
그런데도 LLM은 그렇게 적은 자원으로 기적 같은 결과를 냅니다. 그러면 한계가 어디인지 정말 궁금해지죠. 인공 인간 뇌가 기가헤르츠로 돌아가고, 추론과 세부 사항 기억도 LLM보다 어떻게든 몇 자릿수 더 효율적이라면 얼마나 똑똑해질까요?
클럭 속도가 높을수록 에너지 소비도 커지지만, 연산량은 주파수에 비례해서 늘어나긴 할 겁니다.
하지만 LLM이 실제 뇌에 비해 정말 작은 건 아닙니다. 뇌의 FLOP/s는 1e15에서 1e21 사이로 추정되는데, H100 SXM 한 장이 이미 BF16으로 1e15 FLOP/s를 냅니다.
뇌에는 시냅스도 약 1e15개 있고, 각각 약 4.7비트 정보에 해당하는 값을 담고 있습니다. 이를 합치면 파라미터 590TB 분량으로, BF16 파라미터 294T개에 해당합니다(H100 한 장당 80GB로 담으려면 7.4k장이 필요합니다).
그래서 제 생각에는 컴퓨팅 파워 문제라기보다 메모리 대역폭 문제입니다. 뇌는 정보를 연산 장치(시냅스) 안에 바로 담고 있는 반면, H100은 FLOP당 메모리 대역폭이 상대적으로 아주 적으니까요.
또 세부 사항을 기억하는 건 양날의 검이라고 생각합니다. 세부 사항을 외우는 게 분명 유용할 수는 있지만, 패턴 일반화와 경쟁할 수도 있어요. 학습 데이터를 완벽하게 기억(과적합)할 수 있다면 일반화를 배울 필요가 없으니까요.
그래서 저는 낮은 속도에 고밀도 3D 컴퓨팅이 미래 하드웨어의 좋은 후보라고 생각합니다.
클럭 속도를 낮추면 전력과 발열이 기하급수적으로 줄어듭니다.
칩을 겹겹이 붙이는 것보다 물류 면에서 나은 방법을 찾아내길 바랄 뿐입니다.
동의하지만, "생물학적으로 그럴듯한" 유형의 신경망에 들어가는 뉴런들, 즉 억제/흥분 같은 것을 허용하지만 개체 간 변이에는 여전히 뚜렷한 한계가 있는 뉴런들보다 그렇게까지 더 흥미롭다고는 생각하지 않습니다.
정말 흥미로운 빠진 부분은 실제 신경 회로가 하는 것들이라고 봅니다. 연결이 훨씬 이질적이고, 동역학이 훨씬 유동적이며 시간에 의존하는 반면, 대규모로 돌리는 전형적인 컴퓨터 뉴런은 당연히 고정된 시간 간격으로 작동하고 버스터(bursters) 같은 것도 딱히 없으니까요.
저는 TMS 연구실에서 일할 때 실제 뉴런을 (영상 데이터셋에서 곧바로 가져와) 시뮬레이션하는 아주 큰 규모의 분산 시뮬레이션을 짠 적이 있습니다. 오래전부터 하고 싶었던 사이드 프로젝트는, 특정 형태에 맞춘 신경역학/케이블 이론 기반 RTL을 뽑아내고 이를 커넥톰대로 네트워크로 엮는 일종의 파이프라인이었어요. 성능이 좋아질 거라고는 생각하지도 않습니다. 그냥 재미있을 것 같아서요.
여기서는 타이밍 측면이 특히 흥미롭다고 생각합니다. 우리는 개별 인공 뉴런을 더 정교하게 만드는 데 집중하는 경향이 있지만, 흥미로운 행동 상당수는 회로 전체가 시간에 따라 어떻게 변해 가는지에서 나올지도 모릅니다.
맞아요! 수십 년째 연구되고 있는 위분쇄(gastric mill) 회로만 봐도 그렇습니다. 뉴런이 한 자릿수밖에 안 되는데도 기능은 놀랄 만큼 복잡하죠.
저는 이런 단일 세포들이 훨씬 더 결정론적인 컴퓨팅 기계에 가깝다는 느낌도 듭니다(화학 반응에 오차 범위가 있는 건 맞지만, 반도체에도 있는 일이니까요). 지금 우리가 행동을 무식하게 밀어붙여 얻는 데 쓰는 확률적 과정과는 다르죠.
저는 반대라고 봅니다. 세포는 확률적 성질이 아주 강한데, 그 확률성이 (보통 사인 곡선 모양의 "스위치"로) 철저하게 조절되는 거예요.
저는 오래전부터 사인 곡선의 테일러 급수 근사를 계산해서 형광등처럼 깜빡이는 세포를 만들어 보고 싶었습니다. 하지만 그러려면 믿을 만한 시스템을 구현해야 하는데, 세포는 이미 자기 내부의 기존 시스템으로 꽤 높은 정확도로 이걸 해내고 있죠.
저는 이게 지능이 아니라고 주장하고 싶습니다. 영양분 센서로 조절되는 시스템이 있어서, 그 영양분의 농도를 높이고 농도가 문턱 아래로 떨어지면 편모의 회전 방향을 바꾼다고 해서 지능적인 건 아닙니다. 이건 완전히 자동화된 메커니즘이고, 이는 지능이라는 말이 뜻하는 바와 정반대입니다.
멋지긴 하지만 지능은 아닙니다.
그럼 우리는 뭔가요? 영양분과 번식을 향해 근육을 움직이게 하는 센서 시스템 아닌가요?
솔직히 별로 다를 건 없습니다. 그래도 우리가 섭취량을 극대화하려고 행동하는 방식은 단순한 제어 조절기보다 훨씬 정교해서, 우리가 지능적이라고 불릴 자격은 있다고 생각합니다.
우리는 모델을 가진 존재입니다.
아주 단순한 생물은 그걸 전혀 못 합니다. 그렇게 하려면 내부 상태와 상태 전이 구조가 많은 무언가(즉 뉴런)가 정말로 필요합니다.
음, 마이클 레빈(Michael Levin)의 생물학 연구를 좀 더 살펴보셔야겠네요. 세포에는 놀라울 만큼 많은 적응력과 '지능'이 내장되어 있습니다.
레빈의 연구가 여기에 더 자주 올라오지 않는 게 놀랍습니다. 컴퓨터 과학자 출신으로 의학 연구자가 된 사람인데, 물리주의에 어려운 질문을 던지는 발견을 꾸준히 해내는 데다 암 치료 등에서도 최전선의 진전을 이루고 있어요. 인간의 팔다리를 다시 자라게 하려는 회사에도 속해 있습니다! 개구리에서는 이미 성공했고, 그보다 더 놀라운 것들도 해냈어요!
The Thought Emporium을 좋아하는 분이라면 누구나 그의 강연을 보시고 거기서 가지를 뻗어 보세요. 깜짝 놀라실 겁니다.
https://www.youtube.com/watch?v=KLWm0Qyj3jg
아니요. 솔직히 말해서 우리도 모릅니다.
그편이 더 안전하죠.
어쩌면 지능으로 만들어졌다는 뜻일지도 모르겠네요. 세포 하나(인공 게놈이 아니라)를 만들어 낼 수 있게 되는 건 언제쯤일까요? 어느 정도 수준이든 정교한 수프에서 출발해 그것을 단일 (최소) 세포로 만들도록 유도하는 겁니다(또는 최초의 생존 가능한 세포를 만들어 내는 어떤 과정이든요). 그 과정은 너무 복잡해서, 지능이 방향을 잡아 주는데도 어떻게 가능할지 이해하기 어려운데, 우연히 일어났다는 건 더더욱 상상하기 힘듭니다.
지능이 무엇을 뜻하는지 정의하지 않고 어떤 시스템이 지능적이지 않다고 말하는 건 말이 안 됩니다.
예를 들어 지능의 합리적인 정의 하나는 과거 경험을 활용해 앞으로의 행동을 쓸모 있게 이끄는 능력입니다. 동물 지능의 스펙트럼을 보면, 거기에 임의의 기준선이나 특정 메커니즘을 붙이지 않는 편이 가장 쓸모 있어 보입니다. 곤충이나 세균 같은 단순한 동물은 비교적 안정된 환경에서 쌓인 종의 과거 경험을 사실상 DNA에 부호화해 둔 셈입니다.
더 복잡한 신경계를 가진 동물은 한평생 개체로서 학습할 수 있고, 개별적으로 겪은 경험에 따라 지능을 드러냅니다. 물론 그런 동물도 환경에서 살아남고 번성하는 법에 대한 종 차원의 지능을 타고나기는 합니다.
이렇게 복잡한 시스템이 무작위 변이를 통해 진화했다는 게 늘 놀랍습니다.
아무 기능도 하지 않다가 몇 세대 뒤에 어떤 기능에 결정적인 역할을 하게 되는 "버전"이 분명 많았을 겁니다.
진화는 어떻게 지역 최적점에 갇히지 않는 걸까요?
우리 눈이 안팎이 뒤집힌 채로 배선되어 있다는 점(신경 다발이 빛이 들어오는 쪽에 있어서 눈에 난 구멍, 즉 맹점을 통과해야 합니다)을 생각하면, 자연선택은 지역 최적점에 걸핏하면 갇힌다고 봐야죠. 문어 같은 두족류는 우리와 아주 비슷한 눈을 갖고 있지만 완전히 따로 진화했고, 신경은 "올바른 방향"으로 배선되어 있습니다.
그러니 우리 경우에는 출발 조건이 어쩌다 그렇게 맞아떨어졌고, 어떤 단일 단계(또는 일련의 단계)로도 배선을 쉽게 뒤집을 수 없었기 때문에 그냥 그대로 굴러온 겁니다(그래도 꽤 잘 살고 있고요).
눈을 진화의 근거로 드시는 게 흥미롭네요. 보통은 그 반대인데 말이죠.