요약
미국 노동 시간의 90%는 AI 벤치마크가 거의 다루지 않는 업무에 쓰이고 있습니다.
머코어의 APEX 연구팀이 공개한 '미국 벤치마크 지도'의 결론입니다. 미국 노동부의 직업 분류인 O*NET 업무 목록에 공개 벤치마크 29개의 문항을 대응시켜, 경제의 어느 부분이 평가되고 있는지 쟀습니다. 연구팀은 결과가 잠정치라고 밝혔습니다.
왜 중요한가
- 벤치마크 점수만으로는 미국인이 실제로 하는 일 대부분에서 AI가 얼마나 잘하는지 알 수 없다는 뜻입니다.
- 평가가 소프트웨어 개발과 금융 분석처럼 임금 총액이 큰 직업에 몰려, 트럭 운전이나 중간 소득 사무직은 사각지대로 남습니다.
- 연구팀은 이런 쏠림이 합리적이라고 보면서도, 더 다양한 벤치마크 없이는 AI의 경제적 능력을 제대로 알 수 없다고 했습니다.
핵심 내용
- 직업 923개 가운데 208개, 업무 1만 8,797개 가운데 924개만 벤치마크로 다뤄지고 있었습니다.
- 한 업무에 대응하는 문항이 5개 이상이어야 '다뤄진다'고 봤고, 문항과 업무를 잇는 작업은 AI 모델이 맡았습니다.
- 공개돼 있고, 모델이 직접 일을 해내야 하며, 최신 모델이 아직 다 풀지 못한 벤치마크만 골랐습니다.
- AI가 영향을 주기 쉬운 업무는 그렇지 않은 업무보다 벤치마크에 들어갈 확률이 약 6배 높았습니다.
- 변호사 업무는 많이 다뤄졌지만, 법률 비서와 법원 서기의 업무는 거의 빠져 있었습니다.
HN 반응
- 일부 이용자는 문항 13개만 있어도 '잘 다뤄진다'고 본 사례를 들며, 기준을 엄격히 잡으면 수치가 99.9%를 넘을 것이라고 지적했습니다.
- 고임금 직업부터 평가된다는 결과를 두고, 로봇이 청소 같은 육체노동도 곧 대체한다는 쪽과 자율주행처럼 기대가 과장됐다는 쪽이 맞섰습니다.
'도어맨의 오류(Doorman Fallacy)'의 한 사례일지도 모릅니다. 도어맨을 자동문으로 바꾸면 당연히 이득일 것 같지만, 알고 보니 도어맨이 (예컨대 고객 경험 같은) 다른 중요한 역할을 여럿 하고 있었는데 그걸 따져보지 않았다는 이야기입니다.
다른 한편으로는 도어맨이 하던, 인정받지도 보상받지도 못한 일이 드러나기도 합니다.
이상적인 세상이라면(네, 압니다) 도어맨이 실제로 하는 일만큼 보수를 받게 되어야 합니다.
방금 일본 영화를 봤는데, 한 인물이 주유소에 들렀습니다. 직원이 나오고, 그녀가 유종을 말하면 그가 주유해 줍니다(물론 차 부품은 천으로 감싸서 만지고요!). 기름이 들어가는 동안 창문도 닦아 주고요. 돈을 받아 거스름돈을 가지러 뛰어갔다 오고, 그녀가 떠날 때는 도로 쪽으로 몇 걸음 나가서 차가 빠지도록 도와주고, 손을 흔들어 배웅합니다.
미국 방식이 더 효율적이냐고요? 그렇죠. 그 장면에서 기다리는 동안 그녀가 지루해 보이기도 하고요? 그렇죠. 거기 기름값이 아마 좀 더 비쌀까요? 그럴 겁니다.
그래도 뭔가 끌리는 구석이 분명히 있었습니다. 정확히 뭔지는 짚어 말하기 어렵지만요.
뉴욕 아파트 건물 상당수에는 아직도 도어맨이 있고, 사람들도 좋다고들 합니다. 저는 인터콤으로 되는 일에 돈을 더 내면서까지 도어맨 있는 건물에 살고 싶을 만큼 도어맨의 가치를 높게 보지는 않습니다.
그러니까 오류일 때도 있지만 아닐 때도 많다는 얘깁니다. 도어맨보다 인터콤과 자동문이 훨씬 많잖아요.
도어맨의 오류가 바로 이겁니다. 직무의 한 가지 기능을 그 직무 전체라고 생각하는 거죠. 도어맨은 문만 열어 주거나 말만 전달하는 사람이 아닙니다. 눈과 귀이자 경비이고, 친절한 얼굴이고, 짐을 들어 주는 손이고, 동네 사정을 아는 사람이고, 비상시 대응 요원입니다. 끝도 없이 이어집니다. 이 가운데 인터콤으로 대체되는 건 거의 없습니다.
오류라는 개념 자체를 휙 지나쳐 버리신 것 같네요.
도어맨의 가치는 인터콤 기능에 있지 않습니다.
사람들이 도어맨 건물을 좋아하는 건 건물에 항상 현장을 지켜보는 진짜 사람이 있기 때문입니다.
인터콤이나 자동문 시스템은 인터콤 사용법을 모르는 배달원, 배달 요청 사항을 안 지키는 배달원, 택배나 음식을 엉뚱한 곳에 두고 가는 배달원 같은 문제를 처리하지 못합니다. 그것도 도어맨이 주는 가치의 일부일 뿐이고요.
인터콤 시스템은 무단 침입자나 좀도둑질 같은 걸 막아 주지도 않습니다.
건물 규모만 어느 정도 되면 비용은 미미합니다.
뉴욕 매물 하나를 아무거나 골라 봤습니다. 이스트 69번가 219번지, 13층에 145세대입니다.
도어맨을 시급 30달러로 24시간 고용한다고 치면 한 세대당 월 150달러입니다.
지금 뉴욕인데, 친구가 고양이 밥 주라고 도어맨에게 맡겨 둔 열쇠를 받으러 왔어요. 20분째 기다리는데 도어맨이 어디에도 안 보이네요 :(
여기서 "잘 다뤄진다(covered well)"는 말이 사실상 "조금이라도 다뤄진다(covered at all)"와 같은 뜻으로 쓰이는 것 같습니다.
예를 들어 "사회복지사·돌봄 -> 부모의 육아 문제 상담" 범주는 프롬프트가 13개 있다는 이유로 "잘 다뤄진다"로 분류됩니다.
사회복지사가 그 일을 하며 수행하는 업무의 범위를 프롬프트 열세 개로 제대로 대표할 수 없다는 건 자명합니다.
"잘 다뤄진다"를 보통 사람이 그 말을 쓸 때의 의미대로 엄격하게 정의하면, 헤드라인 수치는 99.9%를 넘을 거라고 봅니다.
요컨대 AI가 좋은 일자리를 가져가길 바란다는 얘기네요. AI는 "쓰레기를 모아서 비우기", "화장실 관리·청소·비품 채우기", "규격에 맞춰 용기에 물과 세제 또는 산을 섞어 세척액 만들기" 같은 작업이 있는 일자리는 노리지 않습니다. 우리 소프트웨어 엔지니어와 변호사는 지금부터 재교육을 받는 게(그리고 생활 수준을 낮추는 게) 현명하겠습니다!
그리고 이게 AI가 모두의 사회와 생활 수준을 개선해 줄 방법 중 하나이기도 합니다. 더 깨끗하고 관리 잘 된 화장실이 생길 거예요. 지적인 일에 낭비되던 노동력이, 여전히 사람 손이 필요한 단순 저임금 노동으로 옮겨 갈 테니까요.
낙관할 이유가 생겼죠, 안 그래요?
얼마 전 데이터 사이언티스트에서 전기 기술자로 옮긴 사람으로서 말씀드리면, 하루를 시작하는 게 꽤 힘듭니다. 몸을 움직여야 하고 불편하니까요. 그런데 퇴근할 때 느낌은 사무직일 때보다 훨씬 좋습니다. 일이 대부분 꽤 불편한데도 어쩐지 아주 재미있어요.
저는 Local 60에서 해 봤습니다. 오래 못 버텼어요. 일이 정말 힘들고 근무 시간도 말이 안 됩니다. 4개월 하고 나서 저한테 안 맞는다는 걸 알았습니다. 오전 6시 안전 회의에서 부상 얘기나 누가 참수당한 얘기가 나오는 것도 동기부여가 되진 않았고요.
농담이 아니었군요. Local 60을 검색했더니 맨 처음 뜬 것 중 하나가 지역 지부의 사망 급여(Death Benefits) 안내였습니다!
로봇을 보호하는 건 쉽습니다.
시각, 이동, 특히 협응과 조작 같은 인간의 능력이 어려운 건 산술적 복잡도가 높기 때문입니다. 현대 딥러닝이 그걸 해결하고, LLM이 계획된 행동을 위한 "인터페이스"를 제공합니다.
밖에서 보면 이 "해결" 과정은 "로봇이 어설프게 비틀거리는 것"처럼 보일 수도 있습니다. 하지만 지적인 영역의 수학자들과 똑같습니다. 능력 수준이 인간을 넘어서면 외부인에게는 예상보다 훨씬 빠르게 일어난 "갑작스러운 사건"처럼 보이죠.
"안전지대"는 없습니다.
현실은 대부분의 실제 상황에서 사람이 로봇보다 훨씬 싸다는 겁니다. 지금까지 예외는 공장 같은 철저히 통제된 환경뿐이고요.
로봇이 '이기는' 지점은 자기 보존이나 장기 생존은 신경 쓰지 않고 명령을 따르는 것입니다.
그걸 잠깐 곱씹어 보세요. 그 결과를 생각하면 좀 무서워집니다.
예전에 교대 근무를 할 때, 이른 출근이 연달아 이어지고 나면 독감 걸린 사람 같은 몰골이 되던 동료가 있었습니다.
안전 브리핑은 안전하게 일하도록 동기를 주려는 거니까, 전달 방식을 좀 손봐야 할지도 모르겠네요. 저는 전에 일하던 곳(EMS)에서 동료 몇 명이 다치는 건 봤지만, 참수된 건 일반 시민 한 명뿐이었습니다.
아크 플래시(Arc Flash) 교육을 받으면 정신이 번쩍 듭니다.
저는 FAANG 소프트웨어 엔지니어였다가 지금은 항공기 조종사입니다. 지금 일에서 훨씬 큰 보람을 느낍니다. 적어도 하루가 끝날 때 사람들이 가야 할 곳에 가도록 도왔다는 게 있으니까요.
빅테크에서 하던 일은 사람들에게 눈에 보이는 도움을 주는 것과는 거리가 한참 멀었습니다.
돈은 그만 못하지만 사무실 전망은 훨씬 좋습니다.
AI 벤치마크에서 운송 직종이 거의 안 다뤄진다니 반갑네요. 제가 비행을 그만둘 때까지 계속 그러길 바랍니다. 적어도 AI가 이 일을 당장 망쳐 놓을 것 같지는 않으니까요.
비행 시간이랑 자격증 따는 데 돈이 얼마나 들었나요?
기분 나쁘게 들으실 수도 있지만, 조종사는 아마 자동화가 정점에 이른 직업일 겁니다. 하는 일이 대부분 거창한 이름의 자동조종 시스템 감시자로 줄었고, 주로 규제상 안전장치로 필요할 뿐이니까요. 지상 운송은 아직 얼마든지 자동화 대상이고요.
자동조종이 고장 났을 때 뭘 해야 하는지 알아야 할 책임이 있으니, 사실 고용 안정성은 꽤 좋습니다. 하는 일이 감시일 수는 있어도, 하늘을 나는 통 속에서 우리가 다 죽게 생겼을 때 최소한 그걸 알려 줄 기장이 없는 걸 원하는 사람은 없으니까요.
그 소식을 탄소 기반 조종사가 전해 주는 게 죽는 데 무슨 도움이 되는지는 모르겠지만, 호스피스 케어가 괜히 있는 건 아니겠죠.
항공기 자동화는 무엇이 잘못됐는지 진단하고 우회책을 찾는 데는 꽤 서툰 것으로 드러났습니다.
예를 들어 엔진이 떨어져 나갔다고 합시다. 자동화는 그 일이 일어났다는 걸 모르고, 유압이 떨어지고 어쩐지 엔진 추력이 0이 됐다는 식의 여러 문제만 감지합니다.
제가 보잉에 있을 때 들은 사고 사례가 있습니다. 자동조종이 오작동해서 기체를 뒤집어 수직 강하로 몰아넣었어요. 속도가 너무 빨라서 "분리(separation)", 즉 기류가 조종면 위로 더는 흐르지 않는 상태에 들어갔습니다. 다시 말해 조종사들은 그냥 실려 가는 신세였죠.
하지만 기장이 어차피 죽을 거라면 랜딩기어를 내려서 속도가 줄어드는지 보자고 생각했습니다. 그렇게 했더니 문짝이 뜯겨 나가고 기어가 뒤로 휘었지만, 속도가 충분히 줄어서 조종면이 공기를 "물" 수 있게 됐고, 조종사들은 기체를 다시 제어해 무사히 착륙했습니다.
비행 중인 조종실에 한 번도 안 들어가 보셨죠?
옳은 선택을 하셨습니다. 오픈AI나 앤트로픽보다 오래 가실 겁니다. 그쪽은 환각과 그럴듯한 추측을 팝니다. 미래를 그런 위에 세울 수는 없죠. 안전과 세부 사항에 신경 쓰는 좋은 조종사는 LLM으로 대체할 수 없습니다.
안녕하세요, 전기 기술자 동료님. 저는 전에 전기 엔지니어였습니다 :-) 사무실에 계속 앉아 있지 않으니 건강하게 살도 빠져서 좋습니다.
아뇨, 노립니다. 딸기 따기를 연구하는 YC 회사도 있어요. 하드웨어는 소프트웨어보다 오래 걸리지만, 로봇이 안 온다고 생각하신다면 주의를 안 기울이고 계신 겁니다. 문제는 일반 대중에게 닿기까지 얼마나 걸리느냐뿐입니다. 자동차 공장 등에서는 이미 시험 운용이 진행 중이고, 물론 지금은 느리고 잘 작동하지도 않지만, 더 좋게 만들려고 돈이 엄청나게 들어가고 있습니다.
그러면 우리는 어디에 서 있게 될까요?
과일 자동 수확 기계는 AI의 성과가 아닙니다. 기업들은 AI가 나오기 한참 전부터 그런 기계를 만들어 왔습니다. 로봇 제조는 새로울 게 없어요.
2012년에 저는 자율주행차가 10년도 안 돼 트럭 운전사를 일자리에서 몰아내고 경제를 재편할 거라고 진심으로 믿었습니다. 알고 보니 기술 환상이었죠. AI도 똑같이 흘러갈 거라고 생각합니다.
AI는 일의 만병통치약이 아니고, AI를 둘러싸고 부풀어 오르는 경제 거품은 그 기반 기술이 소프트웨어 업계 밖으로 널리 퍼져 진짜 투자 대비 수익을 내기 전에 파괴적인 결과와 함께 터질 겁니다.
"로봇"은 새롭지 않지만, 인간 수준의 조작 능력은 새롭습니다.
자율주행차도 마찬가지입니다. 지수적인 하키 스틱 곡선이고, 어느 시점에 인간의 능력 수준을 넘어섭니다. "선형"인 구석은 전혀 없고, 과거 경험에서 닮은 점을 찾으시는 건 크게 잘못된 겁니다.
사람들은 대부분의 직업이 수학이나 프로그래밍보다 덜 복잡하다는 걸 놓칩니다. 거기 있는 "장애물"이란 건 "우린 늘 이렇게 해 왔다" 같은 종류인데, 그건 진짜 "해자"가 아니잖아요?
거대 AI 기업들의 거품은 정말로 꺼질 수 있지만, 그게 어떻게든 상황을 개선해 준다는 가정은 억지입니다.
자동화로 일자리를 잃은 사람들은 다른 직업의 사람들과 경쟁하거나 지원에 의존하게 될 겁니다. 어느 쪽이든 임금은 전반적으로 떨어지고 물가는 오릅니다. 갈수록 빨라지는 속도로요.
제대로 돌아가는 경제에서는 임금이 떨어지는데 물가가 오를 수 없습니다. 물리적인 작업 상당수에서는 앞으로도 사람이 더 쌀 겁니다. 이 기술들의 개선과 적용이 피할 수 없는 지수 곡선을 그릴 거라는 주장이야말로 크게 잘못된 겁니다.
나머지는 아마 맞는 말씀일 겁니다. 다만 임금이 떨어지는데 물가가 어떻게 오르는지는 이해가 안 됩니다. 그 높은 가격을 누가 내죠?