마테오 파스퀴넬리 & 블라단 욜러
누스코프 선언: 지식추출주의 도구로서의 AI
1. 이성의 기계화 사업에 관한 약간의 깨달음
누스코프(Nooscope)는 인공지능의 한계를 그린 지도로, 컴퓨터 과학과 인문학 모두를 도발할 의도로 만들어졌다. 모든 지도는 어떤 특정한 편파적인 시각을 포함하고 있으며, 토론을 일으키기 위한 도구이기도 하다. 비슷한 맥락에서, 이 지도는 AI 반대자들의 성명이다. 이 선언문의 주 목적은 인공지능에 대한 신화화에 도전하는 것으로, 첫째로는 지능에 대한 기술적인 정의 측면에서, 둘째로는 사회와 인간으로부터 자율적인 정치적 형태의 측면에서 접근한다.[i] ‘인공지능’이라는 표현에서 ‘인공’이라는 형용사는 기술의 자율성에 대한 신화를 동반한다. 이는 컴퓨터 안에서 자기증식하는 ‘이질적인 지적존재’를 암시하지만, 실제로는 첨단기술 기업의 지정학적 자율성을 키우는 동시에 노동자의 자율성을 은폐하는 두 가지의 소외과정을 신화화하고 있다. 인간의 이성을 기계화하려는 이 현대의 프로젝트는 21세기에 들어서 지식 추출주의와 인식론적 식민주의의 기업체제로 극명하게 변질되었다.[ii] 기계학습(machine learning) 알고리즘은 가장 강력한 정보 압축 알고리즘인 것을 고려하면 이는 그리 놀랍지 않은 결과이다.
누스코프 지도의 목적은 AI를 ‘지능적 기계(intelligent machine)’라는 이념적 지위에서 지식도구(knowledge instrument) 중 하나로 끌어내리는 데에 있다. 기계학습이 가진 신비로운 인식능력의 전설에 대해 이야기하기 보다는, 기계학습을 인간의 손이 미치지 않는 방대한 데이터 공간을 통해 특징, 패턴, 상관관계를 인식하도록 돕는 지식확대경으로 생각하는 것이 타당할 것이다. 지식확대경은 과학과 기술의 역사에서 그리 새로운 것이 아닌데, 이미 천문학과 의학의 역사에서 광학 기구들이 비슷한 역할을 수행해 왔다.[iii] 이와 마찬가지로 과학의 전통에서 기계학습은 단지 지식의 공간을 보고 탐색하는 도구인 누스코프일 뿐이다(그리스어에서 보다, 관찰하다라는 뜻의 skopein과 지식을 뜻하는 noos로부터 왔다).
고트프리트 빌헬름 라이프니츠(Gottfried Wilhelm Leibniz)의 아이디어를 차용하여, 누스코프 다이어그램은 기계학습의 구성요소들을 광학 매체에 비유한다. 라이프니츠는 논리계산학(calculus ratiocinator)와 ‘수리요소기호(characteristic numbers)'(인간 이성의 모든 문제를 부호화하고 해결하기 위해 보편적 수리 언어를 설계하려는 생각)의 힘을 논하면서 현미경과 망원경 같은 시각적 확대 기기에 대한 비유를 사용했다. 그는 ‘대부분의 개념에 대해 수리요소기호가 확립되면, 인류는 광학적 기구가 눈을 강화시키는 만큼보다 정신의 능력을 훨씬 더 크게 향상시킬 새로운 기구를 소유하게 될 것이며, 이성이 시력보다 우월하기에 현미경과 망원경을 대체할 것이다.’라고 썼다.[iv] 비록 이 문서의 목적이 양적 문화와 질적 문화 사이의 대립을 반복하는 것은 아니지만, 우리가 라이프니츠의 신조를 따를 필요는 없다. 논쟁은 계산을 통해 단정적으로 해결될 수 없다. 기계학습은 지능의 궁극적인 형태가 아니다.
측정 및 인식의 장치들은 항상 내재적인 왜곡을 동반한다. 현미경과 망원경의 렌즈가 결코 완벽하게 매끄러운 곡면이 아닌 것과 마찬가지로, 기계학습의 논리적 렌즈는 결함과 편견을 내재한다. 기계학습을 이해하고 그것이 사회에 미치는 영향을 드러내는 작업은 이러한 렌즈에 의해 사회 데이터가 회절되고 왜곡되는 정도를 연구하는 것이다. 이는 일반적으로 AI의 편향성에 대한 논쟁으로 알려져 있지만 기계학습의 논리적 형태가 갖는 정치적 의미는 더 깊다. 기계학습은 새로운 암흑기를 가져오는 존재는 아니다. 그러나 왜곡된 합리성의 하나로써, 후에 서술될 것처럼 인과관계의 인식을 자동화된 상관관계로 대체한다. 보다 일반적으로 말하자면 AI는 종종 통계적 환각의 형태를 띄는 진리, 과학적 증거, 사회적 규범성, 합리성의 새로운 체제이다. 누스코프 도표 성명서는 계산의 제왕(기계화된 지식의 애국적 환상, ‘마스터 알고리즘’과 알파 머신)인 AI가 벌거벗은 몸이라는 또 다른 표현이다. 여기서 우리는 그것의 블랙박스를 들여다보고 있다.
지식확대의 도구인 은유의 발명에 대하여. Emanuele Tesauro, Il canocchiale aristotelico [The Aristotelian Telescope], frontispiece of the 1670 edition, Turin.
2. 기계학습의 조립라인: 데이터, 알고리즘, 모형
대중적으로는 “AI의 겨울”로 알려져 있는 AI의 역사는 실험, 기계고장, 학문적 논란, 군사적 지원을 둘러싼 서사시적 경쟁의 역사이다.[v] 오늘날 기업화된 AI의 힘은 “흑마술”이나 “초인간적 인지능력”으로 묘사되곤 하지만, 현재 기술은 여전히 실험적인 단계이다.[vi] AI는 이제 막 증기기관을 발명했을 때와 같은 단계인데, 이 단계에서는 그 작동 원리를 설명하고 조절하는 데 필요한 열역학 법칙이 아직 발견되지 않았다. 마찬가지로 오늘날에도 영상인식을 위한 효율적인 신경망(neural network)은 있지만, 그것들이 왜 그렇게 잘 작동하는지 혹은 어떻게 그렇게 크게 실패하는지를 설명하는 학습 이론은 없다. 다른 발명품들과 마찬가지로 기계학습의 패러다임도 지난 반세기 동안 서서히 그 위치를 공고하게 해왔다. 마스터 알고리즘은 하룻밤 사이에 나타나지 않았다. 오히려 계산 방법은 점진적으로 구성되고 있으며 여전히 그것을 위한 공통의 언어를 찾아야한다. 예를 들어, 학생들을 위한 기계학습 교과서에 쓰이는 용어들도 아직 통일되지 않았다. 그렇다면 일반 지능을 정의하는 편집증적인 게임에 참여하지 않으면서도 어떻게 기계학습의 비판적인 문법을 간결하고 접근하기 쉬운 방식으로 그릴 것인가?
지식의 도구로서 기계학습은 관찰 대상(학습 데이터셋, training dataset), 관찰 수단(학습 알고리즘, learning algorithm), 최종 표현(통계 모형, statistical model)으로 구성된다. 이 선언서에서 제안하는 누스코프라고 이름 붙여진 다이어그램은 이 세 가지 요소들의 집합체이다.[vii] 광학 매체의 비유를 계속하자면, 기계학습의 정보 흐름은 훈련 데이터에 의해 투영되고, 알고리즘에 의해 압축되어 통계 모형의 렌즈에 의해 세계를 향해 회절되는 빛의 광선과 같다.
누스코프 다이어그램은 기계학습의 두 가지 측면, 즉 이것이 작동하는 방식과 실패하는 방식을 동시에 설명하는 것을 목표로 하며, 주요 구성 요소뿐만 아니라 패러다임에 내재되어 있는 광범위한 오류, 한계, 근사치, 편견, 오류, 오류 및 취약성을 나열한다.[viii] 이러한 두 가지 작업은 AI가 합리성의 일원적 패러다임이 아니라 기술과 요령을 도입해 만든 가짜 건축이라는 점을 강조한다. 게다가 AI의 한계는 단순한 기술적 한계가 아니라 인간의 편향성에 물들어 있다. 누스코프 다이어그램에서 기계학습의 필수 구성 요소를 중앙에, 인간 편향과 개입을 왼쪽에, 기술적 편향과 제약조건을 오른쪽에 표시한다. 광학 렌즈는 정보 흐름의 압축과 왜곡을 나타내는 편향과 근사를 상징한다. 통계 모형의 중심렌즈는 기계학습의 총 편향을 나타내며, 세계 인식은 이 렌즈를 통해 회절된다.
오늘날 AI의 한계는 알고리즘에 의한 성별, 인종, 능력, 계층 차별의 증폭될 수 있다는 편향성에 대한 담론 덕분에 일반적으로 인식되고 있다. 기계학습에서는 정보 흐름의 서로 다른 단계에서 발생하는 과거 편향, 데이터셋 편향, 알고리즘 편향을 구분할 필요가 있다.[ix] 역사적 편향(혹은 세계편향)은 기술적 요소가 개입하기 이전에 사회에 명백하게 존재한다. 그럼에도 불구하고 그러한 편향에 순응하는 것, 명백히 중립적인 기술에 불평등한 요소들을 암묵적으로 더하는 것은 그 자체로 해롭다.[x] 루하 벤자민(Ruha Benjamin)은 미셸 알렉산더(Michelle Alexander)를 의역하며 그것을 ‘새로운 짐 코드(New Jim Code)’ -기존의 불평등을 반영하고 재생산하지만 이전 시대의 차별적 시스템보다 더 객관적이거나 진보적인 것으로 홍보되고 인식되는 새로운 기술의 적용-이라고 불렀다.[xi] 데이터셋 편향은 인간 운영자가 학습 데이터를 준비하는 과정에서 도입된다. 이 과정에서 가장 미묘한 부분은 데이터 라벨링(labeling)인데, 여기서 구식 및 보수적인 분류 체계가 사용되어 세계관을 왜곡시킬 수 있으며, 사회적 다양성을 잘못 반영하고 사회적 계급화를 악화시킬 수 있다 (아래의 이미지넷(ImageNet) 사례 참조).
알고리즘 편향(기계 편향, 통계적 편향, 혹은 모형 편향이라고도 하며, 누스코프 다이어그램이 특별히 주의를 기울이고 있다.)는 기계학습 알고리즘에 의한 과거 편향 및 데이터셋 편향의 추가적인 증폭이다. 편향성의 문제는 대부분 기계학습 알고리즘이 정보압축에 가장 효율적이라는 사실에서 기인하며, 이는 정보의 해상도 저하, 왜곡, 손실 문제를 발생시킨다.[xii] 예로부터 알고리즘은 가장 적은 양의 자원 즉, 공간, 시간, 에너지 및 노동력을 소비하는 가장 짧은 수의 단계를 달성하기 위해 고안된 경제적 성격의 절차였다.[xiii] 오늘날에도 AI 기업의 군비 경쟁은 데이터를 가장 간단하고 빠르게 활용할 수 있는 알고리즘을 찾는 것과 관련이 있다. 정보 압축이 기업 AI의 최대 수익률을 산출한다면, 사회적 관점에서 보았을때 이는 차별과 문화적 다양성의 상실을 낳는다.
AI의 사회적 파장은 AI의 편향성 문제를 통해 널리 받아들여지는 한편, AI의 기술적 한계는 블랙박스 문제로 알려져 있다. 블랙박스 효과는 역연산이 불가능할 정도로 정보를 심하게 걸러내는 심층신경망(deep neural network)의 실제 문제이며, 이는 AI 시스템이 단순히 불가사의하고 불투명할 뿐만 아니라 심지어 ‘이질적인 존재’이며 통제 불능이라는 의견을 대표하는 단어가 되었다.[xiv] 블랙박스 효과는 개발 초기 단계에 있는 실험적인 장치의 성질 중 하나이다. (이미 증기기관의 기능은 실험에 성공한 후에도 한동안 미스터리로 남아 있다는 것이 주목하라.) 실제 문제는 블랙박스 수사(rhetoric)인데, 이는 AI가 연구할 수도, 알 수도, 정치적으로 통제할 수도 없는 주술적 권력이라는 음모론 정서와 밀접하게 연관돼 있다.
3. 교육 데이터 집합: 기계 지능의 사회적 기원
1990년대에 인터넷과 함께 확장되고 2000년대에 데이터 센터와 함께 확대된 대량 디지털화는 역사상 최초로 자유롭고 규제되지 않은 방대한 데이터 자원을 이용 가능하게 했다. 지식 추출주의 체제(당시 빅 데이터로 알려짐)는 이러한 오픈 소스 데이터에서 ‘지능’을 추출하는 효율적인 알고리즘을 점차적으로 사용하였는데, 이는 주로 소비자의 행동을 예측하고 광고를 판매하기 위한 목적이었다. 지식경제는 다른 저자들에 의해 인지자본주의와 감시자본주의라고 불리는 새로운 자본주의의 형태로 형성되었다.[xv] 넘쳐 흐르는 인터넷 정보, 방대한 데이터 센터, 더 빠른 마이크로프로세서, 그리고 데이터 압축 알고리즘은 21세기 AI 독주의 토대를 마련했다.
어떤 문화적, 기술적 요소가 AI의 근원을 구성하는가? 학습 데이터의 품질은 기계학습 알고리즘이 추출하는 이른바 ‘지능’에 영향을 미치는 가장 중요한 요소이다. AI를 누스코프로 이해하기 위해서는 고려해야 할 중요한 관점이 있다. 데이터는 가치와 지능의 첫 번째 원천이다. 알고리즘은 그 다음인 두번째로, 그러한 가치와 지능을 모형으로 계산하는 기계이다. 그러나 학습 데이터는 절대 날 것이 아니며, 독립적이거나 중립적이지 않다. (이미 그 자체가 ‘알고리즘적’이다).[xvi] 학습 데이터를 조각하고 형식을 맞추고 편집하는 것은 상당한 공을 들여야 하고 세심한 주의를 요하는 작업이며, 학습 알고리즘을 제어하는 기술적 파라미터들보다 최종 결과에 더 중요하다. 이는 어떤 데이터 소스가 아니라 다른 데이터 소스를 선택하는 행위는 ‘인공적’ 지능의 영역에 인간의 개입이 이루어졌다는 심오한 표식이다.
학습 데이터셋은 단순히 기술적인 요소가 아니라 문화적 구조체이며 일반적으로 입력 데이터와 그에 대응되는 이상적인 경우의 출력 데이터(레이블(label) 혹은 메타데이터(metadata)라고도 한다.)로 구성된다.[xvii] 박물관의 소장품과 예술작품들을 저자, 연도, 매체 등과 같은 메타데이터로 조직화한 기록물들이 이의 대표적인 예가 될 것이다. 사진에 이름이나 범주를 지정하는 기호학적 과정은 결코 객관적이지 않은데, 이 행동은 기계 인식의 최종 결과에 인간은 또 다른 깊은 각인을 남긴다. 기계학습을 위한 학습 데이터셋은 보통 다음의 단계들로 구성된다. 1) 생산: 정보가 생산되는 노동 또는 현상, 2) 포착: 장치를 통해 정보를 데이터의 형식으로 부호화(encoding), 3) 포맷: 데이터를 데이터셋으로 구성, 4) 라벨링: (지도학습의 경우) 데이터를 범주(메타데이터)에 맞게 분류.
기계 지능은 기술적으로 중립적이지 않고 사회적으로 공평하지 않은 방식으로 축적된 방대한 데이터셋을 학습한다. 실제로 가공되지 않은 데이터라는 것은 존재하지 않는데, 이는 데이터셋이 확장된 네트워크와 논란의 소지가 있는 분류법을 통해서 오랜 시간에 걸쳐 쌓인 인간의 노동, 개인 데이터, 그리고 사회적 행동에 의존하기 때문이다.[xviii] 기계학습을 위한 주요 학습 데이터셋(MNIST, ImageNet, Labeled Face in the Wild 등)은 북반구 국가들의 기업, 대학 및 군사 기관에서 만들어졌다. 그러나 좀 더 주의 깊게 살펴보면 데이터를 편집하고 검증하는 데 사용되는 크라우드소싱 플랫폼을 통해 이루어지는 북반구와 남반구의 긴밀한 분업을 발견할 수 있다.[xix] 이미지넷(ImageNet) 데이터셋의 사례가 많은 AI 데이터셋의 문제를 대표하여 이야기할 수 있다. 이미지넷은 딥러닝을 위한 학습 데이터셋으로써, 사진 인식(image recognition) 알고리즘의 성능을 비교하는 데에 있어서 사실상의 표준이다: 실제로, 딥러닝 혁명은 2012년 알렉스 크리셰프스키(Alex Krizhevsky), 일리야 수츠케버(Ilya Sutskever), 그리고 조프리 힌튼(Geoffrey Hinton)이 컨볼루션 신경망인 알렉스넷과 함께 매년 열리던 이미지넷 챌린지에서 우승하면서 시작되었다.[xx] 이미지넷은 2006년에 컴퓨터 과학자 페이페이 리(Fei-Fei Li)에 의해 시작되었다.[xxi] 페이페이 리는 사진 인식을 위한 신뢰할 수 있는 데이터셋을 구축하기 위한 세 가지 직관을 가지고 있었다. 첫째, 플리커(Flickr)와 구글(Google)과 같은 웹 서비스로부터 수백만 개의 무료 이미지를 다운로드한다. 둘째, 컴퓨터를 위해 만들어진 단어 분류체계인 워드넷(WordNet)을 이용하여 이미지의 레이블 분류를 설정한다.[xxii] 셋째, 크라우드소싱 플랫폼인 아마존 메카니컬 터크(Amazon Mechanical Turk)를 통해 수백만 장의 이미지 레이블을 붙이는 작업을 아웃소싱한다. 하루의 끝(그리고 조립라인의 끝)에 지구 전역에서 온 익명의 노동자들은 워드넷 분류법에 따라 분당 수백 장의 사진에 라벨을 붙이고 작업당 몇 센트를 받았는데, 이러한 그들의 노동력은 논란의 여지가 많은 문화적 구조체를 설계하는 결과를 가져왔다. AI 학자인 케이트 크로포드(Kate Crawford)와 예술가 트레버 파글렌(Trevor Paglen)은 이미지넷의 분류체계에서 인종차별주의와 성차별주의의 흔적을 조사하여 공개했는데, 백 여장의 인물 사진에 대해 ‘실패자, 패배자, 가망 없는 사람, 성공하지 못한 사람’이라는 범주가 붙은 것을 확인할 수 있다.[xxiii]
AI의 탐욕스러운 데이터 추출주의는 디지털 문화에 예기치 못한 후폭풍을 불러왔다. 2000년대 초, 로렌스 레시그(Lawrence Lessig)는 크리에이티브 커먼즈(Creative Commons) 라이선스를 가진 대규모 온라인 이미지 저장소가 10년 후에 얼굴 인식 감시 기술을 위한 규제받지 않은 자원이 될 것이라고 예측할 수 없었다. 이와 비슷한 방식으로 개인 데이터가 기계학습을 위한 민영화된 데이터 세트에 투명성 없이 지속적으로 추가되는데, 2019년에 이를 예술가이자 AI 연구자인 아담 하비(Adam Harvey)가 얼굴 인식을 위한 학습 데이터셋에서 개인 사진을 동의 없이 사용한 사실을 처음으로 공개했다. 하비의 공개로 인해 스탠퍼드 대학교, 듀크 대학교, 마이크로소프트는 프라이버시 침해 스캔들이 불거지고 이윽고 데이터셋을 철회하는 결과로 이어졌다.[xxiv] 온라인에 공개된 학습 데이터셋은 기존의 전통적인 기관이 기민하게 대처하지 못했던 데이터 주권과 시민 권리에 대한 논쟁을 불러 일으켰다. (유럽 일반 데이터 보호 규정(European General Data Protection Regulation) 참조).[xxv] 2012년이 딥러닝 혁명이 시작된 해였다면 2019년은 그 원천이 취약하고 부패한 것으로 밝혀진 해였다.
조합적인 문양과 쿠픽(Kufic) 문자, Topkapi scroll, ca. 1500, Iran.
4. 인식의 자동화로서의 AI의 역사
(적어도 기술적인 관점에서) AI의 신비적 요소를 제거할 필요성은 기업 세계에서도 이해되고 있다. 페이스북 AI의 대표이자 컨볼루션 신경망의 대부인 얀 르쿤은 현재의 AI 시스템은 고도화된 버전의 인지(cognition)이 아니라 고도화된 버전의 인식(perception)임을 거듭 강조한다. 마찬가지로 누스코프 도표도 AI 블랙박스의 골격을 노출하고 있으며, AI가 생각하는 자동기계(오토마톤 Automaton)이 아니라 패턴 인식을 수행하는 알고리즘임을 보여준다. 패턴 인식의 개념은 정교하게 설명되어야 하는 문제들을 포함하고 있다. 그나저나 패턴이란 무엇인가? 패턴은 고유한 시각적 실체인가? 사회적 행동을 패턴으로서 읽는다는 것은 무엇을 의미하는가? 패턴 인식은 지능의 전체를 정의하는가? 아마 아닐 것이다. 이러한 문제를 명확히 하기 위해서는 AI에 대한 간략한 고고학에 착수하는 것이 좋을 것이다.
패턴 인식을 위한 기계의 원형은 프랭크 로젠블랏(Frank Rosenblatt)의 퍼셉트론(Perceptron)이다. 1957년 뉴욕 주 버팔로에 있는 코넬 항공 연구소(cornell Aeronautical Laboratory)에서 발명되었으며, 이름은 ‘Perceiving and Recognizing Automaton’[xxvi]의 줄임말이다. 퍼셉트론은 20×20으로 나열된 광수용체들의 배열을 통해 입력을 받아 간단한 문자를 인식하는 방법을 배울 수 있다. 시각적 패턴은 신경망에 자극으로서 입력되어, 이전에 반복해서 입력받은 유사한 사진들의 도움을 받아 인공 뉴런들을 발화시키고, 하나의 출력 뉴런을 활성화한다. 출력 뉴런은 지정된 사진이 인식되면 1=참으로, 지정된 영상이 인식되지 않으면 0=거짓으로 발화한다.
인식의 자동화는, 계산적인 조립 라인을 따라 처리되는 픽셀의 시각적 몽타주로서, 원래 맥컬록(McCulloch)과 피트(Pitt)의 인공 신경망 개념을 내포하고 있었다.[xxvii] 일단 시각적 패턴 인식 알고리즘이 ‘AI의 겨울’에서 살아남아 2000년대 후반에 효율성이 입증되자, 비시각적 데이터셋에도 적용되어 딥러닝의 시대(시각만이 아닌 모든 종류의 데이터에 패턴 인식 기법의 적용)를 제대로 개시했다. 오늘날 자율주행차의 경우 인식해야 할 패턴은 도로 주행 시 보이는 물체들이다. 자동번역의 경우, 인식해야 하는 패턴은 이중언어 텍스트에서 가장 흔한 단어 나열들이다. 그 복잡성에 관계없이 기계학습의 수치적 관점에서 보면 이미지, 움직임, 형태, 스타일, 윤리적 결정 등의 개념은 모두 패턴의 통계적 분포로 설명할 수 있다. 그런 의미에서 패턴 인식은 진정 다양한 분야에서 활용되는 새로운 문화적 기법이 되었다. 설명을 위하여, 누스코프는 학습, 분류, 예측의 세 가지 작동방식으로 동작하는 기계로 기술된다. 좀 더 직관적인 용어로, 각 작동방식은 패턴 추출, 패턴 인식, 패턴 생성이라고 부를 수 있다.
로젠블랏의 퍼셉트론은 현대적 의미에서 기계학습의 길을 닦은 최초의 알고리즘이었다. ‘컴퓨터 과학’이 아직 정의로 채택되지 않은 시기에 이 분야는 ‘컴퓨터 기하학’으로 불렸고, 구체적으로는 로젠블랏 자신이 ‘연결주의(Connectionism)’로 불렀다. 그러나 이들 신경망의 일이란 통계적 추론을 계산하는 것이었다. 신경망이 계산하는 것은 정확한 패턴이 아니라 패턴의 통계적 분포이다. 인공지능(AI)의 인체모형 마케팅의 표면만 긁어내면 검사가 필요한 또 다른 기술적, 문화적 대상인 통계적 모형을 찾게 된다. 기계학습의 통계적 모형은 무엇인가? 어떻게 계산되는가? 통계적 모형과 인간의 인지 사이에는 어떤 관계가 있는가? 이것들은 분명히 하기 위한 중요한 문제들이다. 수행해야 할 비신격화 작업에서는(일부 순진한 질문들을 없애기 위해서도) 진부한 질문인 ‘기계가 생각할 수 있는가?’를 이론적으로 더 건전한 질문인 ‘통계 모형이 생각할 수 있는가?’, ‘통계 모형이 의식을 가질 수 있는가?’ 등으로 개편하는 것이 좋을 것이다.
5. 학습 알고리즘: 세계를 통계적 모형으로 압축한다
AI의 알고리즘은 ‘이질적인’ 형태의 지능을 증류할 수 있는 연금술 기법을 떠올리게 한다. 하지만 기계학습 알고리즘은 실제로 무엇을 하는가? 일반인공지능(AGI; Artificial General Intelligence)의 추종자를 포함해 굳이 이런 질문을 하는 사람은 거의 없다. 알고리즘은 기계가 계산을 수행하는 공정의 이름이다. 그러한 기계 공정의 산물은 통계 모형(더 정확하게 ‘알고리즘 통계 모형’이라고 한다.)이다. 개발자 커뮤니티에서는 ‘알고리즘’이라는 용어가 점점 ‘모형’로 대체되고 있다. 이러한 용어적 혼란은 통계적 모형이 알고리즘과 따로 떨어져 존재하지 않는다는 점 때문에 발생한다. 어째서인지, 통계적 모형은 알고리즘의 매개변수 변수들에 분산된 기억의 형태로 알고리즘 안에 존재한다. 같은 이유로, 단순한 수학적 함수를 시각화하는 것처럼 알고리즘 통계 모형을 시각화하는 것은 본질적으로 불가능하다. 그래도 도전할 가치가 있다.
기계학습에는, 많은 알고리즘적 구조(algorithm architecture)가 있다. 단순한 퍼셉트론, 심층 신경망(deep neural network), 서포트 벡터 머신(support vector machine), 베이지안 네트워크(Bayesian network), 마르코프 체인(Markov chain), 오토인코더(autoencoder), 볼츠만 머신(Boltzmann machine) 등이다. 이러한 구조들은 각각 다른 역사를 가지고 있다(흔히 북반구 국가의 군사 기관과 기업에 뿌리를 두고 있다). 인공 신경망은 단순한 컴퓨팅 구조에서 시작하여 복잡한 구조로 진화하였으며, 오늘날에는 수백만 개의 매개변수(parameter)를 표현하는 적은 수의 초매개변수(hyperparameter)에 의해 제어되고 있다.[xxviii] 예를 들어, 컨볼루션 신경망은 적은 수의 초매개변수들(계층 수, 계층당 뉴런 수, 연결 유형, 뉴런의 행동 등)로 기술되는데, 초매개변수들은 수천 개의 인공 뉴런들의 구조와 그 수백만 개의 매개변수들을 지배한다. 이 알고리즘은 빈 서판으로 시작하여 학습 또는 ‘데이터로부터 학습’이라는 과정을 통해서 입력 데이터를 잘 표현할 때까지 매개변수들을 조정한다. 앞에서 본 바와 같이 사진 인식에서 수백만 개의 파라미터를 통한 연산은 사진이 인식된 경우 1=참, 인식되지 않는 경우 0=거짓의 값을 갖는 단순한 이진(binary)값을 출력한다.[xxix]
Peceptron 퍼셉트론
Feed Forward 순방향(feed forward)
Radial basis network 방사형 기저함수 네트워크(Radial basis network)
Deep feed forward 심층 순방향(Deep feed forward)
Recurrent Neural Network 재귀 신경망(Recurrent Neural Network)
Support Vector Machines 서포트 벡터 머신(Support Vector Machines)
Autoencoder 오토인코더(autoencoder)
Variational AE 변분 오토인코더(Variational AE)
Sparse AE 희소 오토인코더(Sparse AE)
Markov Chain 마르코프 체인(Markov Chain)
Hopfield Network 홉필드 네트워크(Hopfield Network)
Boltzmann Machine 볼츠만 머신(Boltzmann Machine)
Restricted BM 제한된 볼츠만 머신(Restricted Boltzmann Machine)
Deep belief network 심층 믿음 네트워크(Deep belief network)
Generative Adversarial Network 생성 적대 신경망(Generative Adversarial Network)
Deconvolutional Network 디컨볼루션 네트워크(Deconvolutional Network)
Deep Convolutional Inverse Graphics Network 심층 컨볼루션 역 그래픽 네트워크(Deep Convolutional Inverse Graphics Network)
Echo State Network 반향 상태 네트워크(Echo State Network)
Neural Turing Machine 신경 튜링 기계(Neural Turing Machine)
Deep Residual Network 심층 잔차 네트워크(Deep Residual Network)
Kohonen Network 코호넨 네트워크(Kohonen Network)
출처: www.asimovinstitute.org/neural-network-zoo
알고리즘과 모형 사이의 관계에 대한 이해하기 쉬운 설명을 시도하면서, 복잡한 인셉션v3 (Inception v3) 알고리즘을 살펴보기로 하자. 이는 구글에서 설계하고 이미지넷 데이터셋를 이용해 학습한 이미지 인식을 위한 심층 컨볼루션 신경망이다. 인셉션v3는 사진의 라벨을 식별하는 데 있어서 78%의 정확도를 가지고 있다고 하지만, 이 경우 ‘기계 지능’의 성능은 학습 데이터의 크기와 학습된 알고리즘(또는 모형) 사이의 비율로도 측정할 수 있다. 이미지넷에는 약 1400만 개의 이미지가 포함되어 있으며 약 150기가바이트의 메모리를 차지한다. 반면 이미지넷에 포함된 정보를 나타내도록 만들어진 Inception v3은 92메가바이트에 불과하다. 학습 데이터와 모형 간의 압축 비율은 정보의 회절 비율을 부분적으로 설명한다. Keras[xxx] 문서의 표는 사진 인식의 주요 모형에 대한 이러한 값(매개 변수 수, 계층 깊이, 파일 크기 및 정확도)을 비교한다.[xxxi] 이것은 모형과 데이터 사이의 관계를 보여 주는 잔인하지만 효과적인 방법이며, 알고리즘의 ‘지능’이 개발자 커뮤니티에서 어떻게 측정되고 평가되는지를 보여준다.
개별 모형에 대한 설명서
| 모형 | 크기 | Top-1 정확도 | Top-5 정확도 | 파라미터 | 깊이 |
| Xception | 88MB | 0.790 | 0.945 | 22,910,480 | 126 |
| VGG16 | 528MB | 0.713 | 0.901 | 138,357,544 | 23 |
| VGG19 | 549 MB | 0.713 | 0.900 | 143,667,240 | 26 |
| ResNet50 | 98MB | 0.749 | 0.921 | 25,636,712 | – |
| ResNet101 | 171MB | 0.764 | 0.928 | 44,707,176 | – |
| ResNet152 | 232MB | 0.766 | 0.931 | 60,419,944 | – |
| ResNet50V2 | 98MB | 0.760 | 0.930 | 25,613,800 | – |
| ResNet101V2 | 171MB | 0.772 | 0.938 | 44,675,560 | – |
| ResNet152V2 | 232MB | 0.780 | 0.942 | 60,380,648 | – |
| InceptionV3 | 92MB | 0.779 | 0.937 | 23,851,784 | 159 |
| InceptionResNetV2 | 215MB | 0.803 | 0.953 | 55,873,736 | 572 |
| MobileNet | 16MB | 0.704 | 0.895 | 4,253,864 | 88 |
| MobileNetV2 | 14MB | 0.713 | 0.901 | 3,538,984 | 88 |
| DenseNet121 | 33MB | 0.750 | 0.923 | 8,062,504 | 121 |
| DenseNet169 | 57MB | 0.762 | 0.932 | 14,307,880 | 169 |
| DenseNet201 | 80MB | 0.773 | 0.936 | 20,242,984 | 201 |
| NASNetMobile | 23MB | 0.744 | 0.919 | 5,326,716 | – |
| NASNetLarge | 343MB | 0.825 | 0.960 | 88,949,818 | – |
출처: keras.io/applications
통계적 모형은 항상 문화와 정치에 영향을 미쳤다. 그들은 단지 기계학습과 함께 출현한 것이 아니다: 기계학습은 통계 모형 작업의 기술을 자동화하는 새로운 방법일 뿐이다. 그레타 툰베리(Greta Thunberg)가 ‘과학에 귀를 기울여라’고 경고할 때, 그녀가 진짜로 말하는 것은, 수학을 공부하는 훌륭한 학생이 되어서 ‘기후과학의 통계적 모형에 귀를 기울여라 ‘는 것이다. 통계 모형이 없으면, 기후 과학도 없다: 기후 과학이 없으면, 기후운동(climate activism)도 없다. 기후 과학은 통계적 모형을 이해하기 위해 출발하는 좋은 예이다. 지구 온난화는, 첫째, 지구의 표면으로부터 연중 매일 기온의 방대한 데이터셋를 수집하고, 둘째, 과거의 기온 변동의 곡선을 그려서 미래에 동일한 패턴을 투영하는 수학적 모형을 적용하여 계산되었다.[xxxii] 기후 모형은 오늘날 그리고 그 이후의 과학계 안에서 시험되고 토론되는 역사적 인공물이다.[xxxiii] 기계학습 모형은 반대로 불투명하고, 사회의 논쟁이 접근할 수 없다. AI의 신화화의 정도와 그 수학적 구조체를 둘러싼 사회적 편향성을 고려할 때, AI는 통계 과학 소설의 시대를 열었다. 누스코프는 이 거대한 통계 영화의 영사체이다.
6. 모든 모형은 틀렸지만, 어떤 모형은 유용하다
‘모든 모형은 틀렸지만, 일부는 유용하다’ — 영국 통계학자 조지 박스(George Box)의 규범적인 진술은 오랫동안 통계와 기계학습의 논리적 한계를 요약해 왔다.[xxxiv] 그러나 이 격언은 기업과 정부의 AI의 편향을 정당화하기 위해 종종 사용된다. 컴퓨터 과학자들은 인간의 인식이 패턴을 추상화하고 어림하는 능력을 반영한다고 주장한다. 그렇다면 기계들이 마찬가지로 어림을 하는 데 무슨 문제가 있는가? 이러한 주장 안에서는 ‘지도는 영토가 아니다’라는 말이 수사적으로 반복된다. 이 말은 타당한 것 같다. 그러나 논쟁의 여지가 있는 부분은 AI가 그 지역에 대한 압축되고 왜곡된 지도이며, 이 지도는 많은 형태의 자동화처럼 사회의 협상에게 개방되어 있지 않다는 것이다. AI는 공동체의 접근과 공동체의 동의가 없는 영토의 지도이다.[xxxv]
기계학습은 어떻게 세계의 통계지도를 그리는가? 사진 인식(인식 노동의 기본 형태로서, 패턴 인식으로 성문화되고 자동화되었다.)[xxxvi]의 구체적인 사례를 직시해 보자. 분류할 이미지를 지정하면 알고리즘은 물체의 경계선을 어두운 픽셀들을 둘러싸고 있는 밝은 픽셀들(일반적인 시각 패턴)의 분포로서 감지한다. 알고리즘은 사진이 무엇인지 모르고, 인간의 인지처럼 사진을 인식하지 않으며, 픽셀, 밝기 및 근접성의 수치만 계산한다. 알고리즘은 형태의 어두운 가장자리만 기록하도록 프로그래밍되어 있으며(원하는 패턴에 적합(fit)하도록), 이미지 전체의 모든 픽셀을 기록하지는 않는다(과적합(overfitting)을 일으킬 것이고 전체 이미지를 반복하는 셈이 된다). 통계적 모형은 학습 데이터의 중요한 패턴만 우아하게 적합(fit)시키고 그러한 패턴을 ‘야생’의 새로운 데이터에도 적용할 수 있을 때 성공적으로 학습되었다고 한다. 모형이 학습 데이터를 너무 잘 학습하면 원래 패턴과 정확하게 일치하는 것들만 인식하며, 유사성이 가까운 ‘야생’의 데이터는 인식하지 못하게 된다 이 경우 모형은 모든 것(잡음을 포함)을 꼼꼼하게 학습했고, 패턴과 배경을 구별할 수 없기 때문에 과적합되었다고 한다. 반면, 모형이 학습 데이터에서 의미 있는 패턴을 탐지할 수 없을 때 과소적합(underfitting)되었다고 한다. 데이터 과적합과 과소적합의 개념은 좌표평면 상에서 시각화할 수 있다.
Model fitting 모형 적합
Approximation 근사
Interpolation and Extrapolation 내삽 및 외삽
Fitting 적합
Overfitting 과적합
Underfitting 과소적합
Statistical anomaly 통계적 이상치
기계학습의 정확성을 수호하는 과제는 과적합과 과소적합 사이의 평형을 달성하는 데에 달려있는데, 이는 알고리즘마다 기계의 편향이 다르기 때문에 어려운 일이다. 기계학습은 ‘AI’만큼이나 기술의 일부를 인류화시키는 용어이다: 기계학습은 인간이 하는 것과 같은 의미에서는 아무것도 배우지 못한다; 기계학습은 단순히 수치값의 통계적 분포를 알아내고, 인간의 이해를 근사했기를 기대하는 수학적 함수를 끌어낸다. 이런 이유로 기계학습은 인간이 이해하는 방법에 새로운 빛을 던질 수 있다.
기계학습 알고리즘의 통계 모형은 데이터 그래프의 빠진 부분을 추측한다는 의미에서 근사법(approximation)이기도 하다: 학습 데이터셋에서 알려진 입력 x의 사이에서 출력 y를 예측하는 내삽(interpolation)을 수행하거나 알려진 입력 x의 범위를 벗어나는 영역에서 y를 예측하는, 부정확할 가능성이 더 높은 외삽(extrapolation)을 수행한다. 오늘날 기계지능에서 말하는 ‘지능’은 알려진 데이터의 경계를 넘어서 비선형 함수를 추론하는 것이다. 댄 맥퀼리언(Dan McQuillian)이 적절하게 표현하듯이 ‘인공지능에는 지능이 없고, 또한 학습도 하지 않는다, 비록 기술명칭은 기계학습이지만, 그것은 단순히 수학적 최소화 문제(mathematical minimization)이다.’[xxxvii]
기계학습의 ‘지능’은 수학적 분석의 정확한 공식에 의해 움직이는 것이 아니라, 브루트 포스 근사(brute force approximation) 알고리즘[xxxviii]에 의해 움직이는 것임을 상기하는 것이 중요하다. 입력 x와 출력 y 사이의 상관(correlation) 함수 모양은 알고리즘적으로 지루한 기계적 과정을 한 단계씩 거쳐서 조정된다. 이 점진적 조정 과정(예를 들어 경사하강법(gradient descent))은 라이프니츠와 뉴턴(Newton)의 미분법과 동등한 것이다. 신경망은 가장 효율적인 알고리즘에 속한다고 하는데, 이러한 미분법을 이용하면 충분한 뉴런들의 층과 풍부한 컴퓨팅 자원이 주어졌을 때 신경망은 어떤 함수라도 근사할 수 있기 때문이다.[xxxix] 함수의 브루트 포스 근사는 오늘날의 AI의 핵심 특징이며, 이러한 관점에서만 그 가능성과 한계, 특히 증가하는 탄소 발자국을 이해할 수 있다(심층 신경망의 훈련은 경사하강법 및 그와 유사한 훈련 알고리즘들 때문에 터무니없이 많은 양의 에너지를 필요로 한다).[xl]
7. 세계를 벡터로
데이터 적합, 과적합, 과소적합, 내삽 및 외삽의 개념은 2차원에서 쉽게 시각화할 수 있지만, 통계 모형은 대개 다차원적 데이터 공간에서 작동한다. 분석하기 전에 데이터는 직관적인 것과는 거리가 먼 다차원 벡터 공간으로 인코딩된다. 벡터 공간이란 무엇이며 왜 다차원적인 공간인가? 카돈(Cardon), 콴테(Coitet) 및 마지(Mazière)는 다음과 같은 방식으로 데이터의 벡터화(vectorialisation)를 설명한다.
신경망은 계산기의 입력이 벡터의 형태를 갖도록 요구한다. 그러므로 세계는 순수하게 디지털 벡터 표상(vectorial representation) 형식으로 미리 부호화되어야 한다. 사진과 같은 특정 물체는 벡터로 자연스럽게 분해되지만, 다른 물체는 신경망으로 계산하거나 분류하기 전에 벡터 공간에 심어질(embed) 필요가 있다. 텍스트의 경우가 원형적인 예이다. 신경망에 단어를 입력하기 위해 단어2벡터(word2vec) 기법은 말뭉치(corpus)의 다른 단어와의 거리를 측정할 수 있는 벡터 공간에 단어를 ‘심는다’. 따라서 단어는 수백 개의 차원이 있는 공간 내의 한 점에 위치한다. 이러한 벡터 표상의 장점은 이러한 변환에 의해 제공되는 수많은 작업에 있다. 이 공간에서 위치가 서로 가까이 있는 두 단어는 의미론적으로도 가깝다; 이러한 표상을 분산된 표상(distributed representation)이라고 한다: ‘아파트’ 개념의 벡터[-0.2, 0.3, -4.2, 5.1…]는 ‘집’의 것과 유사할 것이다[-0.2, 0.3, -4.0, 5.1…]. […] 자연언어 처리가 벡터 공간에서 단어의 임베딩(embedding)을 위한 선구적인 역할을 하는 동안, 오늘날 우리는 임베딩 방법론이 점차적으로 다른 모든 응용 분야로 일반화되어 확장되는 것을 목격하고 있다: 네트워크는 그래프2벡터, 문서는 문단2벡터, 영화는 동영상2벡터, 단어의 의미는 의미2벡터, 분자는 분자2벡터 등이다. 얀 르쿤(Yann LeCun)에 따르면 연결주의 기계 설계자들의 목표는 세계를 벡터(World2vec)[xli]에 넣는 것이다.
다차원 벡터 공간은 기계학습의 논리가 이해하기 어려운 또 다른 이유다. 벡터 공간은 친숙해질 만한 가치가 있는 새로운 문화적 기법이다. 특히 디지털 인문학 분야는 우리의 집단적 지식이 눈에 보이지 않게 만들어지고 처리되는 벡터화 기술을 다루고 있다. 윌리엄 깁슨(William Gibson)의 사이버스페이스에 대한 원래 정의는 가상 현실보다는 벡터 공간의 출현을 예언했다: ‘인간 시스템의 모든 컴퓨터의 배열을 통해 추상화된 데이터의 그래픽 표현. 생각할 수조차 없는 복잡성. 정신의 비공간(nonspace), 데이터의 성단과 군집을 가로지르는 빛의 선. 도시의 불빛처럼 사그라지는.’[xlii]
세 가지 맥락과 일곱 개의 단어로 이루어진 벡터 공간.[xliii]
그러나 기계학습은 여전히 정확한 수학보다는 공예와 더 닮았다는 것은 강조해야 한다. AI는 여전히 신비로운 직관이라기 보다는 해킹과 속임수의 역사이다. 예를 들어, 정보 압축의 한 가지 기술은 차원 축소(dimensionality reduction)인데, 차원 축소는 차원의 저주(Curse of Dimensionality)를 피하기 위해 사용된다. 차원의 저주란 고차원 벡터 공간에서 어떤 요소가 지수적으로 커지는 것을 의미한다. 차원 축소 방법은 벡터 공간에서 낮은 분산을 나타내는(즉, 값이 조금만 변동하는) 차원들을 합쳐서 계산 비용을 절감한다. 차원 축소는 (단어2벡터 모형과 같은) 단어 의미들을 군집화하는 데에 사용될 수 있지만, 이는 사회적 다양성의 표현에 영향을 미칠 수 있는 범주의 축소(Category reduction)로 이어질 수 있다. 차원 축소는 분류체계를 축소하고 편견을 도입하여 세계의 다양성을 더욱 규범화하고 고유한 정체성들을 지워버릴 수 있다.[xliv]
4-dimension 4차원
3-dimension 3차원
2-dimension 2차원 벡터공간
8. 분류와 예측 기계의 사회.
기계학습의 현대적 응용의 대부분은 분류(classification)와 예측(prediction)이라는 두 가지 작동양식(modality)으로 기술될 수 있으며, 이들은 통제의 사회와 통계적 지배의 윤곽을 드러낸다. 분류는 패턴 인식이라고 하며, 예측은 패턴 생성이라고도 정의할 수 있다. 새로운 패턴은 통계 모형의 핵심부에 정보를 요청함으로써 인식되거나 생성된다.
기계학습 분류는 일반적으로 기호, 물체 또는 사람의 얼굴을 인식하고 분류법이나 문화 규약에 따라 그에 상응하는 범주(라벨)를 할당하는 데 사용된다. 입력 파일(예: 감시 카메라에 포착된 얼굴)은 모형을 통해 처리되어 모형의 통계 분포 안에 속하는지 여부를 확인한다. 만약 속할 경우, 해당하는 출력 라벨이 할당된다. 퍼셉트론 시대부터 분류는 신경망의 기원적 응용이었다: 딥러닝 덕분에 이 기술은 경찰력과 스마트폰 제조사가 배치한 얼굴 인식 분류기에서 어디서나 찾아볼 수 있다.
기계학습 예측은 과거의 추세와 거동을 미래에 투사하기 위해 사용된다. 즉, 정보의 일부만 알고 있을 때 전체 정보를 완성하기 위한 것이다. 예측에서는 작은 입력 데이터 샘플(프라이머(primer))로부터 마찬가지로 모형(이것은 미래 혹은 사진이나 음성 파일의 누락된 부분에 대한 정보를 가지는 수치 그래프의 일부일 수 있다.)의 통계적 분포를 따라서 정보의 누락된 부분을 예측한다. 우연히도, 기계학습의 다른 작동양식도 존재한다: 잠재 공간 탐색(latent space exploration)라고 불리는 방법을 통해 모형의 통계 분포를 동적으로 시각화할 수 있으며, 최근의 어떤 응용 사례들에서는 패턴 탐색(pattern exploration)이라고도 불린다.[xlv]
기계학습 분류와 예측은 모든 곳에 존재하여 새로운 형태의 감시와 지배를 구성하는 기술이 되고 있다. 자율주행차와 산업용 로봇과 같은 일부 장치에서는 기계학습의 두 가지 작동양식이 통합될 수 있다. 자율주행 차량은 도로 위의 다른 물체(사람, 자동차, 장애물, 표지판)를 인식하고, 비슷한 상황에서 인간 운전자가 내린 결정에 따라 향후 행동을 예측하는 훈련을 받는다. 도로에서 장애물을 인식하는 것이 중립적인 제스처로 보일지라도(그렇지 않다), 성별, 인종, 계층의 범주(그리고 최근의 COVID-19 대유행 상황에서 아픈 사람과 면역된 사람)에 따라 인간을 식별하는 것은 국가 기관들이 점점 더 많이 수행하고 있는 것에서 볼 수 있듯이 새로운 통제 체제의 제스처이다. 자동 분류의 자만심은, 지나간 역사로 남았다고 생각되던 반동 롬브로시안(Lombrosian) 기법, 자동 성별 인식(Automatic Gender Recognition (AGR), ‘사진이나 비디오로부터 개인의 성별을 알고리즘적으로 식별하는 것을 목표로 하는 안면 인식의 하위 분야’[xlvi]) 등의 기법이 부활하는 원인이 되었다.
최근에는 기계학습의 생성적 작동양식이 문화적인 영향을 미치고 있다. 인공지능이 시각적 인공물 제작에 사용된 것이 대중매체에게는 인공지능이 ‘창의적’이며 자율적으로 예술을 만들 수 있다는 생각으로 받아들여지고 있다. 예술작품을 AI가 만들었다고 말하는 것은 특정 데이터셋으로 학습된 신경망을 적용한 인간 운영자의 존재를 언제나 감춘다. 이 작동양식에서 신경망은 분류 훈련을 받은 후 새로운 패턴을 생성하기 위해 역방향(더 작은 출력층에서 더 큰 입력층으로 이동)으로 실행된다. 그러나 생성형 작동양식은 몇 가지 유용한 응용을 가지고 있다. 즉, 모형이 ‘세상을 어떻게 보는가’를 보여주기 위해 모형이 학습한 것을 밝히는 일종의 현실성 검사로 사용할 수 있다. 예를 들어 자율주행차 모형에 적용해 도로 시나리오가 어떻게 투영되는지 확인할 수 있다.
통계 모형이 어떻게 ‘세계를 보는지’ 보여주는 유명한 방법은 구글 딥드림(DeepDream)이다. 딥드림은 인셉션 네트워크(위에서 언급한 이미지넷 데이터셋으로 학습한)에 기반한 컨볼루션 신경망으로, 알렉산드르 모르드빈체프(Alexander Mordvintsev)가 환각 패턴을 만들어내기 위해 프로그래밍했다. 모르드빈체프는 ‘네트워크를 뒤집어서’ 어떤 무작위적인 잡음이나 일반적인 풍경 이미지를 입력으로 사용했을 때 분류기를 생성기로 바꾸는 아이디어를 가지고 있었다.[xlvii] 그는 ‘여러 종류의 사진들을 구별하기 위해 훈련된 신경망들은 사진을 생성하는 데 필요한 정보를 상당히 많이 가지고 있다’는 것을 발견했다. 딥드림의 첫 실험에서는, 이미지넷 안의 개 품종과 조류 종들이 엄청나게 과대표현되면서, 새의 깃털과 개의 눈이 도처에서 나타나기 시작했다. 또한 ‘덤벨’이라는 범주는 초현실적인 인간의 팔이 항상 붙어 있는 상태로 학습된 것으로 밝혀졌다. 이것은 이미지넷의 다른 여러 범주들이 잘못 표상되고 있음을 증명한다.
분류와 생성의 두 가지 주요 작동양식은 생성 적대 신경망(GAN, Generative Adversarial Networks)과 같은 구조에서 동시에 사용될 수 있다. GAN의 구조에서 판별기와 생성기라는 두 통계 모형이 동시에 학습된다. 판별기(전통적인 분류기)의 역할을 가진 신경망은 생성기의 역할을 가진 신경망이 생성하는 이미지를 인식해야 한다. GAN은 매우 사실적인 사진을 생성하는 데 능하다는 것이 증명되었다. 이러한 능력 때문에 ‘딥 페이크(deep fakes)’[xlviii]에서의 조작에 GAN이 남용되었다. 진실의 영역과 관련하여, 이와 유사한 논란이 되고 있는 응용사례는 암 연구에서 합성 데이터를 생성하기 위해 GAN을 사용하는 것이다. 이 과정에서 암 조직의 불균형한 데이터셋으로 학습한 신경망은 사진의 암이 없는 영역에서 암의 환각을 생성하기 시작했다.[xlix] 이 경우 ‘사물을 발견하는 대신 우리는 사물을 발명하고 있다’고 파비안 오퍼트(Fabian Offert)는 말했다. ‘발견의 공간은 GAN이 이미 가지고 있던 지식의 공간과 동일하다’. […] 우리가 GAN을 통해 무언가를 보고 있다고 생각하지만, GAN이 보여주는 것은 증강현실이 아니라 가상현실이다. GAN은 발견과 발명을 흐리게 한다.’[l] 뇌암의 GAN 시뮬레이션은 AI가 주도하는 과학 환각의 비극적 사례다.
Joseph Paul Cohen, Margaux Luck and Sina Honari. ‘Distribution Matching Losses Can Hallucinate Features in Medical Image Translation’, 2018. Courtesy of the authors.
9. 통계기기의 결함: 새로운 것의 미탐지
21세기 AI의 규범력은 이러한 인식론적 용어들로 면밀히 조사되어야 한다: 집단지식을 패턴으로 프레임화하는 것은 무엇을 의미하며, 사회행위의 벡터 공간과 통계적 분포를 그리는 것은 무엇을 의미하는가? 푸코(Foucault)의 말에 따르면, 근대 초기 프랑스에서는 이미 정상적 행동과 비정상적 행동을 구별하면서, 사회적 규범을 측정하는 데 통계적 능력이 사용되었다고 한다.[li] AI는 현대 기관들, 그 중에서도 관료주의, 의학, 통계(원래 국가가 갖고 있는 인구 수치적 지식)의 ‘정상화의 힘’을 확대하여 AI 기업의 수중에 쉽게 넘겨버린다. 제도적 규범은 계산적인 규범이 되었다: 주제, 신체, 행동의 분류는 더 이상 공공 등록소의 문제가 아닌 알고리즘과 데이터센터의 문제로 보인다.[lii] 폴라 두아르테(Paula Duarte)는 ‘데이터 중심 합리성은 권력의 식민성의 표현으로 이해해야 한다’[liii]고 결론 내렸다.
그러나 AI 통계모형과 측정되고 통제되어야 할 대상인 인간들 사이에는 틈, 마찰, 갈등이 항상 지속된다. AI 통계모형과 사회의 이러한 논리적 격차는 대개 편향으로서 논의된다. 얼굴 인식이 사회적 소수자를 어떻게 잘못 나타내는지 그리고 예를 들어 흑인 지역이 AI 주도 물류 및 배달 서비스에서 어떻게 우회하는지를 광범위하게 입증했다.[liv] 만약 성별, 인종, 계층 차별이 AI 알고리즘에 의해 증폭된다면, 이것은 또한 기계학습의 논리적 핵심에 존재하는 차별과 정상화라는 더 큰 문제의 일부이다. AI의 논리적, 정치적 한계점은 새로운 사건을 인식하고 예측하는 것이 기술적으로 어렵다는 것이다. 기계학습은 정말로 독특한 변칙, 흔치 않은 사회적 행동, 붕괴를 일으키는 새로운 행위들을 어떻게 다루고 있는가? 기계학습의 두 가지 작동양식은 단순한 편향이 아닌 한계를 보여준다.
기계학습 분류, 즉 패턴 인식에서 논리적 한계는 시에서 새로운 은유, 일상적인 대화에서 새로운 농담, 또는 특이한 장애물(보행자? 혹은 비닐봉지?)과 같이 처음으로 나타나는 이상 현상을 인식하지 못하는 것이다. 새로운 것을 탐지하지 못하는 것(모형이 본 적이 없기 때문에 알려진 범주로 분류된 적이 없는 것)은 자율주행차에 있어서 특별히 위험한 문제이며 이미 사망자를 발생시킨 바 있다. 기계학습 예측, 혹은 기계학습 패턴 생성 또한 미래의 추세를 예측하는 데에 있어서 이와 유사한 결함을 보인다. 정보 압축 기술로서 기계학습은 현재에 대한 과거의 분류 체계와 행동 패턴의 독재를 자동화한다. 이 문제는 오래된 것의 재생성이라고 명명될 수 있다. 즉, 균일한 시공간에 대한 관점을 적용하여 새로운 역사적 사건의 가능성을 억제하는 것이다.
흥미롭게도, 기계학습에서는, 보안 문제의 논리적 정의가 인공지능의 창조적 잠재력의 논리적 한계 또한 설명한다. 기계학습 알고리즘이 시계열 도표에서 추세를 예측하는 방식은 학습된 패턴으로부터 새로운 예술작품을 만들어내는 방식과 동일하기 때문에, 새로운 것을 예측하는 문제의 특성은 새로운 것을 생성하는 문제의 특성과 논리적으로 관련되어 있다. ‘AI가 창의적일 수 있을까?’라는 진부한 질문은 기술적인 용어로 다시 만들어져야 한다: 기계학습은 과거의 모방품이 아닌 작품을 만들 수 있는가? 기계학습은 학습 데이터의 스타일의 경계를 넘어 외삽할 수 있는가? 기계학습의 ‘창조성’은 학습 데이터에서 스타일을 탐지한 다음 이러한 스타일 내에서 임의적으로 임기응변하는 것으로 제한된다. 즉, 기계학습은 학습 데이터에 의해 설정된 논리적 경계 안에서만 탐색하고 지어낼 수 있다. 이러한 모든 문제와 정보의 압축 정도를 고려하면, 기계학습 예술을 통계 예술이라고 부르는 것이 더 정확할 것이다.
Lewis Fry Richardson, 수치처리를 통한 날씨예측, Cambridge University Press, 1922.
사람들이 말하지 않는 기계학습의 또 하나의 버그는 두 현상 사이의 통계적 상관관계가 한 쪽이 다른 쪽의 원인이 되는 인과관계를 설명하기 위해 채택되는 경우가 많다는 것이다. 통계학에서는 상관관계가 인과관계를 내포하지 않는다는 것이 잘 받아들여져 있는데, 이는 통계적 동시발생만으로는 인과관계를 증명하기에 충분하지 않다는 것을 의미한다. 이것에 해당하는 비극적인 사례를 통계학자 프레드릭 호프만(Frederick Hoffman)이 1896년에 보험회사들을 위해 펴낸 330페이지 분량의 보고서에서 찾을 수 있는데, 이 보고서에서는 흑인 미국인과 짧은 수명의 인종적 상관관계를 보여주고 있다.[lv] 기계학습은 데이터를 표면적으로 분석하기 때문에 실제처럼 인식되는 임의의 상관 관계를 구성할 수 있다. 2008년에 Wired의 편집장 크리스 앤더슨(Chris Anderson)은 ‘데이터 폭주로 인해 과학적 방법이 쓸모없게 된다’[lvi]는 이유로 ‘이론의 종말’을 선언하면서 이러한 논리적 오류를 자랑스럽게 받아들였다. 과학적 방법과 논리적 추론에 관한 전문가가 아닌 앤더슨에 따르면, 통계적 상관관계는 구글이 광고 사업을 운영하기에 충분하므로, 과학 패러다임을 자동으로 발견할 수 있을 만큼 좋은 것이 틀림없다. 베이지안 네트워크의 선구자인 주디아 펄(Judea Pearl)조차도 기계학습이 ‘곡선 맞추기(Curve fitting)’에 집착하고 있으며, 설명을 제공하지 않은 채 상관관계만 기록하고 있다고 믿는다.[lvii] 이러한 논리적 오류는 이미 정치적인 것이 되었다. 만약 전세계 경찰력이 예측적 단속 알고리즘을 채택했다고 생각해보라.[lviii] 댄 맥퀼란(Dan McQuillan)에 따르면, 이러한 방식으로 기계학습이 사회에 적용되면, 그것은 선점(preemption)의 생물정치적 장치로 변하며, 이는 나중에 범죄화될 수 있는 주관성을 생산한다.[lix] 궁극적으로 ‘곡선 맞추기’에 집착하는 기계학습은 통계적 문화를 강요하고, 전통적인 인과관계 인식(및 정치적 책임)을 의사결정의 자동화에 의해 맹목적으로 추진되는 상관관계 중 하나로 대체한다.
10. 적대적 지능 대 인공지능
지금까지, 누스코프의 여러 렌즈를 단계적으로 지나며 기계학습의 통계적 회절과 환각을 살펴보았다. 이 시점에서, 이 기구의 방향을 뒤집도록 하자: 과학 이론은 계산 장치들만큼이나 추상적인 관점을 강화하는 경향이 있다 – ‘어느 곳으로부터의 시점도 아닌’ 과학적인 관점을 갖는다는 것은 보통 권력의 관점을 나타낸다. AI에 대한 강박적 연구는 학자를 연산의 나락 그리고 기술적인 형태가 사회적인 형태를 드러낼 수 있다는 환상으로 빨아들인다. 파울라 리카르테(Paola Ricaurte)가 말했듯이, ‘데이터 추출주의는 모든 것을 데이터 소스로 가정한다.’[lx] 데이터 중심적 세계관에서 어떻게 우리 자신을 해방시킬 것인가? 통계적 모형이 주체를 구성하는 것이 아니라 주체가 통계적 모형을 구성한다는 것을 깨달아야 할 때다. AI에 대한 내부주의 연구와 외부주의 연구의 경계를 허물 필요가 있다: 통제의 수학은 주관성 안에서 만들어지지, 주관성 없이 만들어지지 않는다. 과타리(Guattari)가 일반적으로 기계에 대해 말했던 것을 다시 말하자면, 기계 지능 역시 ‘인간 주관성의 특정 측면이 초-개발되고 초-집중된 형태’[lxi]로 구성되어 있다.
비판적인 연구는 기술이 어떻게 작동하는지만을 연구하기 보다는 기술이 어떻게 실패하는지, 피지배자가 어떻게 규범의 지배에 반기를 드는지, 노동자들이 어떻게 그들의 장비를 파괴하는지를 연구한다. 그런 의미에서 AI의 한계를 알리는 한 가지 방법은 그것을 어떻게 해킹하는지 살펴보는 것이다. 해킹은 지식을 생산하는 중요한 방법으로써, AI의 알려지지 않은 부분들에 대해 탐색할 수 있는 인식적 탐침이다.[lxii] 예를 들어, 얼굴 인식을 위한 딥러닝 시스템은 반-감시 활동들을 촉발시켰다. 인간들은 얼굴 난독화 기술을 통해서 인공지능이 인간을 알아볼 수 없도록 만들었다. 즉, 스스로 블랙박스가 되는 것이다. 감시에 대한 전통적인 난독화 기법들은 기계학습 시대에 수학적 지위를 즉시 획득한다. 예를 들어, AI 예술가이자이자 연구원인 아담 하비(Adam Harvey)는 컴퓨터 비전 알고리즘을 속이는 하이퍼페이스(HyperFace)라는 위장 패턴을 발명했다. 이 패턴에는 사람 얼굴이 전혀 없지만, 얼굴인식 알고리즘은 이 패턴에서 여러 개의 사람 얼굴을 찾아낸다.[lxiii] 하비의 연구는 질문을 불러일으킨다: 인간의 눈에 인식되는 사람 얼굴을 구성하는 것은 무엇이며 컴퓨터 비전 알고리즘에 인식되는 얼굴을 구성하는 것은 무엇인가? 하이퍼페이스가 찾아낸 신경망의 결함은 그러한 인식의 틈을 이용하여 기계가 사람의 얼굴을 어떻게 보는지 드러낸다. 인간과 기계 사이의 이러한 인식의 격차는 점점 커지는 적대적 공격의 장을 도입하는 데 일조한다.
아담 하비, 하이퍼페이스 패턴, 2016년
적대적 공격(Adversarial attack)은 신경망의 통계적 모형의 사각지대와 약한 지점을 악용하여 분류기를 속여서 실제로는 없는 것을 인식하게 만든다. 물체 인식(Object detection)에서, 신경망에게는 라이플로 잘못 인식되는, 인간의 눈에는 무해해 보이지만 사실은 조작된 거북이 사진이 적대적인 입력 데이터의 대표적인 예이다.[lxiv] 적대적 입력은 3D 물체로 만들어질 수도 있으며, 심지어 자율주행차를 잘못 안내할 수 있는 도로 표지판 스티커(실제 50km/h의 제한속도를 120km/h로 읽게 만들 수 있다.)[lxv] 로 만들어질 수도 있다. 적대적 입력은 기계가 이전에 무엇을 본 적이 없는 지에 대한 정보로부터 설계되었다. 적대적 입력과 같은 효과는 통계 모형을 역설계(reverse-engineering)하거나 학습 데이터셋를 오염시킴으로써 달성할 수도 있다. 데이터 오염(data poisoning) 기법은 학습 데이터셋에 조작된 데이터를 삽입한다. 그렇게 함으로써 통계적 모형의 정확성을 바꾸고 결국 적대적 공격에 의해 악용될 수 있는 백도어를 만든다.[lxvi]
적대적 공격은 모든 기계학습 모형에 공통되는 수학적 취약성을 지적하는 것처럼 보인다: ‘적대적 입력의 흥미로운 측면은 한 모형에 대해 생성된 입력이 다른 구조를 가지고 있거나 또는 다른 학습 데이터셋으로 학습된 다른 모형에 의해서도 잘못 분류되는 경우가 많다는 것이다.’[lxvii] 적대적 공격은 인간과 기계 인식의 불일치를 일깨워주며, 기계학습의 논리적 한계는 또한 정치적 한계임을 일깨워준다. 기계학습의 논리적, 존재론적 경계에는 기계학습의 분류와 통제를 벗어나는 통제불능의 입력들과 정상적이지 않은 사건들이 있다. 알고리즘의 피지배자가 반격하는 것이다. 적대적 공격은 지배기구의 관절들을 어긋나게 만드는 가상의 장애물을 발명함으로써 기계학습의 조립라인을 방해하는 방법이다. 적대적 입력은 AI 시대의 나막신(sabot)[lxviii]이다.
11. AI 시대의 노동
기계학습의 ‘입력’과 ‘출력’의 본질을 명확히 해야 한다. 정보의 편향뿐 아니라 노동 역시 AI의 문제이다. AI는 단순한 통제장비가 아니라 생산성이 높은 통제장비이다. 위에서 언급했듯이, 눈에 보이지 않는 노동력이 조립 라인의 각 단계(데이터셋 구성, 알고리즘 감독, 모형 평가 등)에 관여한다. 끝없는 작업의 파이프라인은 세계 북부에서 세계 남부까지 얽혀 있다; 예를 들어, 베네수엘라, 브라질, 이탈리아에서 온 노동자들의 크라우드소스 플랫폼은 독일 자율주행차에게 ‘보는 법’[lxix] 을 가르치는 데에 매우 중요하다. 이질적인 지능이 작업을 수행하고 있다는 생각에 대항하여, AI의 전체 계산 과정 중에서 인간 노동자가 그 과정의 고리를, 보다 정확하게는 조립라인을, 단 한 번도 이탈한 적이 없다는 것을 강조해야 한다. 메리 그레이(Mary Gray)와 싯다르트 수리(Siddharth Suri)는 인공지능이 스스로 일하는 것처럼 보이도록 하는 숨겨져 있는 노동에 ‘유령 작업(ghost work)’이라는 용어를 붙였다.
오늘날의 인공지능은 몇몇 기본적인 결정을 넘어서면 작업의 고리 안에 사람이 없으면 기능을 할 수 없다. 관련 뉴스 피드를 배달하든, 문자메세지로 수신된 복잡한 피자 주문을 실행하든, 인공지능(AI)이 넘어지거나 작업을 마치지 못할 때, 수천 개의 회사들은 사람에게 의지하여 조용히 그 일을 마치도록 한다. 이 새로운 디지털 조립 라인은 분산된 노동자들의 집단적 노동력을 통합하고, 완성된 제품보다는 프로젝트의 일부를 출하하며, 낮과 밤을 가리지 않고 다양한 경제 분야에 걸쳐 운영된다.[lxx]
자동화는 신화이다. AI를 포함한 기계들이 끊임없이 인간의 도움을 요청하기 때문에, 일부 저자들은 ‘자동화(automation)’를 보다 정확한 용어인 ‘헤테로메이션(heteromation)’으로 대체하자고 제안했다.[lxxi] 헤테로메이션은 끊임없는 움직임(perpetuum mobile)으로서의 AI라는 익숙한 서사가 노동자들로 이루어진 예비군 덕분에 가능함을 의미한다.
그러나 노동은 더 깊은 의미에서 AI를 구성한다. 기계학습에 사용되는 정보의 원천(입력 데이터, 학습 데이터, 또는 단순한 데이터, 그 이름이 무엇이든 간에)은 언제나 인간의 기술, 활동 및 행동, 사회적 생산의 표상이다. 모든 학습 데이터셋은 암묵적으로 AI가 분석하고 자동화해야 하는 인간 노동 분업의 도표이다. 예를 들어, 사진 인식을 위한 데이터셋은 운전자, 경비원, 그리고 감독자가 작업 중에 일반적으로 수행하는 시각적 노동을 기록한다. 심지어 과학적 데이터셋도 과학적 노동력, 실험계획, 실험실 조직 및 분석적 관찰에 의존한다. AI의 정보 흐름은 다양한 형태의 노동에서 ‘분석적 지능(analytical intelligence)’을 추출하고 그러한 지능을 기계로 이전하기 위해 고안된 장치로 이해되어야 한다(당연히, 노동의 정의에 입각해서 사회, 문화, 과학 생산의 확장된 형태들을 포함한다).[lxxii] 요컨대 기계 지능의 기원은 노동의 분업이며 그 주된 목적은 노동의 자동화이다.
계산의 역사가들은 이미 19세기에 초기 기계 지능이 정신노동의 분업, 특히 손으로 수행해야하는 계산을 기계화하는 작업에 사용되었음을 강조해왔다.[lxxiii] 그 이후, 계산의 사업은 노동의 감시와 통제, 잉여 가치의 최적 계산, 집단 행동의 계획 등의 조합으로 이루어져 왔다.[lxxiv] 계산은 논리적인 추론만이 아니라 가시성과 이해성의 체제에 의해 확립되었고 여전히 시행되고 있다. 권력의 장치로서의 AI의 계보는 오늘날 식별과 예측 기술에 널리 채용됨으로써 확인된다. 하지만 조직화되지 않은 노동이야말로 AI가 계산해야 할 것으로 남아있는 핵심적인 특이점이다.
자동화의 기술로서 AI는 고용시장에 엄청난 영향을 미칠 것이다. 예를 들어 딥러닝이 사진 인식에서 1%의 오류율을 보인다면 시각적 작업(예: 공항 보안)에 기반한 일상적인 작업의 약 99%가 잠재적으로 대체될 수 있다는 것을 의미한다(법적 제한 및 노동조합 반대가 있을 수 있다). AI가 노동에 미치는 영향은 (드디어 노동자의 관점에서) 유럽연합(EU) 연구소의 논문에서 잘 설명되어 있는데, 이 논문은 ‘노동자를 보호하기 위해 미래의 규제가 다루어야 할 7가지 필수적 차원’을 강조하고 있다: 1) 노동자의 프라이버시 및 데이터 보호, 2) 감시, 추적 및 모니터링, 3) AI 알고리즘의 목적을 투명하게 하는 것, 4) 알고리즘이나 기계학습 모형에 의한 결정에 관한 ‘설명권(right to explanation)’의 행사 보장, 5) 인간-기계 상호작용에 있어서의 작업자의 보안 및 안전 보존, 6) 인간-기계 상호작용에 있어서의 작업자의 자율성 증대, 7) 작업자가 AI문맹이 되지 않도록 하는 것.’[lxxv]
궁극적으로, 누스코프는 AI 시대에 새로운 기계에 대한 질문(Machinery Question)을 던진다. 기계에 대한 질문은 산업 혁명 동안 영국에서 촉발된 논쟁이다. 이 시기에 기계의 도입과 그에 따른 노동자들의 실직에 대응하여 기계에 대한 교육을 촉진하는 사회적 운동이 일어났고, 후에 기계공학교 운동(Mechanics’ Institute Movement)으로 이어졌다.[lxxvi] 오늘날 ‘학습 기계’와 지식 추출주의의 지배(크라우스소싱 플랫폼의 네트워크 지도만 봐도 보이듯이 이것은 오래된 식민 통치의 항로를 강화한다.) 대신에 ‘기계 지능’에 대한 더 많은 집단 지성과 더 많은 공교육을 위해 지능적인 기계에 대한 질문은 필요하다. 또한 북반구에서는 기업 AI와 공동재로서 생산되는 지식 간의 식민지 관계가 표면화되어야 한다. 누스코프의 목적은 기업의 메카니컬 터크(Mechanical Turk)의 숨겨진 방을 드러내고 기계 지능을 개념적으로는 살아있는 것처럼 보이게 하는 숨겨진 지식의 노동을 조명하는 데 있다.
Thanks to Wietske Maas, Claire Glanois, Fabian Offert, Ariana Dongus and … for their comments and ideas.
[i] 기술의 자율성에 관해서는 다음을 보라: Langdon Winner, Autonomous Technology: Technics-Out-of-Control as a Theme in Political Thought. Cambridge, MA: MIT Press, 2001.
[ii] 식민지 권력이 물류 관리, 알고리즘, 금융에 확장되는 것에 관하여서는 다음을 보라: Sandro Mezzadra and Brett Neilson, The Politics of Operations: Excavating Contemporary Capitalism. Durham: Duke University Press, 2019. AI의 인지 식민주의에 대해서 다음을 보라: Matteo Pasquinelli, ‘Three Thousand Years of Algorithmic Rituals.’ e-flux 101, 2019.
[iii] 디지털 인문학에서는 원거리 독서(distant reading)라는 유사한 방법론이 고안됐다. 이 방법론에서는 점진적으로 데이터 분석과 기계학습을 문학과 예술사 연구에 적용하고 있다. 다음을 참고하라: See: Franco Moretti, Distant Reading. London: Verso, 2013.
[iv] Gottfried W. Leibniz, ‘Preface to the General Science’, 1677. In: Phillip Wiener (ed.) Leibniz Selections. New York: Scribner,1951, 23.
[v] 인공지능의 역사에 대해서 간략히 알아보고 싶으면 다음을 참고하라: Dominique Cardon, Jean-Philippe Cointet and Antoine Mazieres, ‘Neurons Spike Back: The Invention of Inductive Machines and the Artificial Intelligence Controversy.’ Reseaux 211, 2018.
[vi] Alexander Campolo and Kate Crawford, ‘Enchanted Determinism: Power without Control in Artificial Intelligence.’ Engaging Science, Technology, and Society 6, 2020.
[vii] 인공지능의 기술적인 구성에서 이미지와 논리 그리고 표상과 추론의 경계가 점차 흐려져 가는 것을 반영할 의도로 시각적 비유를 사용했다. 기계학습의 통계모형들은 (하론 파로키(Harun Farocki)의 작동하는 이미지(operative images)의 맥락에서) 작동하는 표상(operative representation)이다.
[viii] 기계학습의 논리적 한계점에 대한 체계적인 연구로는 다음을 참고하라: Momin Mailk, ‘A Hierarchy of Limitations in Machine Learning.’ Arxiv preprint, 2020. https://arxiv.org/abs/2002.05193
[ix] AI 편향에 대한 보다 자세한 목록은 다음을 참고하라: John Guttag and Harini Suresh, ‘A Framework for Understanding Unintended Consequences of Machine Learning.’ Arxiv preprint, 2019. https://arxiv.org/abs/1901.10002 또한 다음도 참고하라: Aram Galstyan, Kristin Lerman, Ninareh Mehrabi, Fred Morstatter and Nripsuta Saxena, ‘A Survey on Bias and Fairness in Machine Learning.’ Arxiv preprint, 2019. https://arxiv.org/abs/1908.09635
[x] Virginia Eubanks, Automating Inequality. New York: St. Martin’s Press, 2018. See also: Kate Crawford, ‘The Trouble with Bias.’ Keynote lecture, Conference on Neural Information Processing Systems, 2017.
[xi] Ruha Benjamin, Race After Technology: Abolitionist Tools for the New Jim Code. Cambridge, UK: Polity, 2019, 5.
[xii] 컴퓨터 과학자들은 AI가 신호처리, 즉 데이터 압축의 한 분야라고 주장한다.
[xiii] Matteo Pasquinelli, The Eye of the Master. London: Verso, forthcoming.
[xiv] 설명가능한 인공지능(Explainable Artificial Intelligence), 해석가능한 딥러닝(Interpretable Deep Learning), 히트맵 분석(Heatmapping) 그리고 이와 유사한 다른 프로젝트들은 기계학습의 ‘블랙 박스’를 뚫고 들어가는 것이 가능하다는 것을 보여주었다. 그럼에도, 완전한 해석가능성과 설명가능성은 신화로 남아있다. 다음을 보라: Zacharay Lipton, ‘The Mythos of Model Interpretability.’ ArXiv preprint, 2016. https://arxiv.org/abs/1606.03490
[xv] A. Corsani, B. Paulre, C. Vercellone, J.M. Monnier, M. Lazzarato, P. Dieuaide and Y. Moulier-Boutang, ‘Le Capitalisme cognitif comme sortie de la crise du capitalisme industriel. Un programme de recherche’, Paris: Laboratoire Isys Matisse, Maison des Sciences Economiques, 2004. 다음 또한 참고하라: Zuboff, Shoshana, The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. London: Profile Books, 2019.
[xvi] Lisa Gitelman (ed.), Raw Data is an Oxymoron, Cambridge, MA: MIT Press, 2013.
[xvii] 감독학습(supervised learning)의 경우에 그러하다. 자기-감독학습(self-supervised learning)에서도 또한 인간 개입의 형식이 남아있다.
[xviii] 지식과 권력의 수단으로서 분류체계에 대해서는 다음을 참고하라: Michel Foucault, The Order of Things. London: Routledge, 2005.
[xix] 제프 베조스(Jeff Bezos)가 염세적으로 ‘인공 인공 지능’이라고 명명한 아마존 메카니컬 터크(Amazon Mechanical Turk)와 같은 것들. 다음을 참고하라: Jason Pontin, ‘Artificial Intelligence, With Help from the Humans.’ The New York Times, 25 March 2007.
[xx] 컨볼루션 구조는 1980년대 얀 르쿤의 연구로 거슬러 올라가지만, 딥러닝은 이 논문에서 시작되었다: Geoffrey Hinton, Alex Krizhevsky and Ilya Sutskever, ‘ImageNet Classification with Deep Convolutional Neural Networks.’ Communications of the ACM 60(6), 2017.
[xxi] 이미지넷의 개발에 대해 접근 가능한 (그러나 그다지 비판적이진 않은) 보고에 대해서는 다음을 참고하라: Melanie Mitchell, Artificial Intelligence: A Guide for Thinking Humans. London: Penguin, 2019.
[xxii] 워드넷은 단어들의 의미적 관계(semantic relations)에 대한 사전적 데이터베이스이며, 프린스턴대학의 조지 아미티지(George Armitage)에 의해 1985년에 시작되었다. 워드넷은 엄격한 트리(tree)구조로 정의들을 구조화하고 있다.
[xxiii] Kate Crawford and Trevor Paglen, ‘Excavating AI: The Politics of Training Sets for Machine Learning.’ 19 September 2019. https://excavating.ai
[xxiv] Adam Harvey and Jules LaPlace, Megapixel project, 2019. https://megapixels.cc/about And: Madhumita Murgia, ‘Who’s Using Your Face? The Ugly Truth About Facial Recognition.’ Financial Times, 19 April 2019.
[xxv] 그러나 유럽 의회에 의해 2018년 5월에 통과된 GDPR 데이터 프라이버시 규제는 이러한 것이 없는 미합중국에 비해서는 개선이라고 할 수 있다.
[xxvi] Frank Rosenblatt, ‘The Perceptron: A Perceiving and Recognizing Automaton.’ Cornell Aeronautical Laboratory Report 85-460-1, 1957.
[xxvii] Warren McCulloch and Walter Pitts, ‘How We Know Universals: The Perception of Auditory and Visual Forms.’ The Bulletin of Mathematical Biophysics 9(3): 1947.
[xxviii] 데이터로부터 학습되는 변수들을 ‘매개변수(parameter)’라고 하며, 데이터로부터 결정되지 않는 변수들을 ‘초매개변수(hyperparameters)’라고 부른다. 이 초매개변수는 매개변수들의 수나 성질을 결정한다.
[xxix] 이 값은 1과 0 사이의 퍼센티지 값이 될 수도 있다.
[xxx] Keras는 심층신경망 프로그래밍을 위해 널리 쓰이는 프로그래밍 프레임워크이다.
[xxxi] https://keras.io/applications (Documentation for individual models).
[xxxii] Paul Edwards, A Vast Machine: Computer Models, Climate Data, and The Politics of Global Warming. Cambridge, MA:MIT Press, 2010.
[xxxiii] 콜로라도(Colorado) 주 볼더(Bolder)에 위치한 국립 대기연구원(National Center for Atmospheric Research)에서 1996년부터 개발된 Community Earth System Model (CESM)을 참고하라. CESM은 대기, 바다, 얼음, 지표면, 탄소 순환, 그리고 다른 요소들이 서로 얽혀 있는 수치 시뮬레이션이다. CESM은 지구의 과거, 현재, 그리고 미래에 대한 최신의 시뮬레이션을 제공하는 기후 모형도 포함하고 있다. http://www.cesm.ucar.edu
[xxxiv] George Box, ‘Robustness in the Strategy of Scientific Model Building.’ Technical Report #1954, Mathematics Research Center, University of Wisconsin-Madison, 1979.
[xxxv] 인류학과 인종학의 탈식민(post-colonial) 그리고 탈구조주의(post-structuralist) 학파들에서는 영토라는 것 자체는 없고 오직 영토화(territorialization)만이 있을 뿐이라고 강조한다.
[xxxvi] 패턴 인식은 주의 집중의 경제(economy of attention) 중 하나이다. 조나단 벨러(Jonathan Beller)가 일깨워주듯이, ‘본다는 것은 노동한다는 것이다.’ Jonathan Beller, The Cinematic Mode of Production: Attention Economy and the Society of the Spectacle. Lebanon, NH: University Press of New England, 2006, 2.
[xxxvii] Dan McQuillan, ‘Manifesto on Algorithmic Humanitarianism.’ Presented at the symposium Reimagining Digital Humanitarianism, Goldsmiths, University of London, February 16, 2018.
[xxxviii] 아주 단순한 방식으로 계산이 이루어지는 것을 컴퓨터 과학에서는 완력으로 문제를 해결하는 것에 빗대어 브루트 포스라고 표현한다.
[xxxix] 보편 근사 정리(Universal Approximation Theorem)에 의해 증명되듯이.
[xl] Ananya Ganesh, Andrew McCallum and Emma Strubell, ‘Energy and Policy Considerations for Deep Learning in NLP.’ ArXiv preprint, 2019. https://arxiv.org/abs/1906.02243
[xli] Cardon et al, ‘Neurons Spike Back.’
[xlii] William Gibson, Neuromancer. New York: Ace Books, 1984, 69.
[xliii] Source: corpling.hypotheses.org/495
[xliv] Jamie Morgenstern, Samira Samadi, Mohit Singh, Uthaipon Tantipongpipat and Santosh Vempala, ‘The Price of Fair PCA: One Extra Dimension.’ Advances in Neural Information Processing Systems 31, 2018.
[xlv] 조력된 창작(assisted creation)와 생성적 창작(generative creation)의 개념에 대해서는 다음을 보라: Roel of Pieters and Samim Winiger, ‘Creative AI: On the Democratisation and Escalation of Creativity’, 2016. http://www. medium.com/@creativeai/creativeai-9d4b2346faf3
[xlvi] Os Keyes, ‘The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition.’ Proceedings of the ACM on Human-Computer Interaction 2(88), November 2018. https://doi.org/10.1145/3274357
[xlvii] Alexander Mordvintsev, Christophe Olah and Mike Tyka, ‘Inceptionism: Going Deeper into Neural Networks.’ Google Research blog, June 17, 2015. https://ai.googleblog.com/2015/06/ inceptionism-going-deeper-into-neural.html
[xlviii] 딥 페이크(Deep fake)는 비디오와 같은 매체에서 한 사람의 얼굴을 다른 사람의 것으로 바꾸어 합성한 것을 말한다. 가짜 뉴스를 만들어내는 곳 등에 사용된다.
[xlix] Joseph Paul Cohen, Sina Honari and Margaux Luck, ‘Distribution Matching Losses Can Hallucinate Features in Medical Image Translation.’ International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham:Springer, 2018. arXiv:1805.08841
[l] Fabian Offert, Neural Network Cultures panel, Transmediale festival and KIM HfG Karlsruhe. Berlin, 1 February 2020. http://kim.hfg-karlsruhe.de/events/neural-network-cultures
[li] Michel Foucault, Abnormal: Lectures at the College de France 1974-1975. New York: Picador, 2004, 26.
[lii] 계산적인 규범에 대해서는 다음을 참조하라: Matteo Pasquinelli, ‘Arcana Mathematica Imperii: The Evolution of Western Computational Norms.’ In: Maria Hlavajova et al. (eds), Former West. Cambridge, MA: MIT Press, 2017.
[liii] Paola Ricaurte, ‘Data Epistemologies, The Coloniality of Power, and Resistance.’ Television & New Media, 7 March 2019.
[liv] David Ingold, and Spencer Soper, ‘Amazon Doesn’t Consider the Race of its Customers. Should It?’, Bloomberg, 21 April 2016. https://www.bloomberg.com/graphics/2016-amazon-same-day
[lv] Cathy O’Neil, Weapons of Math Destruction. New York: Broadway Books, 2016, ch 9.
[lvi] Chris Anderson, ‘The End of Theory: The Data Deluge Makes the Scientific Method Obsolete.’ Wired, 23 June 2008. For a critique see: Fulvio Mazzocchi, ‘Could Big Data Be the End of Theory in Science? A Few Remarks on the Epistemology of Data-Driven Science.’ EMBO Reports 16(10), 2015.
[lvii] Judea Pearl and Dana Mackenzie, The Book of Why: The New Science of Cause and Effect. New York: Basic Books, 2018.
[lviii] 뉴욕 경찰과(New York Police Department)에 의해 1980년대 후반부터 행해진 실험들. 다음을 참고하라: Pasquinelli, ‘Arcana Mathematica Imperii.’
[lix] Dan McQuillan, ‘People’s Councils for Ethical Machine Learning.’ Social Media and Society 4(2), 2018.
[lx] Ricaurte, ‘Data Epistemologies.’
[lxi] Felix Guattari, Schizoanalytic Cartographies. London: Continuum, 2013, 2.
[lxii] AI와 해킹의 관계는 겉으로 보이는 것처럼 적대적인 것은 아니다: 이 관계는 양쪽이 모두 배우고, 평가하고, 또한 강화되는 순환으로 해소되는 경우가 많다.
[lxiii] Adam Harvey, HyperFace project, 2016. https://ahprojects.com/hyperface
[lxiv] Anish Athalye et al., ‘Synthesizing Robust Adversarial Examples.’ ArXiv preprint, 2017. https://arxiv.org/abs/1707.07397
[lxv] Nir Morgulis et al., ‘Fooling a Real Car with Adversarial Traffic Signs.’ ArXiv preprint, 2019. https://arxiv.org/abs/1907.00374
[lxvi] 데이터 오염은 프라이버시를 보존하기 위한 목적으로 데이터셋에 익명화되거나 무작위적인 정보를 넣는 방식으로 수행될 수도 있다.
[lxvii] Ian Goodfellow et al., ‘Explaining and Harnessing Adversarial Examples.’ ArXiv preprint, 2014. https://arxiv.org/abs/1412.6572
[lxviii] 방해공작을 가리키는 사보타주(sabotage)라는 단어는 프랑스어로 나막신을 일컫는 sabot으로부터 유래했다. 중세 유럽에서 영주의 부당한 대우에 항의하기 위하여 농민들이 나막신으로 생산물을 짓밟았다는 데에서 유래했다.
[lxix] Florian Schmidt, ‘Crowdsourced Production of AI Training Data: How Human Workers Teach Self-Driving Cars to See.’ Dusseldorf: Hans-Bockler-Stiftung, 2019.
[lxx] Mary Gray and Siddharth Suri, Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass. Boston: Eamon Dolan Books, 2019.
[lxxi] Hamid Ekbia and Bonnie Nardi, Heteromation, and Other Stories of Computing and Capitalism. Cambridge, MA: MIT Press,2017.
[lxxii] 분석적 지능(analytical intelligence)에 대해서는 다음을 참고하라: Lorraine Daston, ‘Calculation and the Division of Labour 1750–1950.’ Bulletin of the German Historical Institute 62, 2018.23
[lxxiii] Simon Schaffer, ‘Babbage’s Intelligence: Calculating Engines and the Factory System’, Critical Inquiry 21, 1994. Lorraine Daston, ‘Enlightenment calculations’. Critical Inquiry 21, 1994. Matthew L. Jones, Reckoning with Matter: Calculating Machines, Innovation, and Thinking about Thinking from Pascal to Babbage. Chicago: University of Chicago Press, 2016.
[lxxiv] Matteo Pasquinelli, ‘On the Origins of Marx’s General Intellect.’ Radical Philosophy 2.06, 2019.
[lxxv] Aida Ponce, ‘Labour in the Age of AI: Why Regulation is Needed to Protect Workers.’ ETUI Research Paper – Foresight Brief 8, 2020. http://dx.doi.org/10.2139/ssrn.3541002
[lxxvi] Maxine Berg, The Machinery Question and the Making of Political Economy. Cambridge, UK: Cambridge University Press, 1980. 실제로, 이코노미스트지(the Economist)조차 최근에 AI시대에는 ‘기계에 관한 질문으로 돌아가야 한다’라고 경고한 바 있다. 다음을 보라: Tom Standage, ‘The Return of the Machinery Question.’ The Economist, 23 June 2016.