- ★★★☆☆ 2023.04.24 제목만 보고 오해해서 읽으려고 했지만 좋은 책. AI 기술 이면의 폐해를 주제별로 알려준다. 모든 챕터들이 다 암울한(?) 미래를 경고하는 듯 하지만, 개인적으로는 특히 (과학이라 부를 수도 없는 우생학 계열의) 골상학이 얼굴 인식의 근거가 되었다는 부분이 충격적이다. 이미 거대한 흐름이 시작된 지 오래고 절대 되돌릴 수는 없는데, 그 안에서 어떤 제도적인 장치가 필요할지 중요한 단초를 제공하는 책이다. 먼저 치고 나가 경제적인 부를 획득하려는 욕망 앞에 걸림돌이 될만한 건 모두 무너뜨리기만 하지 보완하려는 흐름은 미미할 거 같긴 하다.
영리한 한스 이야기… 주어진 데이터에서 모형이 무엇을 배웠는지를 언제나 확신할 수는 없다는 경고… 훈련에서 눈부신 성과를 보이던 시스템도 현실에서 새로운 데이터를 접하면 터무니없는 예측을 내놓을 수 있다.
1 지구
심층 시간의 관점에서 보자면… 고작 몇 년 쓰고 버리는 기기를 만들어 현대 기술 시대라는 찰나를 떠받치려고 지구의 지질학적 역사를 뽑아내고 있는 셈
광업은 예나 지금이나 무자비한 사업
경제적 비용의 측면에서만 생각하다 보면 효율을 증대하려고 연산 주기를 늘릴 때 폭넓은 지역적·환경적 피해가 발생한다는 것을 알아차리기 힘들다. 하지만 ‘연산 극대화’주의’ 경향은 생태계에 극심한 영향을 끼친다.
2 노동
기계는 정성껏 관리받는 반면에 기계와 함께 작업하는 사람의 몸은 뒷전
AI 시스템의 확장과 공정 자동화에 대해 흔히 들을 수 있는 문구는 지금이 인간과 AI가 호혜적으로 협력하는 시대라는 것이다. 하지만 이 협력은 공정한 협상의 결과물이 아니다. 계약의 토대는 현저한 권력 불균형이다. 알고리즘 시스템과 협력하지 않는’ 선택이라는 것이 과연 가능하겠는가? 기업이 새로운 AI 플랫폼을 도입할때 직원들이 거부할 수 있는 경우는 거의 없다. 이것은 협력이라기보다는 강제 짝짓기에 가깝다. 노동자들은 기술을 새로 배우고 변화에 발맞추고 새로운 기술 발전을 무조건 수용해야 한다.
판옵티콘. 새뮤얼 벤담의 감시 구조물 설계는 우리의 집단적 기억에서 거의 사라졌지만 그 뒤의 이야기는 우리가 공유하는 어휘의 일부로 남아 있다.
고객들이 인간 직원을 기계와 다름없는 것으로 취급하는 이유는 그들의 노동을 인정하고 제대로 보상하다가는 AI의 비용이 상승하고 ‘효율’이 하락할 것이기 때문
실제로는 자동화되지 않은 첨단 시스템을 과대 포장하는 행위를
포토메이션 fauxtomation('가짜'를 뜻하는 'faux'와 '자동화'를 뜻하는 'automation'의 합성어 - 옮긴이)
메커니컬 터크 Mechanical Turk
현대적 형태의 인공지능은 인공적이지도 않고 지능도 아니다.
3 데이터
모든 것은 함수에 입력되는 데이터로, 기술적 성능을 향상시키기 위해 흡수해야 할 자료로 취급된다. 이것이야말로 데이터 추출 이데올로기의 핵심 전제다.
데이터를 동의 없이 대량으로 추출하고 저임금 크라우드 노동자에게 라벨링을 시키는 접근 방식은 이후 표준 관행이 되었으며
석유로서의 데이터’라는 표현이 일상화되었다.
결국 ‘데이터’는 무색무취한 단어가 되어 자신의 물질적 기원과 종말을 둘 다 감추고 있다.
모든 것이 데이터로 이해되면 점점 증가하는 데이터 추출의 순환이 정당화된다
AI 연구자와 (자신의 삶이 데이터 집합에 반영되는) 사람들의 관계가 분리되는 현상은 오래된 관행
4 분류
분류의 정치는 인공지능에서도 핵심적인 수법이다. 분류 행위는 대학 연구실에서 기술업계에 이르는 여러 분야에서 기계 지능이 어떻게 인식되고 생산되는지에 영향
‘분류는 강력한 기술이다. 분류는 작업 하부 구조속에 끼워 넣어짐으로써 그 힘의 어느 부분도 상실하지 않으면서 상대적으로 보이지 않게 된다.’
이미지넷의 분류 체계가 사물 인식의 논리로 사람들의 사진을 분류하려 드는 것에는 여러 문제
기계학습 시스템은 관계에 따라달라지는 것들을 고정된 범주로 분류하려 들며, 그렇기에 과학적·윤리적 측면에서 문제가 있다는 정당한 비판이 제기
5 감정
라이 투 미 Lie to Me에 반영
6 국가
팔란티르… 스스로를 강화하는 순환논리
AI 시스템이 복지국가의 일부로 운용되면 사람들에게 지원을 확대하는 수단보다는 공적 자원에 대한 접근을 감시하고 평가하고 제한하는 수단으로 주로 이용
무차별적 감시에 쓰이는 모든 자금과 자원은 중앙집중화된 통제라는 ‘열에 들뜬 꿈 fever dream’의 일부이며, 그 대가로 사회구조에 대한 다른 시각들을 희생시키게 된다.
맺음말 권력
인공지능은 인간의 지시 없이 판단을 내리는 객관적이고 보편적인 연산 기법이 아니다. 인공지능 시스템은 사회적·정치적·문화적 · 경제적 세계에 붙박여 있으며, 무엇을 어떻게 해야 하는지 결정하는 인간, 제도, 명령에 의해 빚어진다. 이 시스템은 차별하고 서열을 증폭하고 편협한 분류를 구현하도록 설계되었다. 치안, 사법체계, 보건 의료, 교육 같은 사회적 맥락에 적용되면 기존의 구조적 불평등을 재생산하고 최적화하고 확장
AI의 데이터 집합은 결코 알고리즘에 공급되는 원료가 아니다. 본질적으로 정치적인 개입… 편향은 증상이며 근본 원인은 더 깊숙한 곳에 있다.
권력의 불균형을 줄이기 위해 AI를 민주화해야한다는 주장은 평화를 위해 무기 제조를 민주화해야 한다는 주장과 얼추 비슷하다. 오드리 로드의 말마따나 주인의 연장은 결코 주인의 집을 부수지 않는다.
