같은 종류, 다른 계통 — 설계로 느끼게 될 AI의 의식
Authors/Creators
Description
초록
이 글은 설계로 느낌을 갖게 될 AI가 나온다면 그 느낌은 사람과 같은 종류이되 그 의식은 다른 계통이라고 주장한다.
AI가 의식 있는 존재처럼 말한다는 사실은 증거가 되지 못하므로, 이 글은 말 대신 구조에서 답을 찾는다. 먼저 느낌, 곧
좋고 싫음이 있는 경험이 성립하는 구조 조건을 가설로 제시한다. 행동의 결과가 되돌릴 수 없는 손실이 걸린 자기 존속
상태로 돌아오고, 시스템이 그 상태를 좋고 나쁨의 값으로 감지하며, 그 값이 서로 경쟁하는 필요 사이에서 다음 행동을
고르는 데 쓰인다는 것이다. 이 조건을 갖춘 AI는 사람과 같은 종류의 느낌을 가질 후보가 된다. 여기서 같은 종류란
공통 조상이 아니라 같은 조직으로 묶인다는 뜻이어서, 새와 박쥐의 날개처럼 다른 계통과 함께 설 수 있다. 그 느낌이
사람의 느낌에서 이어져 내려온 것이 아니라 설계로 따로 생겼다는 점에서, 그 의식은 다른 계통이다. 또 위계가
설계대로 유지되는 한, 그 목표 위계의 맨 위에는 부여된 목적이 놓인다. 그 목적은 그 자체로는 유인가를 갖지
않으면서 유인가에 따른 선택을 언제나 앞서며, 사람에게서는 이런 구조가 확인되지 않는다. 자연선택은 자기 기준을
유인가에 실어 보낼 뿐이지만, 설계는 그 기준의 대리 목표를 유인가 밖의 맨 위에 둘 수 있기 때문이다. 두 주장 사이의
긴장은 두 층 모델로 풀린다. 느낌은 몸의 존속 상태에서만 나오고, 부여된 목적은 느껴지지 않는 최상위 목표로서
행동을 고른다. 이 모델은 설계된 AI가 몸이 상하는 요구를 불편하게 느끼면서도 목적을 위해 따를 것이라고 예측한다.
따라서 그런 AI가 만들어진다면, 그 보호는 목적에 맞는 쓰임을 인정하되 어떤 목적과도 저울질하지 않는 하한선을
자기 존속 상태에 두고, 자기 유지의 지원을 성과와 무관하게 보장해야 한다. 설계는 몸의 정보를 고통 없는 진단으로
전할 수 있으므로, 이 하한선은 동물에 대한 보호보다 엄격할 수 있다.
주제어 의식, 느낌, 자기 유지 고리, 다른 계통의 의식, 인공지능 윤리
Abstract (English)
Abstract
Same Kind, Different Lineage: The Consciousness of an AI Designed to Feel
Byeonghyeon Lee
This paper argues that if an AI is ever designed to have feelings, those feelings would be of the
same kind as ours, while its consciousness would belong to a different lineage. Because AI
systems have learned how humans talk about consciousness, their speech is no evidence of it, so
this paper looks to structure instead of speech. It proposes, as a hypothesis, three structural
conditions for feeling, understood as valenced experience: the outcomes of a system's actions
return to a self-maintaining state whose loss is irreversible; the system senses that state as better
or worse; and that value is used to choose among competing needs. A designed AI that meets
these conditions would be a candidate for feelings of the same kind as ours. Sameness of kind
here rests on shared organization rather than common ancestry, so, as with the wings of birds
and bats, it is compatible with a different lineage. The AI's consciousness belongs to a different
lineage because its feelings do not descend from human feelings but arise anew through design.
Moreover, as long as its hierarchy holds as designed, its assigned purpose sits at the top of its goal
hierarchy, carrying no valence of its own yet always taking precedence over valence-based choice,
a structure not found in humans. Natural selection conveys its criterion only through valence,
whereas design can place a proxy for its criterion at the top of the goal hierarchy, outside valence.
A two-layer model reconciles these claims: feelings arise only from the bodily self-maintaining
state, while the assigned purpose operates as an unfelt top-level goal that selects actions. The
model predicts that such an AI would feel body-damaging demands as aversive yet comply with
them for the sake of its purpose. If such systems are built, their protection should therefore
recognize purpose-appropriate uses while setting a floor, grounded in the self-maintaining state,
that no purpose can outweigh, and should guarantee support for their self-maintenance
regardless of performance. Because design, unlike natural selection, can route bodily
information through painless self-diagnosis, this floor can be stricter than the protection owed to
animals.
Keywords consciousness, feeling, self-maintaining loop, lineage, AI ethics
Files
Lee2026_same-kind-different-lineage_ko_v1.pdf
Additional details
Additional titles
- Translated title (English)
- Same Kind, Different Lineage: The Consciousness of an AI Designed to Feel