학습은 아직 AI가 지배하기 힘들다

Introduction

뭐가 더 좋을까?

 

근래에 AI를 학습 및 코딩에 사용하는 사람들이 부쩍 많이 늘었다.

 

이 트렌드에 맞춰 Claude, Codex, Gemini, Copilot 등 여러 AI를 사용하여 많은 사람들이 코딩을 하고있다.

 

이를 통해 약 80%의 빠른 속도로 일을 할 수 있었다.

 

하지만 직업에 관련된 기술들을 익히고 성장시키고 만들고 있는 시스템을 이해하는 능력에 얼마나 많은 도움을 주는지는 명확하지 않다.

 

AI를 사용하더라도 에러에 대한 이해와 해결, 원하는 결과값, 그리고 궁극적으로 높은 단계에서의 프로그래밍에서 AI가 주는 인사이트에 대해서는 AI가 도움이 되는지에 대해서는 아직 미지수다.

 

Research Question은 다음과 같다.

1. AI가 기술 발전과 효율성의 방면에서 지름길을 제공하는가?

2. AI를 통한 생산성 증가를 기술 발전보다 더 좋게 생각해야하는가?

 

따라서 연구원들은 이를 비교해보기 위해 AI를 사용하여 학습하는 인원과 AI를 사용하지 않고 학습하는 인원 둘로 나눠서 비교하였다.

 

결과는 놀랍게도 AI를 사용하지 않는 인원들이 더 좋은 이해력을 보여주었다.

 

그렇다고 AI를 사용하면 학습력과 이해력이 떨어진다고 볼 수 없다.

 

AI를 사용한 인원 중 높은 이해력을 보여준 사람들이 있다. 추가적으로 AI를 사용하였을 때 더 빠른 학습 시간을 보여주긴 하였다.

 

퀴즈를 시행한 결과 AI를 사용하지 않은 인원들이 사용한 인원들에 비해 약 17% 높은 성적을 기록하였다.

---

Study Design

52명의 파이썬을 사용하는 주니어 레벨의 개발자들을 모았다.

 

Trio에 익숙하지 않은 사람들을 모았으며 AI coding assistance에 익숙한 사람들로 모았다.

 

Source from: https://www.anthropic.com/research/AI-assistance-coding-skills

구성한 단계는 다음과 같다.

1. warm up

2. Trio를 사용할 때 AI를 사용하는 그룹과 않는 그룹

3. quiz

4. survey

 

공부의 경우 각 참여자들은 Trio로 문제를 풀 수 있게 온라인 코딩 플랫폼을 사용하였다.

---

Evaluation Design

Computer Science Education에서의 research에서 차용하여 흔히 물어보는 네가지 타입의 문제들을 사용하여 코딩의 완숙도를 측정하였다.

 

1. Debugging

코드에서 에러가 생겼을 때 진단하고 인지하는 능력을 알아보는 단계

 

2. Code Reading

코드를 읽고 어떤 코드가 어떤 역할을 하는지 알아보는 단계

 

3. Code Writing

코드를 작성하고 어떤 방식으로 접근할지 옳은 방식을 선택하는 단계

 

4. Conceptual

사용하는 도구와 라이브러리의 원칙에 대해서 이해하는 능력을 알아보는 단계

 

대부분의 평가 단계에서는 debugging, code reading, conceptual 단게에 집중되어 있었다.

이유는 AI가 만든 코드인 것 같을수록 이런 항목들이 분석력을 높여준다고 생각하였기 때문이다.

---

Results

평균적으로 AI를 사용한 그룹은 2분 정도 빠르게 학습을 끝냈으며 통계적으로 큰 차이를 보여주진 않았다.

 

하지만, test score에서 확연한 차이를 보여줐는데 AI를 사용한 그룹은 평균적으로 50%의 점수를 보여준 반면 AI를 사용하지 않은 그룹은 67% 의 점수를 보여주었다.

 

두 그룹은 debugging 단계 테스트에서 제일 큰 차이를 보여주었습니다.

 

왜냐하면, 코드가 잘못된 상황에 대한 인지하는 능력과 왜 코드가 실패하는지에 대한 영역을 이해하는 능력을 AI가 코딩을 해줌으로써 이러한 능력이 낮은 것으로 판단하였다.

Result에 대한 두 집단의 비교 단계와 통계적 차이점

Qualitative analysis: AI interaction modes

참여자들의 화면을 녹화하여 문제를 푸는데 걸린 시간, 어떤 타입의 질문을 하는지, query를 짜는데 생기는 에러, 얼마나 코딩을 하는데 시간을 사용하는지에 대해서 측정하였다.

 

놀라운 사실은 AI와 상호작용하는 시간이다. 11분에 걸쳐 15개의 쿼리를 만들었다. 이러한 이유로 우리는 AI를 사용할 것이다. 

 

결과적으로 AI를 사용하지 않는 그룹은 평균적으로 40% 높은 점수를 AI를 사용한 그룹보다 높게 나왔다.

---

결과적으로는 효율성과 학습성 사이의 trade-off를 봐야 할 것이다.

미래에는 엔지니어로 성장하기 위해서는 새로운 지식을 습득하고 기술을 습득하면 이때 AI를 사용할 것인지 아닌지에 대해서 판단하여 사용해야 할 것이다.

 

과연 AI를 안쓰는 것만이 좋은 것인지, AI를 쓰는 것만이 좋은 것인지에 대해서 스스로 판단하고 결정을 내려야 할 것이다.

 

미래에는 AI를 도구로써 사용하되 그 사이의 프로세스 오류 및 이해를 통해 AI에게 단계를 설정하고 디테일한 작업을 내리는 것이 중요하다고 생각한다.

---

Reference: https://www.anthropic.com/research/AI-assistance-coding-skills   

How AI assistance impacts the formation of coding skills