103) 설계·제작 프로젝트의 시험–개선–재확인 연결 — 연구 안내

연구 103) · 담당 학생 C · 짝 코더 학생 D

설계·제작 프로젝트는 시험 결과를 개선과 재확인으로 이어 주는가

만들고 시험하라는 말이 있는지가 아니라, 시험 결과 → 판단 → 개선 → 다시 시험으로 실제로 이어지는지를 활동마다 유형으로 분류합니다. 단계가 어디서 끊기는지를 보여 주는 연구입니다.

자료	2022 개정 중학교 기술·가정 20권의 설계·제작 프로젝트(연구실에서 목록 확정, 따라 만들기형은 연습용)
분석 단위	프로젝트 1개
방법	연결(이어짐) 분석
따라 할 선행연구	Arık & Topçu(2022), Aldahmash & Alfarraj(2022), Guzey 외(2016)

연구 문제

1. 프로젝트는 시험을 지시하는가, 시험 방법과 기록란을 주는가?
2. 시험 결과가 판단·개선·재확인으로 이어지는가? 어디서 끊기는가?
3. 출판사·기술 영역에 따라 다른가?

1. 구체적인 연구 방법

1. 목록 받기 — 연구실이 확정한 프로젝트 목록(교과서ID·쪽 범위)을 받습니다. 연습은 '따라 만들기형'으로 합니다.
2. 번호 — 기존 번호를 그대로 씁니다(예: DA1-G055).
3. 연결 고리 판정 — ① 시험 지시 ② 시험 방법 구체성 ③ 결과 기록란 ④ 결과에 근거한 판단·평가 ⑤ 개선 지시 ⑥ 고친 뒤 재시험.
4. 유형 분류 — A 시험 없음, B 시험만, C 개선까지(결과와 무관), C′ 결과 근거 개선, D 재확인까지.
5. 독립 코딩 — 학생 C·D가 따로 코딩. 기존 분석 결과는 보지 않습니다(독립성).
6. 분석 — 유형 분포, 단계별 이어짐 비율(시험 → 판단 → 개선 → 재확인), 출판사·영역 비교.

2. 누구의 방법을 쓰나논문마다 펼쳐 보세요 — 무엇을, 어떻게, 결과는

Arık & Topçu (2022) — 어디까지 이어지나를 세는 방법

학술지	Research in Science Education
무엇을 분석했나	K-12 과학 수업에서 공학 설계 과정을 적용한 논문 46편
분석 단위	논문(수업 사례) 1편
분석 틀	최종 산출물이 어느 단계까지 가는가: 그리기만 → 만들기 → 시험 → 재설계
코더·신뢰도	체계적 문헌 분석
통계	단계별 빈도
주요 결과	그리기만 10편, 그리기+만들기 6편, +시험 16편, +재설계 14편. 시험까지 간 것은 30편(65%), 시험 결과로 다시 설계한 것은 14편(30%)

우리가 가져오는 것 — '어디까지 가는가'를 단계로 세는 방식, 단계별 빈도를 나란히 보여 주는 표

우리가 다르게 하는 것 — 수업 논문 대신 교과서 프로젝트, '시험'과 '재설계' 사이에 '결과로 판단'과 '재확인'을 더 잘게 나눔

Aldahmash & Alfarraj (2022) — 0–3점 수준 루브릭

학술지	Frontiers in Psychology, 13, 774022
무엇을 분석했나	사우디아라비아 10학년 화학 교과서 활동 19개 + 실험서 활동 11개 = 30개
분석 단위	활동 1개
분석 틀	공학 설계 과정 9단계 × 4수준(0 없음, 1 초보, 2 발전, 3 우수)
코더·신뢰도	평정자 2명, 단계별 κ .559–.877, 전체 κ = .731
통계	단계별 포함률·수준 분포·평균
주요 결과	문제 확인은 100% 포함됐지만 우수(3점)는 3.3%. 대안 만들기는 23.3% 포함. 시험·평가와 재설계는 70% 포함됐지만 우수는 10.0%, 13.3%. 전체 평균 1.05점(초보 수준)

우리가 가져오는 것 — 시험·평가 단계의 '있다'와 '충실하다'를 구분하는 생각

우리가 다르게 하는 것 — 단계별 점수 대신 연결 유형(A–D)

Guzey, Moore & Harwell (2016) — 있다와 제대로 한다의 차이

학술지	Journal of Pre-College Engineering Education Research
무엇을 분석했나	교사가 만든 STEM 단원 20개
분석 단위	단원 1개
분석 틀	STEM 통합 교육과정 평가 도구 9항목 × 0–4점
코더·신뢰도	예비 평정 6명 → 2인 1조, 일치율 85%
통계	Kruskal–Wallis 검정
주요 결과	단원 20개 모두 설계–제작–시험–재설계를 요구한다고 했지만, 공학 설계 항목 최고점(4점)은 1개 단원뿐

우리가 가져오는 것 — '설계를 요구한다'는 말과 실제 충실도가 다르다는 문제 제기(서론·논의에서 인용)

우리가 다르게 하는 것 — 교사 단원 대신 교과서 프로젝트

원문에서 꼭 볼 곳: 방법 절의 ① 분석 대상 표 ② 코딩 틀(범주와 정의) 표 ③ 신뢰도 문장 ④ 결과 첫 번째 표. 이 네 곳을 6칸 정리표(대상·단위·틀·코더·통계·결과)에 옮기면 우리 연구의 방법 절이 그대로 설계됩니다.

3. 예상되는 결과와 결론연구 문제마다 — 표·그래프, 예상 결론, 논문 문장

가상 예시 아래 숫자는 결과 모양을 보여 주려고 만든 숫자입니다. 실제 결과가 아닙니다.

연구 문제 1. 시험을 지시하고 방법을 주는가?

	비율
시험 지시가 있음	60%
시험 방법이 구체적(측정·기준)	25%
결과 기록란이 있음	22%

예상 결론 — 절반 넘는 프로젝트가 시험을 시키지만, 무엇을 어떻게 재는지까지 주는 것은 네 개 중 하나 정도일 것이다.

논문에 쓸 문장 예: "Although most projects asked students to test their products, only a quarter specified how to measure performance."

의미(시사점): '시험해 보자'라는 말만으로는 학생이 결과를 근거로 판단하기 어렵다는 점을 보여 줍니다.

연구 문제 2. 어디서 끊기는가?

시험 지시60%

결과로 판단28%

결과 근거 개선22%

재확인8%

예상 결론 — 연결은 시험 바로 다음에 가장 많이 끊기고, 고친 뒤 다시 확인하는 프로젝트는 열 개 중 하나도 안 될 것이다.

논문에 쓸 문장 예: "The chain most often broke immediately after testing; few projects asked students to retest after improvement."

의미(시사점): Arık과 Topçu(2022)의 수업 연구(시험 65%, 재설계 30%)와 비교하면, 교과서가 수업보다 더 일찍 끊기는지 말할 수 있습니다.

연구 문제 3. 출판사·영역별 차이

출판사	A 시험 없음	B 시험만	C 개선까지	D 재확인까지
출판사 가	30%	40%	22%	8%
출판사 나	45%	35%	15%	5%
출판사 다	25%	38%	27%	10%

출판사 × 유형, 기술 영역(제조·건설·수송·정보통신) × 유형으로 표를 만들고 χ²(칸이 작으면 Fisher) 검정을 합니다.

예상 결론 — 출판사마다 시험 없는 프로젝트의 비율은 다르지만, 재확인(D)까지 가는 비율은 어느 출판사나 낮을 것이다.

논문에 쓸 문장 예: "Although publishers differed in how often projects omitted testing, few projects in any textbook series reached the retest stage."

의미(시사점): 특정 출판사의 문제가 아니라 교과서 전체의 설계 방식 문제라는 해석으로 이어집니다. 차이가 크게 나오면 출판사별 좋은 사례를 소개할 수 있습니다.

결과가 다르게 나오면? 재확인 비율이 높다면 "교과서는 연결을 갖추었지만 수업 시간이 부족하다"처럼 다른 문제로 논의가 옮겨 갑니다.

4. 할 일

1. 판단 기준표 읽기 → 따라 만들기형 연습 3개
2. 보정 2회(각 8개) → κ ≥ .70
3. 본 코딩(묶음별 제출)