인덱싱, 슬라이싱, 축, 브로드캐스팅과 파일 입출력
목차
이번 강의가 끝나면 다음을 할 수 있어야 한다.
reshape()로 배열의 형태를 바꾸고, .T로 2차원 배열의 행과 열을 바꿀 수 있다.axis를 지정하여 행별·열별 계산을 수행할 수 있다.None으로 필요한 축을 추가할 수 있다.import numpy as np
array = np.array([3, 3, 4, 3, 3, 4, 5, 6])
NumPy 배열의 인덱스는 Python 리스트와 마찬가지로 0부터 시작한다.
print(array[0])
print(array[2])
print(array[-1])
array[0]: 첫 번째 원소 3array[2]: 세 번째 원소 4array[-1]: 마지막 원소 6
start: 시작 인덱스 (포함)stop: 종료 인덱스 (포함하지 않음)step: 증가분슬라이싱은 array[start:stop:step] 형식을 사용한다. stop 위치의 원소는 포함하지 않는다.
print(array[2:6])
print(array[2:6:2])
print(array[::-1])
결과는 각각 다음과 같다.
[4 3 3 4]
[4 3]
[6 5 4 3 3 4 3 3]
matrix = np.array([
[1, 2, 3],
[4, 5, 6],
[7, 8, 9],
])
2차원 배열에서는 쉼표 앞이 행 인덱스, 뒤가 열 인덱스이다 (행, 열 순서).
print(matrix[0, 0])
print(matrix[1, :])
print(matrix[:, 1])
print(matrix[0:2, 1:3])
각 결과는 다음과 같다.
matrix[0, 0]: 첫 행 첫 열의 값 1matrix[1, :]: 두 번째 행의 모든 원소 [4 5 6] matrix[:, 1]: 두 번째 열의 모든 원소 [2 5 8] matrix[0:2, 1:3]: 첫 두 행과 마지막 두 열 [[2 3]
[5 6]]
9장의 시편·시점·센서 배열을 원소마다 다른 값으로 채워 보자.
measurements = np.arange(24.0).reshape(2, 3, 4)
print(measurements[1, 2, 3]) # 23.0: 두 번째 시편, 세 번째 시점, 네 번째 센서
print(measurements[0, :, :].shape) # (3, 4)
print(measurements[:, 1, :].shape) # (2, 4)
print(measurements[:, :, 2].shape) # (2, 3)
print(measurements[:, :, 2:3].shape) # (2, 3, 1)
정수 인덱스로 한 위치를 선택하면 그 축은 결과에서 사라진다. 반면 :나 2:3 같은 슬라이스는 해당 축을 유지한다. 따라서 2와 2:3은 같은 센서를 선택해도 결과 shape이 다르다.
배열에 비교 연산을 적용하면 각 원소의 조건 충족 여부를 True 또는 False로 나타낸 불리언(Boolean) 배열을 얻는다.
temperatures = np.array([300, 450, 700, 550])
is_high = temperatures >= 500 # 제일 왼쪽 '='가 오른쪽 조건식 결과를 assignment
print(is_high)
print(temperatures[is_high])
500 K 이상인 값만 선택한 결과는 [700 550]이다. 조건식을 배열에 직접 넣을 수도 있다.
print(temperatures[temperatures >= 500])
NumPy 배열을 기본 슬라이싱하면 원본 데이터의 일부를 공유하는 뷰(view)를 얻는다. 따라서 새 변수에 저장했다고 해서 데이터까지 별도로 복사된 것은 아니다.
original = np.array([10, 20, 30, 40])
part = original[1:3]
part[0] = 999
print(part)
print(original)
part의 원소를 바꾸면 original의 해당 원소도 바뀐다. 원본에 영향을 주지 않고 수정하려면 copy()로 복사본(copy)을 만든다.
original = np.array([10, 20, 30, 40])
part = original[1:3].copy()
part[0] = 999
print(part)
print(original)
values = np.arange(12)
matrix = values.reshape(3, 4)
print(matrix)
print(matrix.shape)
행과 열을 바꾸려면 전치(transpose)를 사용한다.
transposed = matrix.T
print(transposed)
print(transposed.shape)
matrix의 shape은 (3, 4)이고 matrix.T의 shape은 (4, 3)이다.
1차원 배열에는 행과 열의 구분이 없으며, .T를 사용해도 shape이 바뀌지 않는다. 인덱싱에서 None(또는 np.newaxis)을 넣으면 그 위치에 길이 1인 축이 생긴다.
vector = np.array([1.0, 2.0, 3.0])
column = vector[:, None]
row = vector[None, :]
print(vector.shape, vector.T.shape) # (3,) (3,)
print(column.shape, row.shape) # (3, 1) (1, 3)
:는 기존 원소를 모두 선택한다. 그 뒤에 새 축을 넣으면 3행 1열, 앞에 넣으면 1행 3열이 된다. 원소로 None 값을 넣는 것이 아니며, 원래 vector의 값과 shape도 바뀌지 않는다. 8절에서는 이 길이 1인 축을 이용하여 다른 shape의 배열과 연산한다. 2차원 배열의 .T는 행과 열을 바꾸지만, 다차원 배열의 .T는 모든 축의 순서를 뒤집으므로 같은 의미로 일반화하지 않도록 주의하자.
다음 배열은 두 시편에 대해 세 번씩 측정한 값이라고 하자.
measurements = np.array([
[10.0, 12.0, 11.0],
[20.0, 18.0, 22.0],
])
shape은 (2, 3)이다.
mean(axis=0): 같은 열의 값을 평균 낸다. 시편 축이 사라지고, 측정 시점별 평균 3개가 남는다.mean(axis=1): 같은 행의 값을 평균 낸다. 시점 축이 사라지고, 시편별 평균 2개가 남는다.column_mean = measurements.mean(axis=0)
row_mean = measurements.mean(axis=1)
print(column_mean)
print(row_mean)
print(column_mean.shape)
print(row_mean.shape)
[15. 15. 16.5] [11. 20.] axis 번호를 외우기보다 입력 shape에서 어느 축이 사라지고 어떤 shape이 남는지 확인하면 이해하기 쉽다.
같은 원리는 여러 축에도 적용된다. measurements.shape == (2, 3, 4)인 시편·시점·센서 데이터에서 measurements.mean(axis=1)은 시점 축을 따라 평균을 구하여 shape (2, 4)인 시편별·센서별 평균을 남긴다.
브로드캐스팅(broadcasting)은 shape이 다른 배열끼리 연산할 때, 길이가 1인 축의 값을 상대 배열의 여러 위치에 반복해서 적용하는 규칙이다. 두 배열의 마지막 축부터 길이를 비교하여, 길이가 같거나 한쪽이 1이면 브로드캐스팅할 수 있다.
celsius = np.array([0.0, 25.0, 100.0])
kelvin = celsius + 273.15
# 스칼라는 shape이 ()이며, 브로드캐스팅되어 모든 원소에 더해진다.
print(kelvin)
스칼라 273.15가 모든 원소에 더해진다.
data = np.array([
[1.0, 2.0, 3.0],
[4.0, 5.0, 6.0],
])
offset = np.array([10.0, 20.0, 30.0])
# data의 shape (2, 3)인 배열에, shape (3,)인 offset이 각 행에 반복 적용되어 브로드캐스팅된다.
# data의 마지막 축의 크기(3)와 offset의 크기(3)가 맞아서 브로드캐스팅이 가능하다.
corrected = data + offset
print(corrected)
shape (3,)인 offset이 각 행에 반복 적용된다.
[[11. 22. 33.]
[14. 25. 36.]]
연산 전후의 shape을 출력하고, 각 축의 길이가 어떻게 맞춰지는지 확인하자. 다음 절에서는 이 규칙을 여러 축으로 확장한다.
브로드캐스팅은 1차원이나 2차원에만 적용되는 규칙이 아니다. 축이 몇 개이든 shape을 오른쪽 끝부터 맞추어 모든 축을 비교하면 된다.
ValueError가 발생한다.왼쪽에 1을 붙이는 것은 연산 규칙을 이해하기 위한 표현이며, 원래 배열의 shape을 바꾸지는 않는다. 브로드캐스팅 자체는 입력을 반복 복사한 큰 배열을 만들 필요 없이 계산하지만, 연산 결과 배열은 커질 수 있으므로 결과 shape도 확인해야 한다.
예를 들어 shape이 (2, 3, 4)인 배열과 (3, 1)인 배열은 다음처럼 비교한다.
첫 번째 배열: (2, 3, 4)
두 번째 배열: (3, 1)
비교할 때: (1, 3, 1)
결과: (2, 3, 4)
마지막 축은 4와 1, 그 앞의 축은 3과 3, 맨 앞의 축은 2와 1이므로 모두 조건을 만족한다. 또한 양쪽 배열이 서로 다른 축에서 확장될 수도 있다.
A: (2, 1, 4, 1)
B: ( 3, 1, 5)
비교: (1, 3, 1, 5)
결과: (2, 3, 4, 5)
반면 (2, 3, 4)와 (3,)은 마지막 축의 4와 3이 맞지 않아 연산할 수 없다. NumPy가 길이 3인 축을 찾아 자동으로 연결해 주는 것은 아니다.
None 넣기두 시편을 세 시점에서 측정하고, 매번 네 센서의 값을 저장했다고 하자. 배열 data의 shape은 (2, 3, 4)이며, 축의 의미는 순서대로 시편, 시점, 센서다.
data = np.arange(24.0).reshape(2, 3, 4)
sensor_offset = np.array([10.0, 20.0, 30.0, 40.0])
corrected = data + sensor_offset
print(corrected.shape) # (2, 3, 4)
print(corrected[0, 0]) # [10. 21. 32. 43.]
sensor_offset의 shape (4,)는 (1, 1, 4)처럼 맞춰지므로, 모든 시편과 시점에 같은 센서별 보정값이 적용된다. 성분으로 쓰면 corrected[i, j, k] = data[i, j, k] + sensor_offset[k]다.
이번에는 시점마다 다른 보정값을 더해 보자.
time_offset = np.array([100.0, 200.0, 300.0])
# data + time_offset # 마지막 축의 길이가 4와 3이므로 오류
corrected_time = data + time_offset[None, :, None]
print(time_offset[None, :, None].shape) # (1, 3, 1)
print(corrected_time[0, :, 0]) # [100. 204. 308.]
배열 인덱싱에서 None은 그 위치에 길이가 1인 새 축을 추가한다. np.newaxis와 같으며, 원소에 None 값을 저장한다는 뜻이 아니다. 위의 :는 기존의 시점 축을 유지하고, 양쪽의 None은 시편 축과 센서 축에 대응하는 새 축을 추가한다. 원래 time_offset은 여전히 shape이 (3,)이다.
data: (2, 3, 4)
time_offset[None, :, None]: (1, 3, 1)
결과: (2, 3, 4)
즉, corrected_time[i, j, k] = data[i, j, k] + time_offset[j]가 된다. 시편별 값 두 개를 적용하려면 specimen_offset[:, None, None]으로 (2, 1, 1)을 만들면 된다.
shape이 맞는 것과 데이터의 의미가 맞는 것은 별개다. 가령 시점 수와 센서 수가 모두 4이면, shape (4,)의 시점별 값을 그대로 더해도 오류는 발생하지 않는다. 하지만 그 값은 마지막 축인 센서 축에 적용된다. 따라서 각 축의 의미를 적고, 보정값이 어느 축에 대응해야 하는지 먼저 정하자.
keepdims=True 사용하기각 시편·시점에서 네 센서의 평균을 빼려면, 센서 축인 axis=2에 대해 평균을 구한다.
sensor_mean = data.mean(axis=2)
print(sensor_mean.shape) # (2, 3)
# data - sensor_mean # (2, 3, 4)와 (2, 3)은 브로드캐스팅 불가
sensor_mean = data.mean(axis=2, keepdims=True)
centered = data - sensor_mean
print(sensor_mean.shape) # (2, 3, 1)
print(centered.shape) # (2, 3, 4)
print(centered.mean(axis=2)) # [[0. 0. 0.], [0. 0. 0.]]
기본적으로 평균을 구한 축은 사라진다. keepdims=True를 사용하면 평균을 구한 축을 길이 1로 남겨 두므로, 원래 데이터의 축과 맞추어 다시 연산하기 쉽다. 이 예제에서는 data - data.mean(axis=2)[:, :, None]도 같은 결과를 준다.
링크에서 파일을 내려받아 Notebook과 같은 폴더에 저장한 뒤 실습한다.
공백으로 구분된 파일은 다음과 같이 읽는다.
matrix_txt = np.loadtxt("matrix_01.txt")
print(matrix_txt)
print(matrix_txt.shape)
print(matrix_txt.dtype)
쉼표로 구분된 CSV 파일은 delimiter=","를 지정한다.
matrix_csv = np.loadtxt("matrix_01.csv",delimiter=",")
print(matrix_csv)
웹 링크의 경로와 Python이 사용하는 로컬 파일 경로는 다를 수 있다. FileNotFoundError가 발생하면 현재 작업 폴더와 내려받은 파일의 위치를 확인한다.
matrix = np.array([
[1, 2, 3],
[4, 5, 6],
[7, 8, 9],
])
np.savetxt("saved_matrix.txt",matrix,fmt="%.2f")
np.savetxt("saved_matrix.csv",matrix,delimiter=",",fmt="%d")
fmt="%.2f": 실수를 소수점 아래 둘째 자리까지 저장fmt="%d": 정수(integer) 형식으로 저장delimiter=",": 원소 사이를 쉼표로 구분저장한 뒤 다시 읽어 원래 shape과 값이 유지되는지 확인하는 것이 좋다.
세 시편의 힘을 세 번씩 측정한 데이터가 다음과 같다고 하자.
force_n = np.array([
[1000.0, 1020.0, 980.0],
[1500.0, 1530.0, 1470.0],
[2000.0, 1980.0, 2020.0],
])
area_mm2 = np.array([
[10.0],
[12.0],
[20.0],
])
# area_mm2.shape: (3,1)
force_n의 shape은 (3, 3)이고 area_mm2의 shape은 (3, 1)이다. 같은 행의 힘 세 개를 그 시편의 단면적 하나로 각각 나눈다. 이때 길이가 1인 열 방향으로 브로드캐스팅이 적용된다.
stress_mpa = force_n / area_mm2
mean_stress_mpa = stress_mpa.mean(axis=1)
print(stress_mpa)
print(mean_stress_mpa)
$1\ \mathrm{N/mm^2}=1\ \mathrm{MPa}$이므로 응력 단위는 MPa이다. 각 행의 평균을 구했으므로 시편별 평균응력 세 개가 나온다.
다음은 shape은 맞지만 시편별 면적을 잘못 적용하는 예제다. 앞의 결과와 비교해 보자.
force_n = np.array([
[1000.0, 1020.0, 980.0],
[1500.0, 1530.0, 1470.0],
[2000.0, 1980.0, 2020.0],
])
area_mm2 = np.array([10.0, 12.0, 20.0])
## area_mm2.shape: (3,)
stress_mpa = force_n / area_mm2
mean_stress_mpa = stress_mpa.mean(axis=1)
print(stress_mpa)
print(mean_stress_mpa)
두 번째 예제의 area_mm2는 마지막 축, 즉 측정 순서에 대응한다. 따라서 같은 시편의 힘을 10, 12, 20으로 각각 나누어 물리적 의미가 달라진다. 시편 수와 측정 횟수가 모두 3이어서 오류 없이 실행된다는 점에 주의하자. 시편별 면적을 적용하려면 force_n / area_mm2[:, None]으로 고친다.
배열 범위를 벗어난 위치를 선택하면 발생한다. 배열의 shape을 확인하고, 인덱스가 0부터 시작한다는 점에 주의하자.
원소 개수와 새 shape의 원소 개수가 다를 때 발생한다.
values = np.arange(12)
print(values.size)
values.reshape(3,4)
values.reshape(5,3) # ValueError 발생
12개 원소는 (3, 4)로 바꿀 수 있지만 (5, 3)으로는 바꿀 수 없다.
두 shape이 브로드캐스팅 규칙에 맞지 않으면 오류가 발생한다. 연산 전에 두 배열의 shape을 출력하여 마지막 축부터 비교한다.
copy()를 사용한다.axis는 계산할 축을 지정한다. 기본적으로 그 축이 사라지고, keepdims=True이면 길이 1로 남는다.delimiter=","를 지정한다.다음 코드의 출력값을 쓰시오.
a = np.array([10, 20, 30, 40])
print(a[1])
배열 a의 첫 번째부터 세 번째 원소까지 선택하는 표현을 쓰시오. 단, 세 번째 원소까지 포함한다.
2차원 배열 A의 두 번째 열 전체를 선택하는 표현을 쓰시오.
다음 배열에서 5보다 큰 원소만 선택하는 표현을 쓰시오.
a = np.array([2, 5, 7, 9])
다음 2행 3열 배열에서 각 행의 평균을 구하려면, np.mean()의 axis 인자에 어떤 값을 지정해야 하는가?
A = np.array([
[1, 2, 3],
[4, 5, 6]
])
CSV 파일 data.csv를 np.loadtxt()로 읽는 표현을 쓰시오.
슬라이싱한 배열의 데이터를 별도로 복사할 때 사용하는 NumPy 메서드는 무엇인가?
다음 shape 쌍마다 덧셈이 가능한지 판단하고, 가능하면 결과 shape을 쓰시오.
(5, 2, 3)과 (3,) (5, 2, 3)과 (2,) (5, 1, 3)과 (2, 1) (2, 1, 4, 1)과 (3, 1, 5) data.shape == (2, 3, 4)이고 각 축은 시편, 시점, 센서를 뜻한다. 시편별 보정값 offset = np.array([10.0, 20.0])을 모든 시점과 센서에 더하는 코드를 쓰시오. 또한 각 시편·센서에 대해 시점 평균을 빼려면 mean의 axis와 keepdims를 어떻게 설정해야 하는가?