본문 바로가기
Data Engineering

aws 데이터 파이프라인 실습 1

by somoony 2025. 1. 17.

 

 

1. Notebook -  크롬 열기 

 

 

먼저는 aws EC2 구축을 진행했다.

EC2 구축을 위해서는 키페어 생성을 해야 한다.

 

 

맥북 이면 .pem , window 기반은 .ppk 로받으면 된다고 함.

 

그다음에는 엑세스키와 시큐리티키를 발급받아야 한다. 이것은 IAM 에있고 거의 모든 보안관리는 IAM 에 있다.

IAM - 사용자 들어가서 사용자 생성을 한다.

정책을 admin 으로 하나 주고 생성함. 

사용은 CLI 에서 주로 할거라 맨 위에꺼로 선택

 

 

 

키페어와 엑세스,시큐리티 키 모두 파일로 받아 로컬에 저장을 해두었다.

그리고 보안그룹을 하나 만들어주면 좋은데, 

 

인바운드 규칙만 해주었다.

바깥에서 안으로 접속할 때 접속가능한 포트에 대한 설정인데 실습 땐 SSH 로 할거라 저렇게 설정을 해주고 그룹을 만들었다.

 

이제 EC2 를 띄워보려고 함.

 

이름, 인스턴스(medium) , 이미지파일인 AMI 를 최신버전으로 설정해준다.

그리고 이전에 만들어둔 키 페어와 보안그룹을 선택한다.

 

인스턴스가 만들어졌고, 연결을 해보자

 

접속방법이 여러가지인데 그 중 내가 접속할 방법은 SSH클라이언트이다.

 

 

3번 항목에 있는 .pem 파일을 chmod 명령어를 실행해서 공개적으로 볼 수 없도록 해야 한다. 터미널에서 진행 해보자.

 

chmod 400 "study-ec2.pem"

 

ssh -i "study-ec2.pem" ec2-user@ec2-43-203-122-140.ap-northeast-2.compute.amazonaws.com

 

두 코드를 순서대로 입력한 뒤, 아래와 같은 output 이 나온다면 EC2 리눅스 서버에 접속이 된 것 이다!

 

다음 글에서는 AWS 환경에서 github 의 log data 등의 코드를 실행해 보도록 하겠다.