분류 전체보기46 SAA - C03 Examtopics Dump (#41 - 45) 2025.01.22 - [클라우드] - SAA - C03 Examtopics Dump (#31 - 40) SAA - C03 Examtopics Dump (#31 - 40)더보기2025.01.16 - [분류 전체보기] - SAA - C03 Examtopics Dump (#26 - 30) SAA - C03 Examtopics Dump (#26 - 30)#026번회사는 Amazon S3 버킷에 무단 구성 변경이 없는지 확인하기 위해 AWS 클라우드 배포를 검토해야 합somoon0422.tistory.com 41. 회사의 애플리케이션은 데이터 수집을 위해 여러 SaaS(Software-as-a-Service) 소스와 통합됩니다. 회사는 Amazon EC2 인스턴스를 실행하여 데이터를 수신하고 분석을 위해 Ama.. 2025. 2. 7. SAA - C03 Examtopics Dump (#31 - 40) 더보기2025.01.16 - [분류 전체보기] - SAA - C03 Examtopics Dump (#26 - 30) SAA - C03 Examtopics Dump (#26 - 30)#026번회사는 Amazon S3 버킷에 무단 구성 변경이 없는지 확인하기 위해 AWS 클라우드 배포를 검토해야 합니다.이 목표를 달성하려면 솔루션 아키텍트가 무엇을 해야 합니까?A. 적절한 규칙을 사용하somoon0422.tistory.com2025.01.15 - [클라우드] - SAA - C03 Examtopics Dump (#21 - 25) SAA - C03 Examtopics Dump (#21 - 25)#021번 #021번한 전자 상거래 회사가 AWS에서 하루에 한 번 거래하는 웹 사이트를 시작하려고 합니다. 매일 24.. 2025. 1. 22. AWS 를 활용한 데이터 수집에 대한 설명 Kinesis란?대용량 스트리밍 데이터를 수집하고, 처리 및 분석할 수 있다. 이를 통해, 데이터를 실시간 처리해 S3와 같은 스토리지에 저장한 후, 다양한 일괄 처리를 할 수 있다.Kinesis는 한 샤드당 초당 1000개 레코드 또는 1MB 까지 수집할 수 있다.스트리밍 데이터 처리 패턴데이터 생산자 → 스트리밍 서비스 → 데이터 소비자 의 순으로 데이터 처리가 이루어짐데이터 생산자지속적 데이터 생성스트림으로 지속적인 데이터 쓰기무엇이든 대상이 될 수 있다!스트리밍 서비스내구성 있게 데이터 저장해야 한다.데이터 준비를 위한 임시 버퍼 공간을 제공한다.매우 높은 through-put 제공해야 한다 → 처리 속도를 높이기 위함데이터 소비자지속적으로 데이터를 처리함정리, 준비 및 집계 등의 일을 함데이터를.. 2025. 1. 18. [Apache Kafka] 카프카란 ? 카프카(Kafka)란?카프카(Kafka)는 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼이다.Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경에 특화되어 있다.Fortune 100개 기업 중 80% 이상이 Kafka를 사용한다. 국내에서도 많이 사용하는 추세다.카프카의 탄생 배경비즈니스 소셜 네트워크 서비스인 링크드인 (linked-in) 에서 개발했다.다음은 카프카 개발 전 링크드인의 데이터 처리 시스템이다.기존 데이터 시스템의 문제점각 애플리케이션과 DB가 end-to-end 로 연결되어 있고(각 파이프라인이 파편화 되어있음), 요구사항이 늘어남에 따라 데이터 시스템 복잡도가 높아지면서 다음과 같은 문제가 발생하게 되었.. 2025. 1. 18. aws 데이터 파이프라인 실습 1 1. Notebook - 크롬 열기 먼저는 aws EC2 구축을 진행했다.EC2 구축을 위해서는 키페어 생성을 해야 한다. 맥북 이면 .pem , window 기반은 .ppk 로받으면 된다고 함. 그다음에는 엑세스키와 시큐리티키를 발급받아야 한다. 이것은 IAM 에있고 거의 모든 보안관리는 IAM 에 있다.IAM - 사용자 들어가서 사용자 생성을 한다.정책을 admin 으로 하나 주고 생성함. 사용은 CLI 에서 주로 할거라 맨 위에꺼로 선택 키페어와 엑세스,시큐리티 키 모두 파일로 받아 로컬에 저장을 해두었다.그리고 보안그룹을 하나 만들어주면 좋은데, 인바운드 규칙만 해주었다.바깥에서 안으로 접속할 때 접속가능한 포트에 대한 설정인데 실습 땐 SSH 로 할거라 저렇게 설정을 해주고 그룹을 .. 2025. 1. 17. 데이터 파이프라인의 흐름 - aws 파이프라인이란? 데이터를 사용하고자 하는 목적성에 맞게끔 데이터를 가공하는 것이라 이야기 함.하지만 최근에는 여러가지 데이터 기능부서가 다양해 짐에 따라 엔지니어링 과정에 맞게 정의가 새롭게 이야기 되곤 함. 데이터 파이프라인의 구성 방안은 뭐가 있을까? 1. 회사 내의 데이터 차원의 요구사항(use case) 에 대한 빠른 대응2. 지속적이고 에러가 없어야 함.3. 시스템적으로 발생하는 에러에 대해 유연하게 scability 해야 한다.4. scale up 과 scale out 이 자유로워야 한다.5. 이벤트성 데이터 부하에도 처리가 가능해야 함. ( 마케팅 이벤트, 푸시 발송, 서비스 오픈 )6. 데이터가 쌓이는 공간에 문제가 없어야 함.7. 수집데이터 (저장데이터) 의 유연성8. 쉬운 분석데.. 2025. 1. 17. 이전 1 2 3 4 5 ··· 8 다음 반응형
