hyewon's study

1.1 데이터 엔지니어링이란? 1.1 데이터 엔지니어링 정의데이터 엔지니어링은 원시 데이터를 가져와 분석 및 머신러닝과 같은 다운스트림 사용 사레를 지원하는, 고품질의 일관된 정보를 생성하는 시스템과 프로세스의 개발, 구현 및 유지관리이다. 데이터 엔지니어링은 보안, 데이터 관리. 데이터 운영. 데이터 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링의 교차점이다. 1.1.2 데이터 엔지니어링 수명 주기- 데이터 엔지니어링 수명 주기는 전체 수명 주기에 걸쳐 중요한 아이디어인 드러나지 않는 요소라는 개념을 포함한다.데이터 생성데이터 저장데이터 수집데이터 변환데이터 서빙 1.1.3 데이터 엔지니어의 변화① 1980년대 부터 2000년대까지: 데이터 웨어하우징에서 웹으로1980년대: 비즈니스 데이터 웨어하우스..

Amazon VPC Virtual Private Cloud(VPC)는 AWS에서 제공하는 가상의 프라이빗 네트워크로 VPC를 사용하면 AWS 리소스에 대해 사용자 정의가 가능한 가상 네트워크를 설정할 수 있습니다. 즉, VPC는 AWS 클라우드 안에 사용자만의 독립된 네트워크 환경을 구축할 수 있게 해줍니다.  Amazon VPC를 활용하면 온프레미스 데이터 센터에서 직접 네트워크 환경을 만드는 것과 같은 방식으로 클라우드 환경에서도 네트워크를 구축할 수 있습니다. VPC의 구성요소 리전AWS가 전 세계적으로 분리된 데이터 센터의 물리적 위치를 말합니다. 사용자는 애플리케이션의 요구 사항에 따라 리전을 선택할 수 있고 각 리전은 서로 독립적입니다. 가용영역(Availability Zone, AZ)AWS에..

AWS 비용 추정 단계 실습 Application Load Balancer, Amazon EC2 instance,  Amazon RDS instance 3계층을 위한 웹 애플리케이션의 비용 추적 실습 들어가기 전, 1. Application Load Balancer (ALB)역할: ALB는 웹 애플리케이션으로 들어오는 트래픽을 여러 EC2 인스턴스에 고르게 분산시키는 역할비용 추정: ALB의 비용은 주로 처리된 데이터 양, 새로 설정된 연결 수, 평균 연결 지속 시간, 초당 요청 수 등의 요소에 따라 결정2. Amazon EC2 Instance역할: EC2 인스턴스는 웹 애플리케이션이 실행되는 가상 서버비용 추정: EC2 인스턴스의 비용은 주로 인스턴스 유형, 사용 시간, 추가 스토리지, 데이터 전송 등..

AWS Database 종류관계형 데이터베이스  Amazon Relational Database Service(Amazon RDS) Amazon Relational Database Service(Amazon RDS)는 데이터 베이스 인프라 및 업데이트들을 AWS 측에서 관리해주고 데이터베이스의 설치, 운영 그리고 관리 등의 서비스들을 지원하는 AWS의 관계형 데이터베이스이다. RDS는 클라우드 환경에서 마치 온프레미스(on-premises) 환경처럼 제약없이 원하는 데이터베이스 엔진을 쓰고 싶을 때 사용할 수 있는 AWS의 대표적인 관계형 데이터베이스 서비스입니다. AWS에서 RDS 엔진SQL Server: 마이크로소프트에서 개발한 관계형 데이터베이스 관리 시스템Oracle: Oracle사의 관계형 데이..

모듈1. DevOps 소개DevOps란? DevOps는 소프트웨어 개발(Dev)과 운영(Ops)을 통합하여 개발자의 생산성과 운영 안정성을 최적화하는 방법론입니다. 개발(Dev)은 소프트웨어를 만드는 사람과 프로세스를 의미하며, 신속한 변경과 자주 릴리스를 통해 전달 속도를 측정합니다. 반면, 운영(Ops)은 소프트웨어를 제공하고 모니터링하는 팀과 프로세스를 나타냅니다. 안정성을 중시하며, 잦은 릴리스가 안정성과 신뢰성을 저해할 수 있습니다. DevOps는 이러한 역할들을 통합하여 팀 간의 협업을 강화하고, 자동화된 프로세스와 도구를 통해 신속한 개발과 안정적인 운영을 가능하게 합니다.  기존 개발 방식의 문제점 - 기존의 소프트웨어 개발 방식은 느리고 비효율적이어서 안정적인 고품질 애플리케이션을 신속하..

AWS CloudFormation AWS CloudFormation: 개발자와 시스템 관리자가 AWS 리소스를 프로그래밍 방식으로 생성하고 관리할 수 있는 서비스입니다. 사용자는 템플릿을 사용하여 관련 AWS 리소스를 쉽게 생성하고 관리할 수 있습니다. CloudFormation은 이러한 리소스의 배포 및 업데이트를 담당하므로, 사용자는 이에 대한 예측 가능한 방식으로 AWS 인프라를 관리할 수 있습니다.   AWS CloudFormation 구성요소 템플릿(Template): AWS CloudFormation에서 템플릿은 AWS 리소스를 정의하고 구성하는 JSON 또는 YAML 포맷의 파일입니다. 이 템플릿은 원하는 인프라를 정확하게 설명하고 CloudFormation이 해당 인프라를 생성하도록 지시합..

Amazon Aurora Amazon Aurora는 MySQL 및 PostgreSQL과 호환되는 관계형 데이터베이스 엔진으로, 클라우드 환경에 최적화되어 있습니다. Amazon Relational Database Service(RDS)를 통해 데이터베이스 설정, 패치, 백업 등의 관리 작업을 자동화하여 사용자의 관리 부담을 덜어줍니다. Aurora는 최신 저장 시스템을 사용하여 데이터를 저장하며, 모든 데이터는 3개의 AWS 가용 영역에 분산되어 각각 독립적인 2개의 저장 장치에 복제됩니다. Aurora의 데이터베이스 엔진은 빠른 스토리지 활용을 위해 사용자 지정되었습니다.  Amazon Aurora는 다음과 같은 특징을 가지고 있습니다:기본 쿼리 처리: 모든 검색된 데이터를 Aurora 클러스터에서 단..

AWS Identity and Access Management(IAM)이란?: AWS 계정 및 리소스에 대한 액세스를 관리하고, 사용자 및 서비스에게 필요한 권한을 부여하거나 제한하는 데 사용되는 AWS 서비스 AWS IAM 실습 단계사용자 및 그룹 살펴보기그룹에 사용자 추가로그인 및 사용자 테스트 AWS IAM 실습 단계 전 비즈니스 시나리오 살펴보기사용자그룹 내권한user-1S3-SupportAmazon S3에 대한 읽기 전용 액세스user-2EC2-SupportAmazon EC2에 대한 읽기 전용 액세스user-3EC2-AdminAmazon EC2 인스턴스 보기, 시작 및 중지 1. 사용자 및 그룹 살펴보기IAM에 이미 생성되어 있는 사용자 및 그룹을 살펴봅니다. Services 메뉴를 선택한 후 ..