목록Data Engineering (10)

AI & Data를 활용하는 기술경영자

Introduction Relational Model(1)

Relational Model Relational Model의 정의, 용어 그리고 사용 예시들에 대한 설명을 진행하려고 합니다. Relational Model는 관계 모델로 우리에게 익숙한 테이블을 사용해서 데이터를 표현하는 것이지만 용어는 조금 다릅니다. 테이블은 Relation이고, 테이블의 row는 튜플, 테이블의 column는 attribute(속성)입니다. 위의 이미지를 예시로 들면, instructor relation을 보면 instructor relation은 ID,name,department name, salary와 같은 네 개의 컬럼 헤드를 갖고 각 행의 튜플들은 ID, name, department name, salary로 구성된 한 명의 교수에 관한 정보입니다. 이러한 교수님들의 정보..
Data Engineering 2022. 11. 25. 17:30
Data Models

Data Models 정의 저번 블로그에서는 데이터베이스의 기본적인 개념을 배웠다면 이번 시간에는 데이터 모델에 대해서 배울 것입니다. 데이터 모델은 데이터 베이스의 구조를 기술하기 위한 것으로 데이터베이스의 바탕이 되는 구조입니다. 왜냐하면, 데이터 모델은 저장된 데이터들의 관계를 설명해주고 데이터베이스가 어떻게 논리적인 구조로 이뤄지는 지를 정리하고, 데이터가 서로 연결된 이유를 정의하면서 시스템 내에서 데이터들이 어떻게 정리되고 저장되는지를 말합니다. 즉, 데이터베이스를 구축할 때는 체계화된 구조를 갖추는 것이 필요하고 이를 명시하는 개념들의 집합으로 단순히 데이터베이스의 구조에 대한 기술을 넘어서 구조에서 허용되는 연산과 제약조건 등을 말하는 것입니다. 전문적인 것처럼 말하면, data, data..
Data Engineering 2022. 11. 23. 01:19
Database Management System(DBMS)

네이버 edwith 강의인 데이터베이스를 듣고 정리한 것입니다. DBMS 탄생 이전의 데이터 저장 주로, file system을 활용해서 데이터를 저장했으나 이는 비효율적인 측면과 단점이 존재했다. Data redundancy and inconsistency(데이터 중복과 불일치) 여러 명의 프로그래머가 응용 프로그램을 만들고 응용 프로그램에서 사용할 데이터가 저장된 파일 시스템이 만들어질 경우, 프로그래밍 언어가 다르게 구성이 되었다면, 프로그램들이 저장하는 파일의 포맷이 달라질 수 있다. 그러한 이유로, 다수의 파일은 여러 형식을 갖을 수 있게 되어서 같은 내용의 데이터나 정보가 여러 파일에 중복 저장 혹은 서로 다른 형식의 파일로 저장되는 불일치가 발생하낟. Difficulty in accessin..
Data Engineering 2022. 11. 7. 13:44
Batch Processing

Batch Processing Hadoop Spark MapReduce Hive Sqoop
Data Engineering 2022. 11. 1. 15:27
Stream Processing

Stream Processing 데이터 스트리밍 플랫폼은 이벤트와 프로세스를 수집하거나, 이벤트 스트림을 변환하며 이벤트 스트림 프로세싱은 데이터 스트림에서 패턴을 찾는데 사용될 수 있다. Flume https://flume.apache.org Welcome to Apache Flume — Apache Flume Welcome to Apache Flume Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming da..
Data Engineering 2022. 11. 1. 15:27
Event Streaming

Event Streaming 실시간 정보의 지속적인 흐름을 뜻하고, 데이터 세트에서 발생한 변경 사항 혹은 이벤트의 실행 로그로 표시되는 경우가 많이 있습니다. 종종 이벤트 기반 아키텍쳐 모델(이벤트 스트림처리:Apache Kafka, 단순 이벤트 처리: 소비자에게 즉각적인 트리거, 복합 이벤트 처리: 소비자가 패턴을 감지하기 위한 일련의 이벤트 처리)사용하여 데이터가 도착하는 즉시 처리한다. Kafka 개요 Apache Kafka는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼으로, 여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계되었습니다. 간단하게 말하면, A지점에서 B지점까지 이동하는 것뿐만 아니라 A지점에서 Z지점을 비롯해 필요..
Data Engineering 2022. 11. 1. 15:26
이전 Prev 1 2 Next 다음