목록SPARK (1)

AI & Data를 활용하는 기술경영자

빅데이터 처리(Spark & Hadoop)

패스트캠퍼스의 한 번 끝내는 빅데이터 처리 with Spark & Hadoop강의를 듣고 정리를 했습니다 빅데이터의 탄생 배경 수없이 들은 빅데이터, 이것이 왜 중요할까요? 아마, 이 예시를 보면 알 수 있을 것입니다. Google 570만의 검색 Facebook 24만 건의 사진 공유 Amazon 사용자가 28만 달러 어치 구매 slack 15만 간의 메시지 전송 Twitter 57만 건의 트윗 Tiktok 1억 6천만 건 이상의 비디어 시청 위의 표는 분당 발생하는 데이터의 수입니다. 이 데이터가 하루에 쌓이는 양, 한 달에 쌓이는 양, 연간 쌓이는 양은 어마무시 할 것입니다. 그러나, 기존의 방식대로 한다면 대량의 데이터를 수집, 저장, 분석 그리고 처리를 할 수 없습니다. 그러나, 저 데이터 안에..
Data Engineering 2022. 10. 19. 14:49
이전 Prev 1 Next 다음