250x250
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- SPARK
- Kaggle #EDA #Regression
- GCP
- kaggle
- Kaggle_Transcripition
- fastcampus
- regression
- lazypredict
- 경제신문스크랩
- e-commerce
- Algorithm_A/B_Test
- Hadoop
- Data_Engineering
- Soft_skills
Archives
- Today
- Total
목록Data_Engineering (1)
AI & Data를 활용하는 기술경영자
빅데이터 처리(Spark & Hadoop)
패스트캠퍼스의 한 번 끝내는 빅데이터 처리 with Spark & Hadoop강의를 듣고 정리를 했습니다 빅데이터의 탄생 배경 수없이 들은 빅데이터, 이것이 왜 중요할까요? 아마, 이 예시를 보면 알 수 있을 것입니다. Google 570만의 검색 Facebook 24만 건의 사진 공유 Amazon 사용자가 28만 달러 어치 구매 slack 15만 간의 메시지 전송 Twitter 57만 건의 트윗 Tiktok 1억 6천만 건 이상의 비디어 시청 위의 표는 분당 발생하는 데이터의 수입니다. 이 데이터가 하루에 쌓이는 양, 한 달에 쌓이는 양, 연간 쌓이는 양은 어마무시 할 것입니다. 그러나, 기존의 방식대로 한다면 대량의 데이터를 수집, 저장, 분석 그리고 처리를 할 수 없습니다. 그러나, 저 데이터 안에..
Data Engineering
2022. 10. 19. 14:49