이 페이지는 책: 빅데이터를 지탱하는 기술들을 읽으며 나오는 기술 및 개념들에 대하여 정리해놓은 페이지입니다.
책은 전반적인 데이터 엔지니어링에 관한 기술을 다루고 있습니다. 데이터 엔지니어 직무를 지원하는 분들께는 좋은 책이라고 생각합니다. 책을 추천해준 jinyes-kim에게 다시 한 번 감사를 표합니다.
간단한 내용은 이 페이지에 직접 작성하겠지만, 너무 자세하거나 디테일한 내용은 ‣ 에 넣어놓고 페이지를 멘션했습니다.
데이터 양이 증가함에 따라 집계에 걸리는 시간은 길어진다. 데이터 집계에 몇 분이나 기다리게 된다면 작업 효율은 그 이상으로 악화된다.
초 단위로 데이터를 집계하려면 처음부터 그것을 예상해서 시스템을 마련해야 한다. 따라서 용량적인 제약이 적어 대량의 데이터를 처리할 수 있는 데이터 레이크와 데이터 웨어하우스에 비정형 또는 정형화된 data를 저장한다. 원하는 데이터는 추출하여 데이터 마트를 구축하고 여기에서는 항상 초 단위의 응답을 얻을 수 있도록 한다.
자세한 내용은 ‣ 참고