[Project] 프로젝트 삽질기54 (feat 검색 로그 구축 4)

들어가며

저번 글에서 적재한 로그 데이터를 분석하기 위한 방식에 대해 알아봤습니다. 이번 글에서는 추출한 데이터를 시각화하는 방식에 대해 정리해보려 합니다. 바로 시작하겠습니다. 

 

 

 

 

 

---

 

 

 

 

 

데이터 시각화

데이터 시각화는 위처럼 구성했습니다. Athena를 활용하여 데이터를 조회하고, 조회한 데이터를 QuickSight에서 시각화하는 방식을 구성했습니다. 그럼 QuickSight로 어떻게 데이터를 시각화하는지에 대해 알아보겠습니다.

 

 

 

 

 

 

---

 

 

 

 

 

 

 

QuickSight

QuickSight는 AWS에서 제공하는 serverless managed BI 상품입니다. 여기서 BI란, Business Intelligence의 줄임말로, 데이터를 통합하고 분석해서 기업 활동에 연관된 의사결정을 돕는 프로세스입니다.

QuickSight를 사용하여 특정 데이터에 대한 시각화 대시보드를 생성하고, 다른 사용자와 공유할 수 있습니다. 뿐 만 아니라 QuickSight를 사용하면 다양한 데이터에 쉽게 연결하고 빠르게 시각화가 가능합니다. 

 

그럼 먼저 QuickSight를 구축하는 방식에 대해 알아보겠습니다.

 

먼저 QuickSight 콘솔로 이동합니다. 

 

 

 

들어가면 위와 같은 화면을 볼 수 있습니다. 사용을 하려면 QuickSight에 가입해야 하기 때문에, Sign up for QuickSight 버튼을 클릭합니다.

 

 

 

요금을 잘 살펴보고, 상황에 맞는 에디션을 선택해 주시면 되는데요. 우리는 Enterprise급 에디션을 사용하지 않고 스탠다드 에디션을 사용하기 위해 왼쪽 하단의 여기 버튼을 클릭합니다. 

 

그 후 지역은 Asia Pacific을 선택하고, QuickSight 계정 이름은 여러분들의 고유한 이름을 설정합니다. (중복될 경우 계정이 생성되지 않는 특징이 있습니다) 그 후 알림 이메일 주소는 여러분들의 주소를 입력하고, QuickSight에서 Athena에 접근할 수 있어야 데이터 분석 환경을 구축할 수 있기에 Amazon Athena를 선택하고 완료 버튼을 클릭합니다. 

 

 

 

 

성공적으로 QuickSight를 생성했다면, 데이터 시각화를 진행할 데이터 세트를 추가하기 위해 왼쪽 데이터 세트를 클릭한 후, 우측 상단의 새 데이터 세트 버튼을 클릭합니다.

 

 

 

 

다양한 데이터를 불러올 수 있지만, 그중에서 저희는 Athena를 선택하여 추가해 줍니다. 

 

 

 

 

데이터 원본은 임의로 search라고 입력하고, Athena Workgroup을 primary로 선택합니다. 

 

 

 

 

 

그 후, 카탈로그와 데이터베이스를 선택한 후, 테이블을 선택합니다. 그 후 데이터 편집/미리 보기를 클릭합니다.  

 

 

 

그럼 위와 같이 Athena에서 도출한 데이터를 모두 가져올 수 있는데요! 이렇게 데이터를 가져왔다면 

 

 

 

 

 

 

우측 상단의 데이터 추가 버튼을 클릭합니다. 이 과정을 통해 QuickSight 대시보드에 보여줄 데이터를 추가했습니다. 그럼 이제 대시보드에 데이터를 시각화해 보겠습니다.

 

 

 

 

대시보드에 출력하기 위해 먼저 왼쪽의 분석 버튼을 클릭한 후, 우측 새 분석 버튼을 클릭합니다. 

 

 

 

그럼 Athena를 연결하여 만든 데이터 세트가 출력될 것입니다. 이를 클릭해 줍니다.

 

 

 

 

그 후 데이터 세트에 대한 자세한 내용이 나오는데, 우측 상단의 분석에 사용 버튼을 클릭하여 시각화를 위한 준비를 합니다.

 

 

 

 

 

그럼 위와 같이 시트를 선택하는 화면이 나오는데, 대화형 시트를 클릭하고 생성 버튼을 클릭합니다. 

 

 

 

 

 

이런 화면이 나올 텐데, 여기서 day 필드를 AutoGraph 안에 넣어주겠습니다.

 

 

 

 

 

그럼 자동으로 위와 같이 day의 데이터를 기준으로 데이터가 자동으로 시각화되는 것을 볼 수 있습니다. 위의 예시 말고도, QuickSight의 필드 목록에 있는 데이터를 기준으로 여러분들이 시각화하고 싶은 데이터를 자유롭게 조합한다면 다양한 데이터를 시각화할 수 있을 것입니다.

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

 

 

 

마치며

지금까지의 글을 통해 여러분들은 실시간으로 쌓이는 로그 데이터를 적재하고, 추출하며, 분석을 위해 시각화하는 과정을 아주 간단히 살펴봤습니다. 데이터 ETL 과정을 처리하며 비즈니스에 도움이 될 수 있는 개발을 하려면 다양한 분야의 지식을 알아야 한다는 것을 배웠습니다. 비즈니스에 도움이 될 수 있는 개발을 할 수 있는 개발자가 되기 위해 앞으로도 노력하겠습니다. 긴 글 읽어주셔서 감사합니다. 

 

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

출처

Workshop Studio