본문 바로가기

삽질(에러)기록

2021-10-23 삽질기록

Data Engineering & Analytics Courses  |  Google Cloud Training

 

Data Engineering & Analytics Courses  |  Google Cloud Training

Get started with big data engineering. Learn how to use data to gain real-time insights that improve your decision-making. Accelerate innovation by designing data processing systems with Google Cloud.

cloud.google.com

vs

 

Google Cloud to train more than 40 million with cloud skills | Google Cloud Blog

 

Google Cloud to train more than 40 million with cloud skills | Google Cloud Blog

To help more than 40 million people build cloud skills, Google Cloud is offering limited time no-cost access to all training content

cloud.google.com

 

구글에서 두가지 방법을 추천해서, 두개가 머가 다른지 찾아봄.

 

겹치면서, 약간씩 다른 부분이 존재

(Apache Beam설명, compute engine 설명)

 

 

2.Cloud SQLvs BigQuery의 anlaytic에 대한 차이ㅣ점을 알기위해서

 

data lake vs data warehouse site:cloud.google.com
삭제
complex query site:cloud.google.com
삭제
complex analy site:cloud.google.com
삭제
rdbms vs data warehouse site:cloud.google.com
삭제
cloudsql analy site:cloud.google.com
삭제
cloudsql query site:cloud.google.com
삭제
transactional site:cloud.google.com
삭제
transaction database:cloud.google.com
삭제
cloud sql vs bigquery site:cloud.google.com
삭제
cloud sql query site:cloud.google.com
삭제

 

이러한 검색과정 후 

여기서,

What Are Transactional Databases?  |  Google Cloud

 

 

What is a Data Lake?  |  Google Cloud

 

데이터 레이크란?  |  Google Cloud

데이터 레이크는 대량의 데이터를 저장, 처리, 보호하는 저장소입니다. 데이터 레이크는 기업이 비용을 절감하고, 데이터를 관리하고, AI를 사용할 수 있게 해줍니다.

cloud.google.com

이 두링크로 결론냄

 

3.nested repeatedd fields in Bigquery

 

How to perform joins and data denormalization with nested and repeated fields in BigQuery | Google Cloud Blog

 

Cloud Firestore explained: for users who never used Firestore before | Google Cloud Blog

 

order_id가 database에서 여러번 등장한다는 사실을 받아들이기 까지 오래걸림, 예시를 먼저봣어야함

4.realtional database vs non relational database

 

Your Google Cloud database options, explained | Google Cloud Blog

Cloud Firestore explained: for users who never used Firestore before | Google Cloud Blog

 

5.Distant supervision

이미 database에 존재하는 label만 생성이 가능하다해서, 모르는 새로운 label을 생성 가능한가?
약간 supervised learning의 컨셉을 벗어난거같다.

처음 보는 label이면 데이터베이스에 추가하면 된다.

'삽질(에러)기록' 카테고리의 다른 글

2021-10-27 error logging  (0) 2021.10.27
2021-10-24 my digging record  (0) 2021.10.24