GCP Data Engineer 课程

Google Cloud Professional Data Engineer 考试验证在 Google Cloud 上设计、构建和运营数据系统的能力。数据存储与处理从选择正确服务开始。BigQuery 是无服务器分析仓库，Cloud Storage 存储对象，Pub/Sub 传递消息，Dataflow 处理批量和流式数据。Dataproc 运行托管 Spark 和 Hadoop，Bigtable 提供低延迟 NoSQL，Cloud SQL 提供托管关系数据库，Firestore 是文档数据库，Spanner 提供全球分布式关系数据。工程师根据延迟、一致性、规模和查询模式选择存储。 复习时把存储、管道、ML、安全和架构工具做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。

数据管道移动和转换数据。Dataflow 为批量和流式构建 ETL 管道，Cloud Composer 使用 Airflow 编排工作流，Dataproc 可以为 Spark 作业运行临时集群。Cloud Scheduler 运行计划作业，Cloud Functions 响应事件，Pub/Sub 订阅传递消息。Cloud Storage 触发器在对象变化时启动函数，Dataflow 模板让管道可复用，BigQuery 加载作业导入数据。工程师设计具有重试、监控和明确所有权的幂等管道。 复习时把存储、管道、ML、安全和架构工具做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。

机器学习和分析把数据转化为洞察。BigQuery ML 使用 SQL 创建模型，Vertex AI 提供端到端 ML 平台，Looker Studio 构建仪表板，笔记本支持数据科学。工程师把数据分为训练集和评估集，为大型工作负载使用批量预测，并把特征存储在特征存储中。模型注册表管理版本，超参数调优寻找更好设置。Data Engineer 构建可靠管道，为分析和 ML 系统提供数据。 复习时把存储、管道、ML、安全和架构工具做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。

安全与合规在整个数据生命周期中保护数据。Cloud IAM 控制权限，Cloud KMS 管理加密密钥，Cloud DLP 保护敏感数据。VPC Service Controls 创建安全边界，客户托管密钥让组织控制密钥，保留策略管理数据生命周期。Cloud Audit Logs 记录活动，组织策略强制执行约束，私有连接保持流量内部。工程师应用最小权限、加密、数据分类和审计跟踪。 复习时把存储、管道、ML、安全和架构工具做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。

可靠数据系统平衡性能、成本和治理。Cloud Monitoring 收集指标和告警，Cloud Logging 存储日志，配额限制使用，生命周期规则管理保留。预算告警控制成本，区域支持可用性，重试策略处理失败。架构选择包括批量和流式、分区和聚簇以提高效率、模式演变、数据湖与仓库、星型模式、数据治理和 Data Catalog 元数据。工程师尽可能设计精确一次语义并记录权衡。 复习时把存储、管道、ML、安全和架构工具做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。