Azure Data Engineer DP-203 基础课程
系统化的 Microsoft DP-203 课程，覆盖存储、转换、管道、安全、监控与 Synapse，并配有练习题。
课程进度
0 / 5
返回课程
你将学到
- 描述存储与数据摄取。
- 解释转换与管道。
- 描述安全与治理。
- 解释监控与优化。
- 描述 Synapse 与分析。
开始前准备
- 具备 Azure 数据基础知识会有帮助。
- 建议具备一些 SQL 和 Python 经验。
- 无需之前的 Azure 数据认证。
课程 1 存储与数据摄取
Azure Data Engineer Associate DP-203 考试验证设计和实现数据解决方案的技能。Azure Blob Storage 和 Azure Data Lake Storage 存储原始和处理后的文件。Azure Event Hubs 摄取流事件，Azure IoT Hub 摄取设备遥测。Azure Data Factory 编排源和目标之间的复制活动。数据湖以原生格式存储原始数据，ELT 表示提取、加载然后转换。分区键分布数据以实现扩展，托管身份减少凭据处理。数据工程师为批处理和流工作负载设计摄取，仔细选择源、目标和格式。 复习时把 Azure 数据服务、管道概念和 Synapse 组件做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。
示例
示例：IoT Hub 收集传感器数据，Event Hubs 缓冲流事件，Data Factory 把批处理文件复制到 Azure Data Lake Storage。课程 2 数据转换与管道
数据转换把原始数据变成可分析数据。Azure Databricks 运行 Apache Spark 笔记本，Synapse SQL 运行关系转换，映射数据流在 Data Factory 中提供可视化 ETL。事实表存储可测量事件，维度表存储描述性属性，窗口函数在相关行上聚合。Azure Data Factory 管道包含活动，触发器按计划或事件启动运行。链接服务定义连接，数据集描述数据结构。检查点让流作业恢复，幂等设计允许安全重跑。数据工程师根据数量、延迟和团队技能选择转换。 复习时把 Azure 数据服务、管道概念和 Synapse 组件做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。
示例
示例：管道使用映射数据流清理销售数据，笔记本添加特征，Synapse SQL 加载星型架构。课程 3 安全与治理
数据安全保护静态、传输中和使用中的数据。Azure Key Vault 存储机密、密钥和证书，托管身份让服务无需存储凭据即可认证。静态加密保护存储数据，TLS 保护传输数据。私有端点把流量保留在虚拟网络内，动态数据掩码隐藏查询结果中的敏感值。Microsoft Purview 对资产编目、跟踪沿袭并分类数据。Azure RBAC 控制权限，审计日志记录活动。数据工程师必须应用最小权限、使用私有网络并记录治理，让数据保持安全和合规。 复习时把 Azure 数据服务、管道概念和 Synapse 组件做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。
示例
示例：管道使用托管身份，通过私有端点连接，把凭据存储在 Key Vault，并在查询中掩码敏感列。课程 4 监控与优化
监控与优化让数据解决方案可靠且经济高效。Azure Monitor 从管道和资源收集指标、日志和警报。指标是数值测量，日志记录事件，警报在条件满足时通知团队。诊断设置把日志路由到 Log Analytics、存储或 Event Hubs。成本优化使用预算、建议和热/冷等存储层。查询性能见解识别慢查询，容量规划为需求调整计算规模。数据工程师应定义服务级别目标、监控管道运行并定期审查成本报告。 复习时把 Azure 数据服务、管道概念和 Synapse 组件做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。
示例
示例：数据工程师为失败的管道运行创建警报，使用诊断设置把日志发送到 Log Analytics，并查看月度预算报告。课程 5 Synapse 与分析
Azure Synapse Analytics 统一数据仓库、大数据和编排。Synapse 工作区包含 SQL 池、Spark 池、管道和链接数据。专用 SQL 池提供预配仓库计算，无服务器 SQL 池按需查询文件。Spark 池运行大规模 Scala、Python 和 SQL 处理。Synapse 管道编排数据移动，湖数据库为数据湖文件定义架构。数据流提供可视化转换。Synapse 连接 Data Lake Storage、Event Hubs 和许多其他源，是中央分析平台。数据工程师设计星型架构、分区数据，并根据工作负载选择 SQL 或 Spark。 复习时把 Azure 数据服务、管道概念和 Synapse 组件做成卡片，每天快速回忆，再完成几道同类题巩固。错题要写出正确推理，并把最弱主题放在每周练习的最前面。