《AI机器人控制进阶教程（入门版）》阅读指引

一、为何要学习“AI+机器人”？

在开始动手实验前，理解“AI”与“机器人”结合的价值至关重要。这不仅是技术的融合，更是开启智能体（Agent）未来的钥匙。

1. 从自动化到智能化

传统机器人依赖于精确的预编程，只能在结构化环境中工作。AI的引入（如计算机视觉、自然语言处理），赋予机器人感知、理解和决策的能力，使其能适应开放、动态的真实世界。

2. 解决复杂任务的核心

本课程的终极目标——“按颜色自动分类积木”——单一技术无法完成。它需要视觉（识别）、决策（规划）、控制（执行）的协同，这正是AI与机器人系统深度融合才能解决的典型问题。

3. 前沿技术与职业方向

“AI+机器人”是智能制造、智慧物流、服务机器人等领域的核心技术。掌握此项技能，意味着您将站在机器人工程师、AI算法工程师、智能系统集成师等前沿岗位的起点。

本课程的体现：您将亲身体验AI如何赋能机器人：

• • 让控制更直观：在实验09中，使用“拿起红色积木”这样的自然语言直接指挥机械臂，背后是视觉语言模型（VLM）在理解您的意图。
• • 让感知更智能：在实验05-07中，为机器人装上“眼睛”，通过OpenCV和手眼标定，让它能“看见”并定位物体。
• • 探索前沿：实验11的具身智能实验，让您初步接触让AI模型拥有“身体”、通过交互进行学习的更高级形态。

二、课程总览：您将开启怎样的学习之旅？

本课程是一个从零开始、手脑并用的实践指南。通过11个递进式实验，您将完整走完“传统控制 → 仿真与强化学习 → 视觉语言模型（VLM）应用”的技术演进路径，最终构建一个能听、会看、能执行的智能机械臂系统。

核心学习闭环

感知（视觉）→ 决策（规划/AI）→ 执行（控制）

十个核心实验构成了您的学习阶梯：

第一阶段：基础唤醒与控制（实验1-4）

• •实验1：硬件连接、校准与单关节控制——让机械臂“动起来”。
• •实验2-3：正/逆运动学——掌握关节角度与末端位置互相推算的核心数学原理。
• •实验4：轨迹规划——实现末端执行器的平滑直线运动。

第二阶段：视觉感知与空间映射（实验5-7）

• •实验5：视觉接入与颜色识别——为机器人装上“眼睛”。
• •实验6-7：逆透视变换与手眼标定（眼在手外/眼在手上）——实现从图像像素坐标到机器人三维空间坐标的精准转换，这是视觉控制的基础。

第三阶段：智能应用与综合任务（实验8-10）

• •实验8：Gazebo仿真——在虚拟世界中安全地演练和验证算法。
• •实验9：VLM自然语言控制——用日常语言指挥机械臂，体验最直观的人机交互。
• •实验10：综合任务：积木分类——整合所有知识，完成一个完整的智能任务。

拓展探索（实验11）

• •实验11：具身智能实验：进阶内容，初步体验数据采集、模型训练，让机械臂具备一定的自主学习能力。

三、开始前，请务必确认您的准备

为了顺利开始这段旅程，请确保您已做好如下准备：

硬件准备（必须）

• • 地瓜派X5/地瓜派S100 开发板
• • Lerobot 6自由度机械臂
• • USB摄像头
• • 标定板（棋盘格）
• • 彩色积木（红、蓝、绿各色等）

软件与环境准备（必须）

• •操作系统：强烈推荐使用Ubuntu（实验示例和指令均基于此系统）。
• •核心软件：需要安装 Conda（管理Python 3.8+环境）、ROS2（机器人操作系统）、VS Code（代码编辑）以及课程专用的 Lerobot库。
• •环境搭建：请严格按照《补充：编译环境搭建.docx》和《ROS环境搭建教程.docx》的步骤进行操作。

知识与技能基础（重要）

• •编程基础：掌握基础的Python语法（用于大部分视觉和AI实验）和C/C++基础语法（用于理解底层驱动和MoveIt2相关代码）。
• •核心概念：理解三维坐标系（X, Y, Z轴）和角度（弧度制）的概念，这是理解机械臂运动的基础。
• •工具使用：对Linux终端命令有基本了解，能够进行文件操作、运行程序等。

四、核心学习建议与提醒

• •严格按顺序学习：实验设计环环相扣。例如，不理解运动学（实验2-3）就无法进行轨迹规划（实验4）；不掌握手眼标定（实验6-7），就无法实现精准的视觉抓取（实验10）。请勿跳步。
• •动手实践是关键：机器人学是实践的科学。务必亲自动手连接硬件、运行代码、观察现象并尝试修改参数和指令。理论只有通过实践才能内化。
• •善用实验文档：每个实验都有对应的详细操作文档（如《实验01-1-硬件校准与简单控制.docx》），其中包含了实验原理、步骤、代码和常见问题，是您最重要的“实验手册”。遇到问题时，首先回顾文档。
• •理解核心思想：请时刻思考“坐标转换”这一核心思想——它贯穿于从关节角度到末端位置（运动学）、从图像像素到空间坐标（视觉）、从语言指令到动作参数（AI）的整个过程。
• •注意安全：在操作真实机械臂时，注意其运动范围，避免夹伤或碰撞。在仿真环境（实验8）中可大胆尝试。