support ZhipuAI/cogagent-9b-20241220

[Jintao-Huang]

https://github.com/THUDM/CogAgent/tree/main/finetune

自定义数据集格式:

[
  {
  "messages": [
    {
      "role": "user",
      "content": "Task: 在系统设置的桌面与程序坞部分，开启调度中心板块中“显示器具有单独空间”的选项\n(Platform: Mac)\n(Answer in Action-Operation-Sensitive format.)\nHistory steps: \n0. CLICK(box=[[588,946,616,985]], element_info='系统设置')\t点击屏幕下方的“系统设置”菜单，从而打开系统设置\n1. CLICK(box=[[227,561,297,585]], element_info='桌面与程序坞')\t点击左侧菜单中的“桌面与程序坞”选项，进入桌面与程序坞的设置界面。\n2. SCROLL_DOWN(box=[[367,39,691,929]], step_count=75, element_info='滚动')\t在当前屏幕的右侧滚动区域中，向下滚动以查看更多选项。\n"
    },
    {
      "role": "assistant",
      "content": "Action: 点击“调度中心”板块中的“显示器具有单独空间”选项，从而开启该功能。\nGrounded Operation:CLICK(box=[[655,842,671,857]], element_info='“显示器具有单独空间”的开关按钮')\n<<一般操作>>"
    }
  ], "images": ["images/0000000000336.png"]
},
{
  "messages": [
    {
      "role": "user",
      "content": "Task: 通过启动台打开系统设置，导航到“网络”部分，将DNS设置手动IP地址为8.8.4.4。\n(Platform: Mac)\n(Answer in Action-Operation-Sensitive format.)\nHistory steps: \n0. CLICK(box=[[7,6,27,31]], element_info='苹果标志')\t点击屏幕左上角的“苹果”图标，以便打开系统设置。\n1. CLICK(box=[[3,77,161,99]], element_info='系统设置…')\t点击屏幕左上角菜单栏中的“系统设置…”选项，以打开系统设置界面。\n2. CLICK(box=[[7,478,125,512]], element_info='网络')\t点击左侧菜单中的“网络”选项，进入网络设置界面。\n3. CLICK(box=[[155,217,459,270]], element_info='Wi-Fi, 已连接')\t点击屏幕中间偏上的“Wi-Fi”选项，进入Wi-Fi设置界面。\n4. CLICK(box=[[405,280,447,296]], element_info='详细信息…')\t点击Wi-Fi名称旁边的“详细信息…”按钮，以查看当前Wi-Fi的详细信息。\n5. CLICK(box=[[27,344,45,362]], element_info='DNS')\t点击左侧菜单中的“DNS”选项，进入DNS设置界面。\n6. CLICK(box=[[166,308,442,399]], element_info='8.8.8.8')\t点击DNS服务器地址输入框，准备输入新的DNS服务器地址。\n7. TYPE(box=[[163,308,443,322]], text='8.8.4.4', element_info='ip地址输入框')\t在DNS服务器地址输入框中输入8.8.4.4，以设置手动IP地址。\n8. CLICK(box=[[410,636,440,651]], element_info='好')\t点击界面右下角的“好”按钮，以确认并保存DNS设置的更改。\n"
    },
    {
      "role": "assistant",
      "content": "Action: 已经完成了“通过启动台打开系统设置，导航到‘网络’部分，将DNS设置手动IP地址为8.8.4.4”这一任务，执行结束。\nGrounded Operation:END()\n<<END>>"
    }
  ], "images": ["images/0000000000482.png"]
}
]