← 全部技能

macos-desktop-control

v0.1.1

操作 macOS 桌面与应用界面:读无障碍元素树、点击按钮/菜单、填输入框、发文本与组合键、按窗口截图

底座 别的技能建在它上面 all

怎么装

Pipi install git:gitea.vhkd.top/pi-hub/macos-desktop-control@v0.1.1

装完跑 pi-skill macos-desktop-control check。

先准备什么

swiftc命令

截图/窗口原语的小工具需要编译;已编译过就不再需要

xcode-select --install(Command Line Tools)
shasum命令
macOS 自带(perl)

要先配什么

装完即用,不需要提前配置。

常用命令

check前置检查:权限与可达性(其它命令失败时先跑它)
apps正在运行的 GUI 应用
front当前前台应用
windows屏幕上所有窗口(含 CGWindowID)
tree无障碍元素树(= 原生 app 的 DOM)
find找元素,打印可直接使用的地址
get读元素属性(省略属性时列出全部属性与可用动作)
shot截图(默认前台应用窗口,默认写临时文件;--clipboard 直接进剪贴板,--no-shadow 去阴影并等同窗口几何)
ocr识别屏幕文字并给出屏幕坐标(AX 树为空的界面用它定位)
focus把应用切到前台
press会改状态按下元素
set会改状态写元素属性,写完回读
menu会改状态按标题路径点菜单
type会改状态输入任意文本(含中文)
key会改状态发组合键
win-state读窗口位置/尺寸/全屏/最小化/所在屏幕
win-place会改状态把窗口摆到指定区域(半屏/四角/三分之一/自定义比例)
win-screen会改状态把窗口移到另一块屏幕
win-fullscreen会改状态全屏开关
win-minimize会改状态最小化窗口
win-unminimize会改状态恢复被最小化的窗口
click会改状态点击坐标或元素中心
drag会改状态拖拽
scroll会改状态滚动
space-list列出各屏的桌面与当前所在
space-goto会改状态切换桌面
space-move会改状态把窗口移到别的桌面
volume会改状态读/设系统音量与静音
media会改状态发送系统媒体键(播放/暂停/上下曲);status 读当前谁在播
brightness会改状态读/设显示器亮度
clipboard会改状态读/写剪贴板文本;--image <文件> 写图片、--out <文件> 存出剪贴板里的图、--info 只看类型
wifi会改状态读/开关 Wi-Fi
screen-list列出显示器几何与可视区
input-source会改状态读/列/切换输入法