Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

增加根据xml的clickable属性判断是否可以点击 #30

Open
wants to merge 1 commit into
base: main
Choose a base branch
from

Conversation

kx-kexi
Copy link

@kx-kexi kx-kexi commented Jul 1, 2024

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选,可以让手机控制更加精准

@junyangwang0410
Copy link
Collaborator

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选,可以让手机控制更加精准

您好。如果使用的是安卓手机,是可以通过XML提升定位准确率的。但这种方法不适用于所有平台的手机。我们希望Mobile-Agent能面向手机GUI而不仅仅是特定的操作系统,因此采用了全平台通用的纯视觉方案。

@kx-kexi
Copy link
Author

kx-kexi commented Jul 2, 2024

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选,可以让手机控制更加精准

您好。如果使用的是安卓手机,是可以通过XML提升定位准确率的。但这种方法不适用于所有平台的手机。我们希望Mobile-Agent能面向手机GUI而不仅仅是特定的操作系统,因此采用了全平台通用的纯视觉方案。

可以开个分支专用于安卓手机,因为这种手机界面相同的文字的情况并不算少,结合xml文件和视觉效果会更好

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

None yet

2 participants