브라우저

에이전트가 웹 페이지를 열고, 읽고, 확인합니다

에이전트는 작업 패널의 브라우저에서 자기 탭을 열고 페이지를 읽은 뒤 링크를 누르고 양식에 입력합니다. 누르고 입력하는 동작은 실행 전에 묻고, 내가 연 탭에서는 그런 동작을 매번 따로 묻습니다.

메인 영역의 브라우저가 Ridge Loop 상세 페이지로 이동해 있고, 옆 사이드 채팅에 browser snapshot과 browser navigate 단계, 그리고 페이지의 고도 값에 단위가 없다는 답이 보이는 화면
메인 영역의 브라우저에 트레일 목록 페이지가 열려 있고, 사이드 채팅이 browser snapshot으로 목록을 읽은 뒤 browser_navigate 승인을 요청하는 화면

에이전트의 도구

페이지를 텍스트로 읽고, 요소를 짚어서 다룹니다

에이전트는 화면 좌표가 아니라 페이지의 접근성 구조를 읽습니다. 버튼과 입력란에 붙은 참조로 무엇을 누를지 정확히 짚습니다.

  • browser_snapshot은 페이지를 접근성 구조로 읽습니다. 최대 50,000자이며 요소마다 [ref=e12] 같은 참조가 붙습니다.
  • browser_click, browser_type, browser_press_key는 참조로 짚은 요소를 누르고, 입력하고, Enter·Tab·화살표 같은 키를 보냅니다.
  • browser_navigate는 http와 https 주소만 열고, 다른 사이트로 넘기는 리다이렉트는 따라가지 않습니다.
  • browser_wait는 글자가 나타날 때까지, 또는 최대 30초까지 기다립니다.
  • browser_tabs, browser_tab_new, browser_tab_close로 대화가 열린 창의 탭을 보고 열고 닫습니다. 내가 연 탭도 여기에 포함됩니다. 루틴과 헤드리스 실행에는 브라우저가 없습니다.

안전 장치

누구의 탭인지에 따라 다르게 묻습니다

승인 창은 페이지 주소와 함께 그 탭을 누가 열었는지 적습니다. 페이지에서 읽어 온 내용은 신뢰할 수 없는 웹 데이터로 표시되어 모델에 전달됩니다.

browser_click 승인 창. 에이전트가 연 탭의 페이지이며 Ave를 다시 시작할 때까지 이 사이트에서 허용한다는 안내

에이전트가 연 탭

‘이번 세션 동안 허용’은 사이트별로 Ave를 다시 시작할 때까지만 유지됩니다. 항상 허용은 없습니다.

browser_tab_new 승인 창. 네트워크 범주, 열려는 페이지 주소, 거절과 허용 버튼

새 탭을 여는 것도 확인

browser_tab_new는 네트워크 동작으로 분류되어, 어느 주소를 열려는지 보여 주고 승인을 받습니다.

메인 영역에 trail-notes 미리보기 웹 패널과 터미널이 나란히 열린 화면

메인 영역의 웹 패널

사이드 패널에서 연 페이지를 메인 영역으로 옮기면 웹 패널이 됩니다. 페이지 상태는 옮겨도 유지됩니다.

대화 옆 작업 패널의 브라우저 탭에 trail-notes 미리보기가 열린 화면

작업 패널의 브라우저

주소창 하나와 방문한 사이트 목록이 함께 있습니다. 목록은 요청함, 결과에서 같은 출처 표시를 붙입니다.

읽는 방법도 고릅니다

조작할 수 있는 것만

스냅숏은 링크, 버튼, 입력란처럼 사람이 조작할 수 있는 요소만 평평한 목록으로 줄 수 있습니다.

바뀐 부분만

같은 탭을 다시 읽을 때는 이전 스냅숏 뒤에 바뀐 부분만 받아, 긴 페이지를 처음부터 다시 읽지 않습니다.

지시가 아니라 데이터

페이지에서 읽은 글은 사이트 운영자가 쓴 데이터로 표시되어, 페이지 안에 적힌 지시를 따르지 않습니다.

자주 묻는 질문

에이전트가 내가 로그인해 둔 탭을 마음대로 쓸 수 있나요?

내가 연 탭에서 누르기, 입력, 키 누르기, 이동, 닫기는 어떤 권한 모드에서든 매번 묻고 기억되지 않습니다. 물어볼 사람이 없으면 거부됩니다. 그 탭을 읽거나 캡처하는 것은 네트워크 동작으로, 사이트별로 이번 세션 동안 한 번 묻고 ‘모두 허용’에서는 묻지 않습니다.

비밀번호도 입력하나요?

아니요. 에이전트는 비밀번호, 결제 카드, 일회용 코드 입력란에는 입력하지 않습니다.

승인 창이 떠 있는 동안 페이지가 바뀌면요?

그 동작은 아무것도 하지 않습니다. 에이전트가 다시 시도하면 바뀐 페이지를 기준으로 다시 묻습니다.

에이전트가 일하는 동안 제가 페이지를 만지면요?

에이전트는 동작하는 순간에만 페이지 포커스를 잡고 바로 돌려줍니다. 탭의 중지 버튼을 누르거나 페이지를 직접 누르고 입력하면 대기 중인 동작이 멈춥니다.

열 수 없는 주소는 어떻게 되나요?

http나 https가 아니거나 주소에 자격 증명이 들어 있으면 승인 창을 띄우지 않고 바로 거부합니다.

화면을 캡처할 수도 있나요?

네. browser_screenshot은 탭에 보이는 화면을 캡처합니다. 텍스트 개요만으로 부족할 때 씁니다.

루틴에서도 브라우저를 쓸 수 있나요?

아니요. 루틴과 헤드리스 실행에는 브라우저 도구가 주어지지 않습니다.

이어서 읽기