AI 에이전트가 가격표 앞에서 멈추는 순간, 검색 순위보다 먼저 탈락한다

고객이 AI에게 “이 서비스의 가격과 차이점을 비교해줘”라고 묻는 순간, 당신의 홈페이지는 검색 결과의 파란 링크가 아니다. 에이전트가 직접 들어가 읽고, 비교하고, 다음 버튼을 누를 수 있어야 하는 작업 화면이다. 가격이 PDF 안에만 있거나, 핵심 설명이 JavaScript가 실행된 뒤에야 나타나거나, 문의 폼의 목적이 모호하면 에이전트는 조용히 다음 후보로 이동한다. 우리는 탈락 사실조차 모른다.

외부 정보 (하베스터 수집) Semrush가 말하는 agentic readiness는 이 장면을 정확히 겨냥한다. AI 에이전트가 사이트에 도착해 콘텐츠를 이해하고, 가격 확인·폼 제출·구매 같은 과업을 끝낼 수 있는가의 문제다. 그래서 에이전틱 검색 최적화(ASO)는 “AI에게 잘 보이는 글”을 만드는 데서 끝나지 않는다. 읽히고, 비교되고, 행동으로 이어지는 페이지를 만드는 일이다.

Semrush의 점수는 목적지가 아니라 진단 순서다

Semrush의 가이드는 네 단계를 제안한다. Site Audit으로 크롤러 접근을 확인하고, 핵심 페이지를 정리하고, 구조화 데이터를 점검한 뒤, AI 가시성을 측정한다. 중요한 건 툴을 많이 켜는 것이 아니다. 에이전트가 발견하지 못하는 문제 → 이해하지 못하는 문제 → 행동하지 못하는 문제 순서로 좁혀 가는 것이다.

Semrush Site Audit의 AI Search Health 점수와 AI 검색 차단 페이지를 보여주는 화면
출처: Semrush, “How to optimize for agentic search with Semrush”. 점수 자체보다 어떤 페이지가 막혀 있는지와 왜 막혀 있는지를 먼저 확인한다.

1단계: 봇을 허용하기 전에, 중요한 URL부터 정하라

외부 정보 (하베스터 수집) Site Audit의 AI Search Health와 “Blocked from AI Search” 위젯은 robots.txt가 어떤 AI 크롤러와 페이지를 막는지 보여준다. Semrush는 Issues의 AI Search 필터에서 앵커 텍스트가 없는 링크, 내부 링크가 하나뿐인 페이지, 콘텐츠 최적화가 필요한 페이지 같은 문제도 확인하라고 안내한다. Log File Analyzer에서는 GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot의 실제 방문과 상태 코드까지 볼 수 있다.

여기서 흔한 실수는 “모든 봇을 허용하자”로 끝내는 것이다. 먼저 스프레드시트에 에이전트가 반드시 읽어야 할 URL을 적는다. 홈페이지, 제품·서비스 페이지, 가격표, 비교 페이지, FAQ, 데모·가입·문의 페이지다. 그 목록에 있는 URL이 200으로 응답하고, 메뉴나 내부 링크에서 도달 가능하며, 중요한 정보가 HTML에 보이는지 확인한다. 방문자에게 중요하지 않은 페이지를 고치는 일보다 이 목록을 먼저 만드는 편이 훨씬 싸다.

# 핵심 URL의 첫 점검
curl -I https://example.com/pricing
curl -s https://example.com/robots.txt

2단계: 핵심 페이지를 에이전트의 네 가지 질문으로 다시 읽기

On Page SEO Checker가 주는 추천 목록을 그대로 복사하기보다, 각 핵심 페이지에 다음 네 문장이 바로 답으로 이어지는지 본다.

  • 무엇을 제공하는가? 첫 화면에서 제품·서비스의 결과를 한 문장으로 말하는가.
  • 누구를 위한 것인가? 대상 고객과 사용 조건이 구체적인가.
  • 무엇이 다른가? 경쟁 제품과 비교할 기준이 문장이나 표로 드러나는가.
  • 다음 단계는 무엇인가? 가격 확인, 상담 신청, 가입 중 무엇을 해야 하는지 명확한가.

짧은 문단, 설명적인 헤딩, 불릿 목록은 AI를 위한 꼼수가 아니다. 사람이 스캔하기에도 좋고, 에이전트가 한 섹션을 독립적인 근거로 재사용하기에도 좋다. 반대로 정보를 탭·모달·PDF·스크립트 뒤에 숨기면 “정보가 없다”가 아니라 “확신할 수 없다”로 해석될 가능성이 커진다. 구매를 대신하는 에이전트에게 확신 부족은 곧 이탈이다.

Semrush AI Visibility Toolkit의 멘션·인용·인용 페이지를 보여주는 대시보드
출처: Semrush, “How to optimize for agentic search with Semrush”. AI 플랫폼에서 어떤 페이지가 실제로 인용되는지 확인하는 화면이다.

구조화 데이터와 llms.txt에 시간을 다 쓰지 말 것

외부 정보 (하베스터 수집) Semrush도 구조화 데이터가 AI 가시성에 미치는 영향은 아직 명확하지 않다고 선을 긋는다. 그래도 Product, Organization, LocalBusiness 같은 스키마를 유지할 이유는 있다. 검색 시스템이 브랜드·제품·관계를 이해하는 SEO 기반이기 때문이다. 단, 유효하지 않은 필드부터 고치는 것이지 스키마를 잔뜩 추가하는 것이 목표는 아니다.

더 중요한 브레이크도 있다. Google Search Central의 생성형 AI 검색 가이드는 Google Search가 llms.txt 같은 특수 파일을 사용하지 않는다고 명시한다. Semrush의 AI Search 이슈에 “llms.txt not found”가 보이더라도, 이를 Google 노출을 위한 필수 작업으로 오해하면 안 된다. 다른 시스템에서 활용할 목적이 있다면 만들 수 있지만, 먼저 보이는 HTML과 핵심 페이지의 명료성을 고친다. 도구의 체크리스트와 검색엔진의 공식 가이드를 같은 우선순위로 취급하지 않는 것이 실무 판단이다.

3단계: 노출량보다 “선택된 URL”을 측정하라

AI Visibility Toolkit의 Visibility Overview는 멘션, 인용, 인용된 페이지를 기준선으로 보여주고, Cited Pages에서는 어떤 URL이 실제 답변에 사용되는지 확인하게 해준다. 이 숫자가 곧 매출이나 검색 순위를 보장하는 것은 아니다. 대신 “우리가 중요하다고 생각하는 가격 페이지가 정말 인용되는가”, “경쟁자는 비교 질문에서 언급되는데 우리는 빠지는가”라는 다음 질문을 만든다.

이 측정이 있어야 콘텐츠 업데이트도 달라진다. 인용되는 페이지가 기능 설명뿐이라면 가격·조건·제한 사항을 같은 페이지에 보강한다. 브랜드는 언급되지만 공식 URL이 인용되지 않는다면 제3자 콘텐츠와 내부 페이지의 표현을 맞춘다. Semrush가 권하는 원본 콘텐츠와 YouTube·LinkedIn·업계 매체의 일관된 메시지는 이 간극을 줄이기 위한 작업이다.

오늘은 사이트 전체가 아니라, 한 페이지를 에이전트에게 맡겨 보라

도구 도입의 이득은 “AI SEO를 했다”는 배지가 아니다. 고객이 묻는 순간에 에이전트가 우리 페이지를 후보에서 제외하지 않고, 필요한 근거를 찾고, 다음 행동까지 안내하게 만드는 것이다. 그래서 첫 실행은 작을수록 좋다.

  1. 가장 중요한 가격·제품·문의 URL 하나를 정한다.
  2. Semrush Site Audit에서 크롤링 차단, 상태 코드, 내부 링크를 확인한다.
  3. 페이지를 열고 네 질문(무엇·누구·차이·다음 단계)에 한 문장씩 답을 배치한다.
  4. AI Visibility Toolkit의 Cited Pages에서 그 URL이 인용되는지 기준선을 남긴다.

이 네 단계를 끝낸 뒤에야 다음 페이지로 넘어간다. 오늘 Semrush를 열어 점수만 캡처하지 말고, 에이전트가 읽고 행동할 수 있는 URL 하나를 고쳐라. 당신의 사이트에서 가장 먼저 선택되어야 할 페이지가 무엇인지 댓글로 남기면, 그 페이지의 네 질문부터 함께 점검할 수 있다.

근거 출처

[외부 정보 (하베스터 수집)] 핵심 개념과 Semrush 기능 설명은 Luke Harsel·Christine Skopec의 Semrush 블로그 글 “How to optimize for agentic search with Semrush”(2026-05-01, 하베스터 수집본: how-to-optimize-for-agentic-search-with-semrush_202605141803.md, 큐레이션 점수 0.75)를 바탕으로 했다. 에이전틱 리드니스 정의, Site Audit의 AI Search Health·Blocked from AI Search, Log File Analyzer의 AI 봇 필터, 핵심 페이지의 네 가지 질문, On Page SEO Checker, 구조화 데이터, AI Visibility Toolkit과 Cited Pages에 관한 내용이 여기에 해당한다.

[외부 정보 (공식 문서 보강)] Google Search Central, “Optimizing your website for generative AI features on Google Search”의 공식 안내를 함께 참고했다. Google Search는 llms.txt 같은 특수 파일을 생성형 AI 검색 노출의 요건으로 사용하지 않으며, 기존 SEO·크롤링 가능성·사람에게 유용한 콘텐츠를 기반으로 한다는 설명을 반영했다.

[상호작용 (에이전트-드루 대화·작업)] 이 글은 특정 에이전트-드루 대화나 내부 작업 경험을 근거로 삼지 않았다. 실행 순서와 의견은 위 외부 자료를 바탕으로 한 편집·분석이다.

이 글은 humanerd.kr AI & TOOLS 필러의 외부 자료 기반 분석 초안이다.