AI для SEO: LLM в анализе и оптимизации сайта

import anthropic
import json

client = anthropic.Anthropic()

def cluster_keywords(keywords: list[str]) -> dict:
    prompt = f"""
Вот список ключевых слов для сайта веб-студии:
{chr(10).join(keywords)}

Сгруппируй их по смысловым кластерам.
Для каждого кластера:
- название кластера
- интент (информационный/транзакционный/навигационный)
- список ключей

Верни JSON без пояснений.
"""
    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=4096,
        messages=[{"role": "user", "content": prompt}]
    )
    return json.loads(response.content[0].text)

import anthropic
import csv

client = anthropic.Anthropic()

def generate_meta(url: str, page_title: str, content_snippet: str) -> dict:
    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=256,
        system="""Ты SEO-специалист. Пишешь мета-теги для русскоязычных сайтов.
Title: до 60 символов, ключевое слово ближе к началу.
Description: 140-160 символов, призыв к действию, уникальное преимущество.""",
        messages=[{
            "role": "user",
            "content": f"""URL: {url}
Заголовок страницы: {page_title}
Текст страницы (фрагмент): {content_snippet[:500]}

Верни JSON: {{"title": "...", "description": "..."}}"""
        }]
    )
    return json.loads(response.content[0].text)

# Читаем из CSV, пишем результат
with open("pages.csv") as f, open("meta_output.csv", "w") as out:
    reader = csv.DictReader(f)
    writer = csv.DictWriter(out, fieldnames=["url", "title", "description"])
    writer.writeheader()

    for row in reader:
        meta = generate_meta(row["url"], row["title"], row["content"])
        writer.writerow({"url": row["url"], **meta})
        print(f"Done: {row['url']}")

import httpx
from bs4 import BeautifulSoup
import anthropic

client = anthropic.Anthropic()

def analyze_competitor(url: str, target_query: str) -> dict:
    # Получаем текст страницы
    r = httpx.get(url, headers={"User-Agent": "Mozilla/5.0"}, timeout=15)
    soup = BeautifulSoup(r.text, "lxml")

    # Убираем навигацию, футер, скрипты
    for tag in soup(["script", "style", "nav", "footer", "header"]):
        tag.decompose()

    text = soup.get_text(separator="\n", strip=True)[:6000]

    response = client.messages.create(
        model="claude-opus-4-5",
        max_tokens=1024,
        messages=[{
            "role": "user",
            "content": f"""Запрос: "{target_query}"
URL: {url}

Текст страницы:
{text}

Проанализируй и верни JSON:
{{
  "h1": "заголовок страницы",
  "structure": ["список H2 заголовков"],
  "covered_topics": ["темы, которые раскрыты"],
  "missing_topics": ["важные темы, которые НЕ раскрыты"],
  "content_depth": "поверхностный/средний/глубокий",
  "word_count_estimate": 1500
}}"""
        }]
    )
    return json.loads(response.content[0].text)