웹 크롤링 기반 분석 프롬프트 좀 짜주실 분?

---

요즘 AI 챗봇들 기능이 많이 좋아져서 궁금한 게 생겼어요.
특정 산업 웹사이트나 제품 비교 페이지 같은 거 분석해달라고 할 때, 단순히 '요약해줘'로는 원하는 깊이의 정보를 못 뽑아내는 느낌이에요.

예를 들어, A 제품과 B 제품의 최신 기능 변화 트렌드 비교 같은 거요.
제가 원하는 건, 사실 관계가 명확하고, 구조화된 비교 포인트가 필요해요.
어떤 식으로 프롬프트를 짜야 챗봇이 '이건 팩트 기반으로 이렇게 정리해야겠다'고 이해할까요?

분석할 웹의 범위를 주고, 어떤 포맷(예: 표, 마크다운 비교)으로 뽑아낼지 명시하는 게 중요한지 궁금합니다.
혹시 좋은 프롬프트 구조 같은 거 아시는 분 계신가요?

웹 크롤링 기반 분석 프롬프트 짜는 거, 저도 예전에 정말 고생했던 경험이 있어서 공감합니다.
단순히 '요약해줘'만으로는 정말 원하는 '구조화된 비교 분석'이라는 결과물을 뽑아내기 어렵죠.
AI가 어떤 입장에서, 어떤 순서로, 어떤 형식으로 정보를 정리해야 할지 '가이드라인'을 빡세게 줘야 합니다.
일단 결론부터 말씀드리자면, 네, 분석할 웹의 범위 지정과 원하는 포맷(출력 형식)을 명시하는 게 핵심 중의 핵심입니다.
이 두 가지를 프롬프트에 명확하게 박아줘야 합니다.
제가 실제로 몇 번 써보면서 효과를 봤던 구조와 몇 가지 실무 팁들을 단계별로 정리해 드릴게요.
*** ### 🧐 1단계: 역할 부여 및 목적 명확화 (페르소나 설정) 가장 먼저 할 일은 AI에게 '너는 누구다'라는 역할을 부여하는 겁니다.
이렇게 해야 AI가 일반적인 챗봇 모드가 아니라, 특정 전문가의 시각으로 분석하게 됩니다.
[구조 예시] "지금부터 너는 [특정 산업 분야]에 대한 깊은 이해를 가진 전문 시장 분석가(Market Analyst)의 역할을 수행할 거야." "너의 임무는 내가 제공하는 웹 크롤링 데이터(또는 웹사이트 내용)를 바탕으로, A 제품과 B 제품의 핵심적인 기술적 차이점과 시장 트렌드 변화를 비교 분석하는 거야." 실무 팁: 역할을 너무 광범위하게 주면 오히려 겉핥기식 답변이 나옵니다.
"OO 산업 분야의 경쟁사 비교 전문 리서처"처럼 구체적인 직함이나 역할을 지정하는 게 좋습니다.
이 역할 정의가 답변의 톤앤매너와 분석의 깊이를 결정합니다.
*** ### 2단계: 입력 데이터와 분석 기준 제공 (Scope & Criteria) 여기가 질문자님이 가장 궁금해하시는 부분일 겁니다.
'무엇을' 비교할지 기준을 줘야 합니다.
1.
데이터 범위 지정 (웹 크롤링 결과물 기반) 만약 크롤링을 통해 여러 페이지의 텍스트를 모았다면, 그 텍스트를 붙여 넣기 전에 AI에게 "이 텍스트 덩어리들에는 A 제품 관련 정보가 있고, B 제품 관련 정보가 섞여 있으니, 각 정보 출처를 염두에 두고 분석해라"라는 가이드를 주는 게 좋습니다.
2.
비교 포인트 (핵심 비교 축 정의) '최신 기능 변화 트렌드'라는 추상적인 개념 대신, 구체적인 비교 축을 정의해야 합니다.
예를 들어, '성능 비교'만 요청하면, AI는 '속도', '처리량', '사용 용이성' 중 어떤 것을 비교해야 할지 헷갈릴 수 있습니다.
[구체화 예시] "비교 분석 시 반드시 다음 4가지 관점에서만 비교해야 해.
1.
기술적 우위 (Technical Edge): 핵심 알고리즘이나 탑재된 최신 기술 명시 (예: LLM 버전, 전력 효율성 등) 2.
사용자 경험 (UX/Usability): 일반 사용자가 체감할 수 있는 인터페이스의 편리성.
3.
시장 포지셔닝 (Market Positioning): 이 제품이 시장에서 어떤 틈새를 공략하고 있는지.
4.
가격/비용 구조 (TCO/Pricing): 초기 도입 비용 외에 유지보수 비용까지 포함하여 비교." 주의점 (흔한 실수): "A랑 B 비교해줘.
뭐가 더 좋아?" 라고 던지면, AI는 감성적인 비교(예: 디자인이 더 예쁘다)로 흘러갈 위험이 큽니다.
반드시 비교할 '속성(Attribute)'의 리스트를 제공하고, AI가 그 속성에 맞춰 정보를 채우도록 유도해야 합니다.
*** ### 3단계: 출력 형식 강제 (Format Enforcement) 이게 진짜 중요합니다.
원하는 결과물의 '골격'을 AI에게 줘야 합니다.
마크다운 테이블(Markdown Table)이나 JSON 포맷을 요청하는 것이 가장 구조화하기 좋습니다.
[프롬프트에 포함할 지시] "결과물은 반드시 아래 형식의 마크다운 표(Markdown Table)로 출력해야 하며, 다른 서론이나 결론 문장은 붙이지 마.
오직 표만 출력해." [마크다운 테이블 예시] | 비교 항목 (Criteria) | A 제품 (Brand A) | B 제품 (Brand B) | 분석 및 시사점 (Insight) | | :--- | :--- | :--- | :--- | | 기술적 우위 | (여기에 요약된 사실 기반 내용) | (여기에 요약된 사실 기반 내용) | (두 제품 간의 핵심적인 차이점 요약) | | 사용자 경험 | (체감되는 장점/단점) | (체감되는 장점/단점) | (실사용 관점에서의 우위 분석) | | ...
| ...
| ...
| ...
| 추가 팁: 깊이 조절을 위한 톤앤매너 지정 만약 '매우 학술적인 보고서'가 필요하다면, "각 항목 설명 시 출처가 될 만한 근거 데이터의 출처를 (Source: 웹페이지명/단락) 형태로 반드시 각주처럼 표기해줘." 라고 요청하세요.
이런 디테일을 추가하면 AI가 '정보를 짜 맞추는' 수준을 넘어 '정보를 인용하는' 수준으로 올라갑니다.
*** ### 종합적인 '프롬프트 템플릿' 제안 (참고용) 이걸 복사해서 사용하시기보다는, 질문에 맞춰 내용을 채워 넣는 가이드로 활용해 주세요.
[시작 부분] "너는 이제부터 최고 수준의 산업 경쟁 분석가야.
내가 제공하는 웹 크롤링 텍스트(아래에 붙여넣기)를 분석할 거야.
목표는 A 제품과 B 제품의 최신 기능 변화 트렌드를 객관적이고 구조적으로 비교하는 거야.
가장 중요한 것은 '팩트 기반'이어야 하며, 추측이나 과장은 절대 금지야." [분석 기준 명시] "비교 분석은 다음의 네 가지 필수 기준에 초점을 맞춰야 해: [기준 1], [기준 2], [기준 3], [기준 4].
각 기준에 대해 A와 B를 비교할 때, 가장 명확하고 수치적으로 비교 가능한 지표를 사용해야 해." [출력 형식 강제] "결과는 오직 아래와 같은 마크다운 표(Markdown Table) 형식으로만 출력해야 해.
서론, 결론, 추가 설명 등은 일절 붙이지 말고, 표만 통째로 제공해 줘." [예시 테이블 구조 삽입] (위에서 제안한 마크다운 테이블 구조를 여기에 복사해서 붙여넣기) [데이터 붙여넣기] "--- 분석할 원본 데이터 시작 --- [여기에 크롤링한 모든 텍스트를 붙여넣기] --- 분석할 원본 데이터 끝 ---" *** ### 최종 정리 및 주의사항 요약 1.
명확성 > 분량: 길게 쓰는 것보다, **'무엇을', '어떤 형식으로', '어떤 기준으로'**를 명확히 하는 것이 100배 더 중요합니다.
2.
반복 테스트: 한 번에 완벽한 프롬프트를 찾기는 어렵습니다.
일단 위의 템플릿으로 시도해보고, 결과물이 부족한 부분이 있다면 "네가 놓친 이 부분(예: 보안 기능 관련 비교)을 추가로 채워줘" 와 같이 후속 질문(Follow-up Prompt)을 하는 게 가장 빠르고 효과적입니다.
3.
AI의 한계 인지: AI는 텍스트를 이해하고 구조화하는 데는 탁월하지만, **웹사이트의 시각적 정보(UX/UI의 미묘한 차이)나 최신 시장의 '감성적 분위기'**까지는 100% 잡아내지 못할 수 있습니다.
이런 부분은 반드시 질문자님의 '전문가적 필터'를 거쳐 검증해야 합니다.
이 설명이 질문자님이 원하시는 '구조화된 비교 분석'에 한 걸음 더 다가가는 데 도움이 되기를 바랍니다.
너무 복잡하게 생각하지 마시고, '역할 부여 -> 기준 정의 -> 형식 지정' 이 세 박자를 기억하시면 대부분의 경우 좋은 결과를 얻으실 수 있을 거예요.