Apa itu llms.txt
llms.txt adalah konvensi yang diusulkan — bayangkan robots.txt, tapi untuk language model. Anda menaruh sebuah file di yoursite.com/llms.txt yang berisi ringkasan situs Anda dalam format markdown yang disederhanakan: apa situs itu, apa fungsinya, tautan ke halaman-halaman penting, dan secara opsional versi konten Anda yang sudah dipangkas agar mudah diurai LLM tanpa harus bergulat dengan navigasi, iklan, banner cookie, dan HTML tata letak.
Format ini diusulkan oleh Jeremy Howard (Answer.AI / fast.ai) pada September 2024, dengan spesifikasi publik di llmstxt.org. Ini bukan standar resmi. Tidak ada badan standar yang meratifikasinya. Sebagian besar LLM besar tidak secara khusus mencarinya. Tapi sejumlah kecil tool developer, sistem dokumentasi, dan agen AI yang jumlahnya terus bertambah memang melakukannya.
Apa yang sebenarnya dikatakan Google
Google sudah tegas: llms.txt tidak memengaruhi ranking pencarian Anda. Ia bukan sinyal ranking. Googlebot tidak memperlakukannya sebagai target crawl yang diprioritaskan. Kalau Anda menerbitkannya, itu tidak akan membantu Anda ranking lebih tinggi di Google Search. Di Search Central Live pada Juli 2025, Gary Illyes dari Google menyatakan bahwa Google tidak mendukung llms.txt dan tidak berencana melakukannya, dan panduan optimasi AI resmi Google menyebut dengan gamblang bahwa “Anda tidak perlu membuat file machine readable baru, file teks AI, markup, atau Markdown untuk muncul di pencarian AI generatif.”
Ini akurat dan penting dinyatakan terus terang, karena segelombang vendor SEO sudah mulai menjual pembuatan llms.txt sebagai layanan AI SEO. Bukan begitu. Untuk pencarian tradisional — dan seperti sudah kita tetapkan, pencarian tradisional itulah yang menyuapi hasil pencarian AI — llms.txt tidak relevan.
Apa yang sedang dilakukan bagian lain dari Google
Di sinilah duduk perkaranya jadi lebih bernuansa. Sementara Google Search mengesampingkan llms.txt, tim Chrome di Google diam-diam mulai mengeceknya. Mereka menambahkan kategori audit “Agentic Browsing” ke Lighthouse — perangkat Google untuk mengevaluasi seberapa baik sebuah situs dibangun untuk interaksi mesin — dan salah satu pengecekan deterministiknya adalah keberadaan file llms.txt. Alasan yang dinyatakan: tanpa file itu, agen “mungkin menghabiskan lebih banyak waktu meng-crawl situs untuk memahami struktur tingkat tinggi dan konten utamanya.”
Jadi posisi Google tidak bertolak belakang. Ini dua pernyataan terpisah soal dua use case terpisah:
- Untuk ranking pencarian: llms.txt tidak berpengaruh.
- Untuk agen AI yang menavigasi situs Anda: llms.txt diperlakukan sebagai bahan referensi yang berguna.
Kebingungannya muncul karena memperlakukan keduanya sebagai klaim yang sama.
Di mana llms.txt benar-benar membantu
Use case di mana llms.txt punya nilai nyata sama sekali bukan SEO. Melainkan dokumentasi, tool developer, dan situs referensi teknis — tempat di mana agen AI dan asisten coding menjadi pengunjung utama, bukan pengguna pencarian manusia.
Kalau Anda mengelola sebuah API, SDK developer, atau situs dokumentasi teknis, agen AI yang berusaha membantu developer menggunakan produk Anda akan sangat terbantu oleh llms.txt yang terstruktur baik. Alih-alih meng-crawl ratusan halaman dan mencoba merekonstruksi struktur API Anda, ia membaca llms.txt Anda dan mendapat peta yang bersih tentang apa yang ada dan di mana letaknya.
Inilah cara tool seperti Claude Code, Cursor, dan GitHub Copilot mengakses dokumentasi saat membantu menulis kode. Seorang developer bertanya ke asisten AI-nya bagaimana cara autentikasi dengan API Anda. Asisten itu mengambil dokumentasi Anda. Kalau dokumentasi Anda terstruktur jelas — dan terutama kalau llms.txt mengarahkannya ke halaman yang tepat — ia mendapat jawaban berguna lebih cepat. Kalau dokumentasi Anda berupa labirin HTML bersarang dengan pemilih versi dan pop-up login, ia bisa gagal total.
Untuk perusahaan SaaS B2B dengan audiens developer, ini layak diperhatikan. Untuk situs marketing, saat ini sebagian besar tidak relevan.
Belum ada platform AI besar yang secara formal mengonsumsinya
Penting untuk berbicara presisi soal posisi saat ini. Satu-satunya keterlibatan Google dengan llms.txt ada pada perangkat agent-readiness-nya, bukan pada produk pencarian atau jawaban AI-nya — Search dan AI Overviews secara eksplisit mengabaikannya. Dan pemain AI besar lain pun belum secara formal mengadopsi konvensi ini. OpenAI belum menerbitkan panduan soal itu. Anthropic belum. Perplexity belum. (Anthropic, Cursor, dan yang lain memang menerbitkan llms.txt untuk dokumentasi mereka sendiri — tapi menerbitkannya tidak sama dengan model yang secara sistematis membacanya.)
Itu membatasi jangkauannya saat ini. Kalau Anda mengoptimalkan untuk visibilitas di ChatGPT atau Claude, llms.txt bukan tuas yang perlu ditarik. Ranking pencarian Anda tetap yang menentukan hal itu, terlepas dari file apa pun di direktori root Anda.
Kenapa ia mungkin lebih penting nanti
Ini pembacaan saya sendiri, bukan fakta yang sudah mapan: menurut saya llms.txt menjadi lebih bernilai seiring harness AI makin lazim.
Sebuah harness — Claude Code, Cursor, agen AI custom yang dibangun di atas Anthropic API — bisa mengakses URL secara langsung. Ketika seorang developer memakai salah satu tool ini untuk meriset, membangun, atau men-debug, AI-nya rutin mengambil halaman untuk membacanya. Ia tidak memakai indeks pencarian. Ia bukan Googlebot. Ia adalah agen yang menarik sebuah URL dan membaca apa pun yang ditemukannya.
Seiring makin banyak pekerjaan diselesaikan lewat harness ini, cara konten dikonsumsi pun berubah — dan volumenya menanjak cepat. Cloudflare, yang melihat porsi besar trafik web global, melaporkan bahwa GPTBot milik OpenAI menumbuhkan volume permintaannya 305% dalam satu tahun, naik dari crawler teraktif kesembilan menjadi ketiga. Agen yang mengambil URL dokumentasi Anda lalu menemui llms.txt yang bersih langsung terorientasi seketika. Yang menabrak tembok HTML yang dirender JavaScript tanpa titik masuk yang jelas mendapat informasi yang kurang berguna dan bisa mengarang sisanya.
Kalau adopsinya tumbuh — kalau makin banyak tool AI mulai mencari llms.txt sebagai konvensi sebagaimana browser mencari favicon.ico — maka memilikinya menjadi keunggulan ambient. Bukan sinyal ranking. Bukan taktik SEO. Sekadar praktik yang baik untuk web di mana agen makin sering menjadi pengunjung.
Kita belum sampai ke sana. Tapi arah perjalanannya tampak cukup jelas sehingga layak diterapkan pada situs yang padat dokumentasi, dan layak diamati pada situs lainnya.
Praktisi B2B SEO yang berspesialisasi dalam strategi pencarian di era AI. Bekerja langsung dengan marketing manager di perusahaan menengah — tanpa account manager, tanpa handoff.