llm-docs-builder

Bu araç aslında ne işe yarar?

Bu araç, mevcut dokümantasyonunuzu alır ve AI modellerinin daha iyi anlayabilmesi için onu daha küçük ve temiz hale getirir. Navigasyon çubukları ve altbilgiler gibi gereksiz kısımları kaldırır ve HTML'i markdown'a dönüştürür. Bu, AI modellerinin işlemesi gereken token (kelime) miktarını %95'e kadar azaltarak dokümanlarınızı LLM'lerle kullanmayı daha ucuz ve hızlı hale getirir.

Detaylı inceleme

llm-docs-builder, Büyük Dil Modelleri (LLM'ler) ve Geri Alma Artırılmış Üretim (RAG) sistemleri için markdown dokümantasyonunu dönüştüren ve optimize eden Ruby tabanlı bir CLI aracıdır. LLM'lerin bağlam penceresinin %70-90'ını insan odaklı HTML içeriğinde (navigasyon, altbilgiler, JavaScript, CSS) harcaması sorununu çözer. Araç bağlantıları normalleştirir, gereksiz içerikleri kaldırır, belgeleri LLM bağlam pencereleri için optimize eder ve hiyerarşik başlık bağlamı ve meta verilerle RAG alımını iyileştirir. HTML'i otomatik olarak markdown'a dönüştürebilir, insan ve AI sürümlerini karşılaştırarak token tasarrufunu ölçebilir ve standartlaştırılmış dokümantasyon indekslemesi için llms.txt dosyaları oluşturabilir. Gerçek dünya testleri ortalama %83 daha az token göstermektedir. Araç Docker ve RubyGems kurulumunu destekler ve yerel dosyaları veya uzak URL'leri işleyebilir.

Ek kullanım alanları

• Alım doğruluğunu artırmak için RAG sistemleri için dokümantasyon hazırlayın.
• İnsan ve AI optimize edilmiş dokümantasyon sayfalarının token verimliliğini karşılaştırın.

Güvenlik ve Güven Notları

• Token azaltma, insan okuyucular için önemli olan içeriği kaldırabilir; optimize edilmiş çıktıyı gözden geçirin.