Marktechpost نے Token Saver جاری کیا ہے، ایک اوپن سورس کلاڈ ڈیسک ٹاپ ایکسٹینشن جو بڑے پی ڈی ایف دستاویزات کے ساتھ کام کرتے وقت استعمال ہونے والے ٹوکنز کی تعداد کو کم کرنے کے لیے ڈیزائن کیا گیا ہے۔
MIT کا لائسنس یافتہ ٹول، جو فی الحال ورژن 1.0 پر ہے، صارف کے کمپیوٹر پر پی ڈی ایف تلاش کرنے کے لیے مقامی بازیافت کا استعمال کرتا ہے اور کلاڈ کو پوری دستاویز کے بجائے صرف ایک سوال سے متعلقہ حوالے بھیجتا ہے۔ Marktechpost دستاویز کے سائز اور استعمال کے لحاظ سے 92% سے 99% تک ٹوکن کمی کی اطلاع دیتا ہے۔
مارکٹیکپوسٹ AI میڈیا انکارپوریشن میں ٹوکن سیور کو روچیسٹر انسٹی ٹیوٹ آف ٹیکنالوجی کے کمپیوٹر سائنس کے طالب علم ارناو رائے نے جین مارک مومیسین اور آصف رزاق کی نگرانی میں اپنی انٹرن شپ کے دوران تیار کیا تھا۔
یہ ٹول ایک ایسے مسئلے کو نشانہ بناتا ہے جو اس وقت ظاہر ہوتا ہے جب صارفین بار بار AI ماڈلز سے بڑی دستاویزات کے بارے میں سوال کرتے ہیں۔
Marktechpost کے مطابق، گفتگو میں 200 صفحات پر مشتمل پی ڈی ایف شامل کرنے سے صرف ایک بار سیاق و سباق کی لاگت نہیں آتی۔ دستاویز بات چیت کے سیاق و سباق کا حصہ بنی ہوئی ہے اور بعد کے موڑ پر دوبارہ کارروائی کی جا سکتی ہے، بحث جاری رہنے پر ٹوکن کے استعمال میں اضافہ ہوتا ہے۔
Marktechpost کا کہنا ہے کہ پی ڈی ایف پروسیسنگ میں چارٹس اور لے آؤٹ جیسے عناصر کو محفوظ رکھنے کے لیے نکالے گئے متن اور صفحہ کی تصاویر دونوں شامل ہو سکتے ہیں۔ اس کی رپورٹ کے مطابق، صرف متن فی صفحہ تقریباً 1500 سے 3000 ٹوکن تک پہنچ سکتا ہے۔
فوری کیشنگ اور کلاڈ پروجیکٹ کچھ اوور ہیڈ کو کم کرسکتے ہیں، لیکن مارکٹیکپوسٹ کا استدلال ہے کہ وہ فراہم کنندہ کو دستاویز بھیجنے کی ضرورت کو دور نہیں کرتے ہیں۔ اس میں یہ بھی کہا گیا ہے کہ AI ماڈل کو 1000 صفحات پر مشتمل دستاویز کے ذریعے تلاش کرنے کے لیے کہنا جب صرف چند پِیراگراف متعلقہ ہوں تو سیاق و سباق کو ضائع کر سکتا ہے اور غلط جوابات کے امکانات کو بڑھا سکتا ہے۔
ٹوکن سیور ایک مقامی ماڈل سیاق و سباق پروٹوکول (MCP) سرور کے طور پر چلتا ہے، جس سے Claude Desktop اسے دستاویز کی تلاش کے آلے کے طور پر استعمال کرنے کی اجازت دیتا ہے۔
پی ڈی ایف خود صارف کے کمپیوٹر پر رہتی ہے۔ جب کوئی سوال پوچھا جاتا ہے تو ٹوکن سیور دستاویز کو مقامی طور پر تلاش کرتا ہے اور کلاڈ کو صرف متعلقہ سیکشن بھیجتا ہے۔
اس کا ہائبرڈ RAG نظام بازیافت کے دو طریقوں کو یکجا کرتا ہے۔
BM25 مطلوبہ الفاظ کی تلاش SQLite FTS5 کو متعلقہ اصطلاحات پر مشتمل حصّے تلاش کرنے کے لیے استعمال کرتی ہے اور 0.4 کا وزن حاصل کرتی ہے۔
0.6 کے وزن کے ساتھ، معنی کی بنیاد پر حصئوں کو تلاش کرنے کے لیے سیمنٹک تلاش مقامی آل-MiniLM-L6-v2 ایمبیڈنگ ماڈل اور کوزائن مماثلت کا استعمال کرتی ہے۔
سرایت کرنے والا جزو اختیاری ہے۔ اگر ماڈل لوڈ نہیں کر سکتا تو ٹوکن سیور مطلوبہ الفاظ پر مبنی بازیافت پر واپس آجاتا ہے۔
Marktechpost ایک آٹھ مرحلوں پر مشتمل عمل کی وضاحت کرتا ہے جو کہ معلومات کے کلاڈ تک پہنچنے سے پہلے مقامی طور پر چلتا ہے۔
نقطہ نظر کا مطلب ہے کہ کلاڈ کو مکمل پی ڈی ایف کے بجائے صفحہ کے حوالے سے اقتباسات کا ایک چھوٹا مجموعہ ملتا ہے۔
Marktechpost نے تین دستاویزات پر ٹوکن سیور کو بینچ مارک کیا اور ٹک ٹوکن کا استعمال کرتے ہوئے ٹوکن کی گنتی کی پیمائش کی۔
Marktechpost نوٹ کرتا ہے کہ اعداد و شمار cl100k_base کو پراکسی ٹوکنائزر کے طور پر استعمال کرتے ہیں اور فرض کرتے ہیں کہ پوری دستاویز بصورت دیگر ہر تلاش کے دوران چارج کی جائے گی۔
پروجیکٹ کی دستاویزات یہ بھی واضح کرتی ہیں کہ بچت کا انحصار دستاویز کے سائز اور موازنہ کی بنیاد پر ہوتا ہے۔ اس کی موجودہ GitHub دستاویزات کا کہنا ہے کہ دستاویزات کے بڑے ہونے کے ساتھ ہی فائدہ بڑھتا ہے کیونکہ بازیافت شدہ متن کی مقدار نسبتا کم رہتی ہے۔
ٹوکن سیور بھی مقامی دستاویز کی رازداری کے مطابق ڈیزائن کیا گیا ہے۔
Marktechpost کا کہنا ہے کہ اصل PDF کبھی بھی ٹوکن سیور کے ذریعے اپ لوڈ نہیں ہوتی ہے۔ اخراج اور بازیافت صارف کی مشین پر ہوتی ہے، صرف منتخب حصئوں کے ساتھ جو کلاڈ تک پہنچتے ہیں۔
صارفین کو اجازت شدہ فولڈر کا انتخاب بھی کرنا چاہیے۔ ٹوکن سیور اس ڈائرکٹری سے باہر دستاویزات تک رسائی سے انکار کرتا ہے۔
کلاڈ ڈیسک ٹاپ کے ساتھ مواصلت سننے والے نیٹ ورک پورٹ کے بجائے معیاری ان پٹ/آؤٹ پٹ، یا stdio پر ہوتی ہے۔
پروجیکٹ ایک چھوٹا سا وقف شدہ فولڈر استعمال کرنے کی تجویز کرتا ہے جس میں صرف ان دستاویزات پر مشتمل ہوتا ہے جو صارف کلاڈ تک رسائی کا ارادہ رکھتا ہے۔
Marktechpost کا کہنا ہے کہ Token Saver Claude ماڈلز کے ساتھ کام کرتا ہے لیکن جانچ کے دوران فرق پایا۔
کلاڈ 3.5 سونیٹ کو عام اختیار کے طور پر تجویز کیا گیا تھا۔ اس نے کم درست فائل حوالہ جات کو ہینڈل کیا، صارفین سے یہ واضح کرنے کو کہا کہ فائل نام کب ایک جیسے تھے، اور بازیافت شدہ صفحہ کے حوالہ جات کو صحیح طریقے سے استعمال کیا۔
Claude 3 Opus نے مختلف آوازوں پر مشتمل پیچیدہ دستاویزات کے ساتھ بہتر کارکردگی کا مظاہرہ کیا، جیسے اکثریت کے ساتھ قانونی فیصلے اور اختلاف رائے۔ یہ اس بات کی بھی نشاندہی کر سکتا ہے کہ جب کسی انتساب کا براہ راست بیان کرنے کے بجائے سیاق و سباق سے اندازہ لگایا گیا ہو۔
ٹوکن سیور کو ایک واحد .mcpb بنڈل کے طور پر تقسیم کیا جاتا ہے، جس میں Python کے ماحول اور ٹرمینل سیٹ اپ کو اکثر مقامی AI ٹولز کی ضرورت ہوتی ہے۔
صارفین token-saver-ccr.mcpb ڈاؤن لوڈ کریں، Claude Desktop → Settings → Extensions → Extension انسٹال کریں، اسے فعال کریں، اور اپنے PDFs پر مشتمل فولڈر منتخب کریں۔ جب ٹول پہلی بار استعمال ہوتا ہے تو کلاڈ اجازت طلب کرتا ہے، جس کے بعد صارفین مسلسل رسائی کی اجازت دے سکتے ہیں۔
توسیع اس وقت تک کام نہیں کرتی جب تک کہ ایک اجازت شدہ فولڈر منتخب نہ کیا جائے۔ وہ فولڈر اس بات کی وضاحت کرتا ہے کہ ٹوکن سیور کیا پڑھ سکتا ہے، صارفین کو مکمل راستوں کے بجائے فائل نام سے دستاویزات کا حوالہ دینے دیتا ہے، اور کلاڈ کو دستیاب دستاویز کی فہرست فراہم کرتا ہے۔
Marktechpost بار بار بڑے مواد جیسے قانونی فیصلوں، تکنیکی معیارات، مالیاتی رپورٹس، اور نصابی کتابوں کے ساتھ کام کرنے والے لوگوں کے لیے ٹول کی حیثیت رکھتا ہے۔
جہاں آپ چاہیں تازہ ترین ٹیک خبریں، ٹیلی کام کی بصیرتیں، اور پروڈکٹ لانچ حاصل کریں۔
ProPakistani کو ترجیحی ذرائع میں شامل کریں اور گوگل سرچ اور ٹاپ اسٹوریز میں ہماری مزید کہانیاں دیکھیں۔
ٹیکنالوجی اور آٹوموٹو ماہر جدید ترین کاروں، اسمارٹ فونز، AI پیش رفتوں، اور...
شیئرز
