Marktechpost جاري ڪيو آهي ٽوڪن سيور، هڪ اوپن سورس ڪلاڊ ڊيسڪ ٽاپ ايڪسٽينشن جيڪا وڏي PDF دستاويزن سان ڪم ڪرڻ وقت استعمال ٿيندڙ ٽوڪن جي تعداد کي گهٽائڻ لاءِ ٺاهي وئي آهي.
MIT-لائسنس وارو اوزار، في الحال ورجن 1.0 تي، استعمال ڪري ٿو مقامي بحاليءَ کي استعمال ڪندڙ جي ڪمپيوٽر تي PDFs کي ڳولڻ لاءِ ۽ موڪلي ٿو ڪلاڊ کي صرف پاسن سان لاڳاپيل سوالن جي بجاءِ پوري دستاويز جي. Marktechpost رپورٽ ڪري ٿو ٽوڪن جي گهٽتائي 92٪ کان 99٪، دستاويز جي سائيز ۽ استعمال تي منحصر آهي.
ٽوڪن سيور مارڪٽيڪپوسٽ AI ميڊيا Inc. تي تيار ڪيو ويو اروچسٽر انسٽيٽيوٽ آف ٽيڪنالاجي ۾ ڪمپيوٽر سائنس جي شاگرد ارناو راءِ، جين-مارڪ موميسين ۽ آصف رزاق جي نگراني هيٺ پنهنجي انٽرن شپ دوران.
اوزار هڪ مسئلو جو نشانو بڻائيندو آهي جيڪو ظاهر ٿئي ٿو جڏهن صارفين بار بار سوال ڪن ٿا AI ماڊل وڏن دستاويزن بابت.
Marktechpost جي مطابق، هڪ گفتگو ۾ 200-صفحن جي PDF کي شامل ڪرڻ صرف هڪ وقت جي حوالي سان قيمت پيدا نٿو ڪري. دستاويز گفتگو جي حوالي سان حصو رهي ٿو ۽ بعد ۾ موڙ دوران ٻيهر عمل ڪري سگهجي ٿو، ٽوڪن جي استعمال کي وڌايو جيئن بحث جاري آهي.
Marktechpost چوي ٿو PDF پروسيسنگ پڻ شامل ڪري سگھي ٿو ٻئي ڪڍيل متن ۽ صفحو تصويرون عناصر کي محفوظ ڪرڻ لاءِ جيئن چارٽ ۽ ترتيب. ان جي رپورٽ مطابق، متن اڪيلو 1500 کان 3000 ٽوڪن في صفحي تائين پهچي سگھي ٿو.
Prompt caching ۽ Claude Projects شايد ڪجهه اوور هيڊ کي گھٽائي سگھن ٿا، پر Marktechpost دليل ڏئي ٿو ته اهي مهيا ڪندڙ کي دستاويز موڪلڻ جي ضرورت کي ختم نه ڪن. اهو پڻ چوي ٿو هڪ AI ماڊل کي 1000 صفحن واري دستاويز ذريعي ڳولڻ لاءِ جڏهن صرف ڪجهه پيراگراف لاڳاپيل هجن سياق و سباق کي ضايع ڪري سگهن ٿا ۽ غلط جوابن جو موقعو وڌائي سگهن ٿا.
ٽوڪن سيور هڪ مقامي ماڊل ڪنٽينسٽ پروٽوڪول (MCP) سرور جي طور تي هلندو آهي، Claude Desktop کي اجازت ڏئي ٿو ته ان کي ڊاڪيومينٽ سرچ ٽول طور استعمال ڪري.
PDF پاڻ صارف جي ڪمپيوٽر تي رهي ٿو. جڏهن هڪ سوال پڇيو وڃي ٿو، ٽوڪن سيور دستاويز کي مقامي طور تي ڳولهي ٿو ۽ ڪلواڊ کي صرف لاڳاپيل حصن کي موڪلي ٿو.
ان جي هائبرڊ RAG سسٽم کي گڏ ڪري ٿو ٻن بحالي طريقن کي.
BM25 ڳولها ڳولها SQLite FTS5 استعمال ڪري ٿي لاڳاپيل اصطلاحن تي مشتمل پاسا ڳولڻ لاءِ ۽ 0.4 جو وزن حاصل ڪري ٿو.
معنيٰ جي بنياد تي پاسن کي ڳولڻ لاءِ لفظي ڳولا مقامي آل-ميني ايل ايم-L6-v2 ايمبيڊنگ ماڊل ۽ ڪوسائن جي هڪجهڙائي استعمال ڪري ٿي، 0.6 جي وزن سان.
شامل ڪرڻ وارو حصو اختياري آھي. جيڪڏهن ماڊل لوڊ نه ٿي سگهي، ٽوڪن سيور واپس اچي ٿو لفظ جي بنياد تي ٻيهر حاصل ڪرڻ.
Marktechpost هڪ اٺ-اسٽيج جي عمل کي بيان ڪري ٿو جيڪا مقامي طور تي هلندي آهي ان کان اڳ ڄاڻ تائين پهچڻ کان اڳ ڪلاڊ.
طريقه ڪار جو مطلب آهي ڪلاڊ مڪمل پي ڊي ايف جي بجاءِ صفحي جي حوالن واري پاسن جو ننڍڙو مجموعو وصول ڪري ٿو.
Marktechpost ٽن دستاويزن تي ٽوڪن سيور کي بينچ مارڪ ڪيو ۽ ٽڪي ٽوڪن استعمال ڪندي ٽوڪن جي ڳڻپ کي ماپيو.
Marktechpost نوٽ ڪري ٿو ته انگ اکر cl100k_base کي پراکسي ٽوڪنائيزر طور استعمال ڪن ٿا ۽ فرض ڪريو ته سڄو دستاويز ٻي صورت ۾ هر ڳولا دوران چارج ڪيو ويندو.
پروجيڪٽ جي دستاويز پڻ واضح ڪري ٿي ته بچت جو دارومدار دستاويز جي سائيز ۽ مقابلي جي بيس لائين تي آهي. ان جي موجوده GitHub دستاويزن جو چوڻ آهي ته فائدو وڌندو آهي جيئن دستاويز وڏا ٿي ويندا آهن ڇاڪاڻ ته حاصل ڪيل متن جي مقدار نسبتا ننڍڙي رهي ٿي.
ٽوڪن سيور پڻ مقامي دستاويز جي رازداري جي چوڌاري ٺهيل آهي.
Marktechpost چوي ٿو اصل PDF ڪڏهن به ٽوڪن سيور ذريعي اپ لوڊ نه ڪئي وئي آهي. ڪڍڻ ۽ حاصل ڪرڻ صارف جي مشين تي ٿئي ٿو، صرف چونڊيل پاسن سان گڏ ڪلاڊ تائين.
صارفين کي پڻ اجازت ڏنل فولڊر چونڊڻ گهرجي. ٽوڪن سيور ان ڊاريڪٽري کان ٻاهر دستاويزن تائين رسائي کان انڪار ڪري ٿو.
ڪلاڊ ڊيسڪ ٽاپ سان ڪميونيڪيشن معياري ان پٽ/آئوٽ پٽ، يا اسٽيڊيو تي ٿئي ٿي، بجاءِ ٻڌڻ جي نيٽ ورڪ پورٽ ذريعي.
پروجيڪٽ هڪ ننڍڙو وقف ٿيل فولڊر استعمال ڪرڻ جي سفارش ڪري ٿو جنهن ۾ صرف دستاويز شامل آهن صارف جو ارادو ڪلواڊ تائين پهچڻ جو ارادو آهي.
Marktechpost چوي ٿو ٽوڪن سيور ڪلاڊ ماڊل سان ڪم ڪري ٿو پر جاچ دوران فرق مليو.
ڪلاڊ 3.5 سونيٽ کي عام اختيار جي طور تي سفارش ڪئي وئي. اهو گهٽ درست فائل حوالن کي سنڀاليو، صارفين کي واضح ڪرڻ لاء چيو جڏهن فائلن جا نالا ساڳيا هئا، ۽ صحيح طور تي استعمال ٿيل صفحي جي حوالن کي درست ڪيو ويو.
Claude 3 Opus مختلف آوازن تي مشتمل پيچيده دستاويزن سان بھتر ڪم ڪيو، جھڙوڪ اڪثريت سان قانوني فيصلا ۽ اختلاف راءِ. اهو پڻ ظاهر ڪري سگهي ٿو جڏهن هڪ انتساب سڌي طرح بيان ڪرڻ بجاءِ سياق و سباق مان لڳايو ويو هو.
ٽوڪن سيور هڪ واحد .mcpb بنڊل جي طور تي ورهايو ويو آهي، پٿون ماحول ۽ ٽرمينل سيٽ اپ کان بچڻ لاءِ اڪثر مقامي AI اوزارن جي ضرورت هوندي آهي.
صارفين token-saver-ccr.mcpb ڊائون لوڊ ڪريو، ڪلاڊ ڊيسڪ ٽاپ → سيٽنگون → ايڪسٽينشن → ايڪسٽينشن انسٽال ڪريو، ان کي فعال ڪريو، ۽ انھن جي PDFs تي مشتمل فولڊر چونڊيو. Claude اجازت لاء پڇي ٿو جڏهن اوزار پهريون ڀيرو استعمال ڪيو ويو آهي، جنهن کان پوء صارفين کي جاري رسائي جي اجازت ڏئي سگهي ٿي.
واڌ نه هلندي جيستائين اجازت ڏنل فولڊر چونڊيو وڃي. اهو فولڊر وضاحت ڪري ٿو ته ٽوڪن سيور ڇا پڙهي سگهي ٿو، صارفين کي دستاويزن کي مڪمل رستن جي بدران فائلن جي نالي سان حوالي ڪرڻ جي اجازت ڏئي ٿو، ۽ دستياب دستاويزن جي فهرست سان Claude مهيا ڪري ٿو.
Marktechpost انهن ماڻهن لاءِ اوزار رکي ٿو جيڪو بار بار وڏي مواد سان ڪم ڪري ٿو جهڙوڪ قانوني فيصلا، ٽيڪنيڪل معيار، مالي رپورٽون، ۽ درسي ڪتاب.
تازه ترين ٽيڪني خبرن، ٽيليڪم بصيرت، ۽ پراڊڪٽ لانچ حاصل ڪريو جتي توهان چاهيو ٿا.
ProPakistani کي ترجيحي ذريعن ۾ شامل ڪريو ۽ ڏسو اسان جون وڌيڪ ڪهاڻيون گوگل سرچ ۽ ٽاپ اسٽوريز ۾.
ٽيڪنالاجي ۽ گاڏين جو ماهر جديد ڪارن، اسمارٽ فونز، AI ڪاميابين، ۽ ...
شيئرز
