مارکټیکپوسټ د توکن سیور خپور کړی، د خلاصې سرچینې کلاډ ډیسټاپ توسیع دی چې د لوی پی ډی ایف سندونو سره کار کولو پرمهال د کارول شوي ټوکنونو شمیر کمولو لپاره ډیزاین شوی.
د MIT جواز لرونکی وسیله، اوس مهال په 1.0 نسخه کې، د کاروونکي کمپیوټر کې د PDFs لټون کولو لپاره محلي بیاکتنه کاروي او کلاډ یوازې د ټول سند پر ځای د یوې پوښتنې سره تړاو لري. مارکټیک پوسټ د سند اندازې او کارونې پورې اړه لري ، د 92٪ څخه تر 99٪ پورې د نښه کمولو راپور ورکوي.
Token Saver په Marktechpost AI Media Inc. کې د روچیسټر ټیکنالوژۍ انسټیټیوټ کې د کمپیوټر ساینس زده کونکي ارناو رای لخوا د جین مارک مومیسین او اصف رزاق تر څارنې لاندې د انټرنشپ پرمهال رامینځته شوی.
وسیله یوه ستونزه په نښه کوي چې څرګندیږي کله چې کاروونکي په مکرر ډول د لوی سندونو په اړه د AI ماډل پوښتنې کوي.
د مارکټیک پوسټ په وینا ، خبرو اترو ته د 200 مخ پی ډی ایف اضافه کول یوازې د یو وخت شرایطو لګښت نه رامینځته کوي. سند د خبرو اترو د شرایطو یوه برخه پاتې کیږي او د وروستیو بدلونونو په جریان کې بیا پروسس کیدی شي، د ټکن کارول زیاتیږي لکه څنګه چې بحث دوام لري.
مارکټیک پوسټ وايي چې د پی ډی ایف پروسس کولی شي دواړه استخراج شوي متن او د پاڼې عکسونه هم شامل کړي ترڅو عناصر لکه چارټونه او ترتیبونه وساتي. یوازې متن کولی شي په هره پاڼه کې نږدې 1500 څخه تر 3000 ټوکونو ته ورسیږي، د دې راپور له مخې.
سمدستي کیچنګ او کلاډ پروژې کولی شي ځینې سرونه کم کړي، مګر مارکټیکپوسټ استدلال کوي چې دوی چمتو کونکي ته د سند لیږلو اړتیا نه لرې کوي. دا دا هم وايي چې د AI ماډل څخه غوښتنه کول د 1000 مخونو سند له لارې لټون کول کله چې یوازې یو څو پراګرافونه اړوند وي شرایط ضایع کولی شي او د غلط ځوابونو چانس ډیروي.
د ټوکن سیور د محلي ماډل مقایسه پروتوکول (MCP) سرور په توګه کار کوي، کلاډ ډیسټاپ ته اجازه ورکوي چې دا د اسنادو لټون وسیلې په توګه وکاروي.
PDF پخپله د کارونکي کمپیوټر کې پاتې کیږي. کله چې پوښتنه وشي، د ټوکن سیور سند په محلي توګه لټوي او کلاډ یوازې اړونده برخې لیږي.
د دې هایبرډ RAG سیسټم دوه د ترلاسه کولو میتودونه سره یوځای کوي.
د BM25 کلیدي کلمې پلټنه د SQLite FTS5 کاروي ترڅو د اړوندو شرایطو لرونکي پاسونه ومومي او د 0.4 وزن ترلاسه کوي.
سیمانټیک لټون د 0.6 وزن سره د معنی پراساس د پاسونو موندلو لپاره محلي ټول-MiniLM-L6-v2 ایډیډینګ ماډل او کوزین ورته والی کاروي.
د سرایت کولو برخه اختیاري ده. که موډل نشي پورته کولی، د ټوکن سیور بیرته د کلیدي کلمې پر بنسټ بیرته ترلاسه کولو ته راځي.
مارکټیکپوسټ د اته مرحلې پروسې تشریح کوي چې په محلي ډول پرمخ ځي مخکې له دې چې معلومات کلاډ ته ورسیږي.
د دې طریقې معنی دا ده چې کلاډ د بشپړ پی ډی ایف پرځای د پا pageې حواله شوي پاسونو کوچنۍ ټولګه ترلاسه کوي.
مارکټیک پوسټ په دریو سندونو کې د توکن سیور بنچمارک کړی او د ټیکټوکن په کارولو سره د ټوکن شمیرې اندازه کوي.
Marktechpost یادونه کوي چې ارقام cl100k_base د پراکسي ټوکنائزر په توګه کاروي او ګومان کوي چې ټول سند به د هرې پلټنې په جریان کې چارج شي.
د پروژې اسناد دا هم روښانه کوي چې سپما د سند په اندازې او د پرتله کولو اساس پورې اړه لري. د دې اوسني GitHub اسناد وايي چې ګټه وده کوي ځکه چې اسناد لوی کیږي ځکه چې د ترلاسه شوي متن مقدار نسبتا کوچنی پاتې کیږي.
د ټوکن سیور هم د محلي سند محرمیت شاوخوا ډیزاین شوی.
مارکټیک پوسټ وايي چې اصلي PDF هیڅکله د ټوکن سیور له لارې نه اپلوډ کیږي. استخراج او ترلاسه کول د کارونکي په ماشین کې پیښیږي، یوازې ټاکل شوي پاسونه کلاډ ته رسیږي.
کاروونکي باید اجازه ورکړل شوي فولډر هم غوره کړي. ټوکن سیور د دې لارښود څخه بهر اسنادو ته لاسرسی ردوي.
د کلاډ ډیسټاپ سره اړیکه د اوریدونکي شبکې پورټ پرځای د معیاري ان پټ/آؤټ پټ یا سټیډیو له لارې ترسره کیږي.
پروژه د یو کوچني وقف شوي فولډر کارولو وړاندیز کوي چې یوازې هغه اسناد لري چې کارونکي یې کلاډ ته لاسرسی لري.
مارکټیچ پوسټ وايي د ټوکن سیور د کلاډ ماډلونو سره کار کوي مګر د ازموینې پرمهال توپیرونه وموندل.
کلاډ 3.5 سونیټ د عمومي اختیار په توګه وړاندیز شوی. دا لږ دقیق فایل حوالې اداره کړي، له کاروونکو څخه یې وغوښتل چې روښانه کړي کله چې د فایل نومونه ورته وي، او په سمه توګه د ترلاسه شوي پاڼې حوالې کارول کیږي.
Claude 3 Opus د پیچلو اسنادو سره چې مختلف غږونه لري، ښه ترسره کړي، لکه د اکثریت سره قانوني قضاوت او د اختلاف نظرونه. دا کیدی شي دا هم په ګوته کړي کله چې یو انتساب د مستقیم بیان پرځای د شرایطو څخه اټکل شوی و.
د ټوکن سیور د یو واحد .mcpb بنډل په توګه توزیع شوی، د Python چاپیریال او د ټرمینل ترتیب څخه مخنیوی کوي چې ډیری وختونه د ځایی AI وسیلو لخوا اړین دي.
کاروونکي token-saver-ccr.mcpb ډاونلوډ کړئ، د کلاډ ډیسټاپ خلاص کړئ → ترتیبات → توسیعونه → توسیع نصب کړئ، فعال کړئ، او هغه فولډر غوره کړئ چې د دوی PDFs لري. کلاډ د اجازې غوښتنه کوي کله چې وسیله لومړی کارول کیږي، وروسته له دې چې کاروونکي کولی شي دوامدار لاسرسي ته اجازه ورکړي.
ترویج تر هغه وخته پورې کار نه کوي چې اجازه ورکړل شوي فولډر غوره شوی نه وي. دا فولډر تعریفوي چې د ټوکن سیور څه لوستل کیدی شي ، کاروونکو ته اجازه ورکوي د بشپړ لارو پرځای د فایل نوم لخوا اسنادو ته مراجعه وکړي ، او کلاډ د موجود سند لیست چمتو کوي.
مارکټیک پوسټ د خلکو لپاره وسیله په مکرر ډول د لوی موادو سره کار کوي لکه قانوني قضاوتونه ، تخنیکي معیارونه ، مالي راپورونه ، او درسي کتابونه.
وروستي تخنیکي خبرونه، د مخابراتو بصیرت، او د محصول لانچ هرچیرې چې تاسو غوره کوئ ترلاسه کړئ.
په غوره سرچینو کې پروپاکستاني اضافه کړئ او زموږ نور کیسې په ګوګل لټون او غوره کیسو کې وګورئ.
د ټیکنالوژۍ او موټرو متخصص وروستي موټرې، سمارټ فونونه، د AI بریالیتوبونه، او ...
ونډې
