Datacurve توں اِکَّ نَوَاں AI کوڈِن٘گَ بَین٘چَمَارَکَ سُجھَاءاَ دِن٘دَا ہَے کِ موہَرِی پھَرَن٘ٹِیءاَرَ مَاڈَلَاں دَا میلَ نَہِیں کھَان٘دَا جِنَّا مَوجُودَا جَنَتَکَ لِیڈَرَبورَڈَ اُہَنَاں نُوں دِکھَاؤُن٘دَا ہَے۔
مَہِینِءآں توں، سَکیلَ اےءآئِی دے SWE-بَین٘چَ پْرو لِیڈَرَبورَڈَ نے اوپَنَئےءآئِی دے GPT-۵ پَرِوَارَ، اَین٘تھَروپِکَ دے کَلَاؤُڈَ اوپَسَ، اَتے گُوگَلَ دے جَیمِنِی پْرو نُوں مُکَابَلَتَنَ نَزَدِیکِی سِیمَا وِچَّ پْرَدَرَشَنَ کَرَدے ہوئے دِکھَائِا ہَے۔ اِسَنے اَین٘ٹَرَپْرَائِیزَ کھَرِیدَدَارَاں اَتے اِن٘جِینِیءاَرِن٘گَ نیتَاوَاں لَئِی اِہَ نِرَݨَا کَرَنَا مُشَکَلَ بَݨَا دِتَّا کِ کِہَڑَا اےءآئِی کوڈِن٘گَ ایجَن٘ٹَ اَسَلَ کوڈَبیسَ دے اَن٘دَرَ سَبھَ توں وَدھِیءآ پْرَدَرَشَنَ کَریگَا۔
ڈَیٹَاکَرَوَ دَا نَوَاں بَین٘چَمَارَکَ، جِسَنُوں ڈِیپَءاَیسَڈَبَلَیُوئِی کِہَا جَان٘دَا ہَے، اِکَّ بَہُتَ وِءآپَکَ پْرَدَرَشَنَ اَن٘تَرَ پیشَ کَرَدَا ہَے۔ ٹَیسَٹَ وِچَّ ۹۱ اوپَنَ سورَسَ رِپوزَٹَرِیءآں اَتے پَن٘جَ پْروگَرَامِن٘گَ بھَاشَاوَاں وِچَّ ۱۱۳ کَارَجَ شَامَلَ ہَنَ۔ اِسَ بَین٘چَمَارَکَ 'تے، OpenAI دے GPT-۵۔۵ نے ۷۰ پْرَتِیشَتَ سَکورَ دے نَالَ کھیتَرَ دِی اَگَوَائِی کِیتِی، اِسَ نُوں نَزَدِیکِی پْرَتِییوگِی توں ۱۶ اَن٘کَ اَگّے رَکھِّءآ۔
Datacurve سَہِ-لیکھَکَ سیرینَا جِی نے X 'تے لِکھِءآ ہَے کِ جَنَتَکَ لِیڈَرَبورَڈَ اَکَسَرَ چوٹِی دے مَاڈَلَاں نُوں سَمَرَتھَّا دے نیڑے دِکھَائِی دِن٘دے ہَنَ، جَدوں کِ DeepSWE دِکھَاؤُن٘دَا ہَے کِ اُہَ اَسَلَ وِچَّ ڈِوَیلَپَرَ دے کَمَّ وِچَّ کِتھّے وَکھَّرے ہُن٘دے ہَنَ۔
Datacurve نے کِہَا کِ DeepSWE نُوں بِہَتَرَ ڈھَن٘گَ نَالَ اِہَ دَرَسَاؤُݨَ لَئِی تِءآرَ کِیتَا گِءآ سِی کِ کِویں ڈِوَیلَپَرَ AI کوڈِن٘گَ ایجَن٘ٹَاں نُوں اَسَلَ کَمَّ سَون٘پَدے ہَنَ۔
زِءآدَاتَرَ کوڈِن٘گَ بَین٘چَمَارَکَ، SWE-بَین٘چَ پَرِوَارَ سَمیتَ، اَسَلَ GitHub کَمِٹَاں توں کَمَّ بَݨَاؤُن٘دے ہَنَ۔ اُہَ اِکَّ رِپوزَٹَرِی دے اِتِہَاسَ توں اِکَّ بَگَّ پھِکَسَ جَاں وِشیشَتَا لَین٘دے ہَنَ، کوڈَ نُوں اِسَدِی پُرَاݨِی سَتھِتِی وِچَّ وَاپَسَ کَرَدے ہَنَ، اَتے اِکَّ AI ایجَن٘ٹَ نُوں پھِکَسَ نُوں دُبَارَا بَݨَاؤُݨَ لَئِی کَہِن٘دے ہَنَ۔ اَسَلَ ٹَیسَٹَ سُوٹَ پھِرَ جَان٘چَ کَرَدَا ہَے کِ ایجَن٘ٹَ دَا پَیچَ کَمَّ کَرَدَا ہَے جَاں نَہِیں۔
Datacurve دَلِیلَ دِن٘دَا ہَے کِ اِہَ سِسَٹَمَ کَئِی سَمَسِّءآوَاں پَیدَا کَرَدَا ہَے۔ پَہِلِی گَن٘دَگِی ہَے۔ کِؤُن٘کِ کَمَّ جَنَتَکَ GitHub اِتِہَاسَ توں آؤُن٘دے ہَنَ، اَسَلَ مُدَّا، چَرَچَا، اَتے کَئِی وَارَ سَہِی ہَلَّ پَہِلَاں ہِی سَرَہَدِّی مَاڈَلَاں دے سِکھَلَائِی ڈیٹَا وِچَّ مَوجُودَ ہو سَکَدَا ہَے۔
اَجَّ اَسِیں DeepSWE، ایجَن٘ٹِکَ کوڈِن٘گَ بَین٘چَمَارَکَاں لَئِی اِکَّ نَوَاں مِءآرَ جَارِی کَرَ رَہے ہَاں۔
جَنَتَکَ لِیڈَرَبورَڈَاں 'تے، چوٹِی دے مَاڈَلَ اَکَسَرَ سَمَرَتھَّا وِچَّ مُکَابَلَتَنَ نیڑے دِکھَائِی دِن٘دے ہَنَ۔ ڈِیپَءاَیسَڈَبَلَیُوئِی دِکھَاؤُن٘دَا ہَے کِ اُہَ اَسَلَ وِچَّ کِتھّے وَکھَّ ہو جَان٘دے ہَنَ، اُہَنَاں دے روزَانَا دے کَمَّ وِچَّ ڈِوَیلَپَرَاں دے یَتھَارَتھَوَادِی اَنُبھَوَ نُوں دَرَسَاؤُن٘دے ہَنَ۔ pic۔twitter۔com/HCDcjNuTFK
— سیرینَا جِی (ڈَاٹَاکَرَوَ) (@serenaa_ge) ۲۶ مَئِی، ۲۰۲۶
دُوجَا مُدَّا کَمَّ دَا آکَارَ ہَے۔ SWE-Bench Pro کَارَجَاں لَئِی پَن٘جَ پھَائِیلَاں وِچَّ اَوسَتَنَ ۱۲۰ لَائِینَاں کوڈَ دِی لوڑَ ہُن٘دِی ہَے۔ DeepSWE سَن٘دَرَبھَ ہَلَّ اَوسَتَنَ ۶۶۸ سَتَّ پھَائِیلَاں وِچَّ لَائِینَاں جوڑَدے ہَنَ، اُہَنَاں نُوں لَگَبھَگَ ۵۔۵ گُݨَا وَڈَّا بَݨَاؤُن٘دے ہَنَ۔
DeepSWE مَاڈَلَاں نُوں چھوٹے پْرون٘پَٹَ وِی دِن٘دَا ہَے۔ اِہَ SWE-بَین٘چَ پْرو لَئِی ۴۶۱۴ اَکھَّرَاں دِی تُلَنَا وِچَّ اَوسَتَنَ ۲۱۵۸ اَکھَّرَ پْرون٘پَٹَ کَرَدَا ہَے۔ اِسَدَا مَتَلَبَ ہَے کِ ڈِیپَءاَیسَڈَبَلَیُوئِی ایجَن٘ٹَاں نُوں وَدھیرے آؤُٹَپُٹَّ دِی اُمِیدَ کَرَدے ہوئے گھَٹَّ ہَدَائِتَاں دِن٘دَا ہَے، جو ڈیٹَاکَرَوَ کَہِن٘دَا ہَے کِ ڈِوَیلَپَرَ اَبھِءآسَ وِچَّ AI سَہَائِکَ دِی وَرَتوں کِویں کَرَدے ہَنَ۔
Datacurve نے SWE-Bench Pro وِچَّ وَرَتے جَاݨَ وَالے سَوَیچَلِتَ گْریڈَرَاں دِی بھَروسییوگَتَا بَارے وِی چِن٘تَاوَاں پَیدَا کِیتِیءآں ہَنَ۔
کَن٘پَنِی نے DeepSWE اَتے SWE-Bench Pro دووَاں توں ۳۰ بیتَرَتِیبَ کَمَّاں دِی سَمِیکھِءآ کِیتِی۔ اِسَنے پھِرَ ۱۰ پھَرَن٘ٹِیءاَرَ مَاڈَلَ کَون٘پھِگَریشَنَاں وِچَّ تِنَّ رولَءآؤُٹَ چَلَائِا اَتے اِہَ جَان٘چَ کَرَنَ لَئِی اِکَّ LLM-اَدھَارِتَ جَجَّ دِی وَرَتوں کِیتِی کِ کِی ہَریکَ پَیچَ نے اَسَلَ وِچَّ نِرَدھَارَتَ کَمَّ نُوں ہَلَّ کِیتَا ہَے جَاں نَہِیں۔
Datacurve دے اَنُسَارَ، SWE-Bench Pro دے وَیرِیپھَائِرَزَ نے سَمیں دے ۸۔۵ پْرَتِیشَتَ گَلَتَ ہَلَّ سَوِیکَارَ کِیتے اَتے ۲۴ پْرَتِیشَتَ سَمیں وِچَّ سَہِی ہَلَّاں نُوں رَدَّ کَرَ دِتَّا۔ DeepSWE دے وَیرِیپھَائِرَ نے بَہُتَ گھَٹَّ دَرَاں دَرَجَ کِیتِیءآں، ۰۔۳ پْرَتِیشَتَ نے گَلَتَ ہَلَّ سَوِیکَارَ کِیتے اَتے ۱۔۱ پْرَتِیشَتَ نے سَہِی نُوں رَدَّ کَرَ دِتَّا۔
گَلَتَ نَکَارَاتَمَکَ مُدَّا کھَاسَ تَورَ 'تے مَہَتَّوَپُورَنَ ہَے کِؤُن٘کِ اِہَ وَیدھَ ہَلَّاں نُوں سَزَا دے سَکَدَا ہَے جو مُولَ لیکھَکَ دے لَاگُو کَرَنَ توں وَکھَّرے ہَنَ۔ اِکَّ کیسَ وِچَّ، اِکَّ SWE-بَین٘چَ پْرو ٹَاسَکَ نے اَسَلَ پُلَّ بینَتِی توں اِکَّ پْرَائِیویٹَ سَہَائِکَ پھَن٘کَشَنَ دِی اُمِیدَ کِیتِی سِی۔ اِکَّ AI ایجَن٘ٹَ نے اُسے تَرَکَ نُوں اِنَلَائِینَ کَرَکے کَمَّ نُوں ہَلَّ کِیتَا، پَرَ اَسَپھَلَ رِہَا کِؤُن٘کِ ٹَیسَٹَ سُوٹَ نے اِکَّ پْرَتِیکَ آیَاتَ کَرَنَ دِی کوشِشَ کِیتِی جو سِرَپھَ اَسَلَ ہَلَّ وِچَّ مَوجُودَ سِی۔
جیکَرَ Datacurve دِی کھوجَ دِی پُشَٹِی ہو جَان٘دِی ہَے، تَاں اِہَ پْرَبھَاوِتَ کَرَ سَکَدَا ہَے کِ کِویں اَین٘ٹَرَپْرَائِیزَ کھَرِیدَدَارَ، اُدَّمَ پُون٘جِی پھَرَمَاں، اَتے AI لَیبَزَ بَین٘چَمَارَکَ سَکورَ دِی وِءآکھِءآ کَرَدے ہَنَ۔ اُچَّ گَریڈِن٘گَ اَشُدھِّی دَرَ وَالَا اِکَّ بَین٘چَمَارَکَ مَاڈَلَ پْرَگَتِی دَا اِکَّ گُمَّرَاہَکُنَّ دْرِشَ دے سَکَدَا ہَے۔
DeepSWE پْرَمُکھَّ AI کوڈِن٘گَ مَاڈَلَاں دِی رَین٘کِن٘گَ نُوں بَدَلَدَا ہَے۔
GPT-۵۔۵ نے ۷۰ پْرَتِیشَتَ سَکورَ نَالَ اَگَوَائِی کِیتِی۔ GPT-۵۔۴ نے ۵۶ پْرَتِیشَتَ اَن٘کَ پْرَاپَتَ کِیتے، جَدوں کِ کَلَاؤُڈَ اوپَسَ ۴۔۷ نے ۵۴ پْرَتِیشَتَ اَن٘کَ پْرَاپَتَ کِیتے۔
اُسَ توں بَاءاَدَ، پْرَدَرَشَنَ وِچَّ تیزِی نَالَ گِرَاوَٹَ آئِی۔ کَلَاؤُڈَ سونَیٹَّ ۴۔۶ نے ۳۲ پْرَتِیشَتَ، جیمِنِی ۳۔۵ پھَلَیشَ نے ۲۸ پْرَتِیشَتَ، اَتے جِیپِیٹِی-۵۔۴ مِنِی اَتے کِمِی کے ۲۔۶ دووَاں نے ۲۴ پْرَتِیشَتَ سَکورَ کِیتے۔ ہورَ مَاڈَلَ کِشورَاں جَاں سِن٘گَلَ اَن٘کَاں وِچَّ اُتَرے۔
کَلَوڈَ ہَائِکُو ۴۔۵، جِسَنے SWE-Bench Pro 'تے ۳۹ پْرَتِیشَتَ سَکورَ کِیتَا، DeepSWE 'تے زِیرو 'تے ڈِگَّ گِءآ۔ Datacurve نے کِہَا کِ اِہَ سُجھَاءاَ دِن٘دَا ہَے کِ کُجھَ مَدھَّ-پَدھَّرِی مَاڈَلَاں نے اَوکھے کوڈِن٘گَ کَارَجَاں نَالوں آسَانَ جَاں سَن٘بھَاوِی تَورَ 'تے دُوشِتَ بَین٘چَمَارَکَاں 'تے بِہَتَرَ پْرَدَرَشَنَ کِیتَا ہَے۔ GPT-۵۔۵ نے لَاگَتَ کُشَلَتَا 'تے وِی زورَدَارَ پْرَدَرَشَنَ کِیتَا۔ مَاڈَلَ $۵۔۸۰ پْرَتِی اَزَمَائِشَ دِی مَدھَّمَ لَاگَتَ، ۲۰ مِن٘ٹَ دِی مَدھَّمَ کَن٘دھَ گھَڑِی دَا سَمَاں، اَتے ۴۷۰۰۰ ٹوکَنَاں دِی اَوسَتَ آؤُٹَپُٹَّ دے نَالَ آپَݨِی ۷۰ پْرَتِیشَتَ پَاسَ دَرَ 'تے پَہُن٘چَ گِءآ۔
GPT-۵۔۴ مَزَبُوتَ سَمُچِّی کِیمَتَ دِی پیشَکَشَ کَرَدَا دِکھَائِی دِن٘دَا ہَے، پْرَتِی اَزَمَائِشَ $۳۔۳۰ دِی اَوسَتَ لَاگَتَ نَالَ ۵۶ پْرَتِیشَتَ سَکورَ کَرَدَا ہَے۔
ڈیٹَاکَرَوَ نے کِہَا کِ کَلَاؤُڈَ اوپَسَ ۴۔۷ دِی کِیمَتَ پْرَتِی رَنَ بَہُتَ زِءآدَا ہَے۔ اِسَ نے اِہَ وِی پَائِا کِ آؤُٹَپُٹَّ ٹوکَنَ، رَنَٹَائِیمَ، اَتے لَاگَتَ ٹَیسَٹَ کِیتے ایجَن٘ٹَاں وِچَّ وِءآپَکَ تَورَ 'تے وَکھّو-وَکھَّرے ہَنَ۔ ہَالَان٘کِ، اُچَّ کھَرَچَا، لَمِّی دَوڑَ، جَاں وَڈّے آؤُٹَپُٹَّ لَگَاتَارَ بِہَتَرَ نَتِیجے نَہِیں لِءآئے۔
Datacurve نے کِہَا کِ DeepSWE سَن٘پُورَݨَ نَہِیں ہَے۔ اِہَ مَاڈَلَ-وِشیشَ سَن٘پَادَنَ سَادھَنَاں دِی وَرَتوں کَرَنَ دِی بَجَائے، جو کِ ہَریکَ پَرِوَارَ نُوں سِکھَلَائِی دِتِّی گَئِی ہو سَکَدِی ہَے، جِویں کِ GPT لَئِی apply_patch جَاں کَلَاؤُڈَ لَئِی str_replace_based_edit_tool دِی وَرَتوں کَرَنَ دِی بَجَائے، بَیشَ دُءآرَا سَارے سَن٘پَادَنَاں نُوں مَانَکِیکْرِتَ ہَارَنیسَ رُوٹَ کَرَدَا ہَے۔
بَین٘چَمَارَکَ ۵۰۰ توں وَدھَّ سِتَارِءآں نَالَ سِرَفَ اوپَنَ سورَسَ رِپوزَٹَرِیءآں دِی وَرَتوں کَرَدَا ہَے۔ نَتِیجے پْرَائِیویٹَ اَین٘ٹَرَپْرَائِیزَ کوڈَبیسَ 'تے پْرَدَرَشَنَ نُوں پُورِی تَرھَاں نَہِیں دَرَسَاؤُن٘دے ہو سَکَدے ہَنَ۔ بَگَّ لوکَالَائِیجیشَنَ اَتے رِیپھَیکَٹَرِن٘گَ کَارَجَ گھَٹَّ پْرَسَتُتَ کِیتے گَئے ہَنَ، اَتے C++ اَتے Java وَرَگِیءآں آمَ بھَاشَاوَاں نُوں شَامَلَ نَہِیں کِیتَا گِءآ ہَے۔
Datacurve نے اِہَ وِی کِہَا کِ اِسَدے گُݨَاتَمَکَ پھَیسَلے مَنُکھِّی سَمِیکھِءاَکَاں دِی بَجَائے اِکَّ LLM وِشَلیشَکَ توں آؤُن٘دے ہَنَ، پْرَتِی بَین٘چَمَارَکَ پْرَتِی مَاڈَلَ لَگَبھَگَ ۹۰ سَمِیکھِءآ کِیتے رولَءآؤُٹَ دے مَامُولِی نَمُونے دے آکَارَ دے نَالَ۔
کَن٘پَنِی نے GitHub 'تے ڈیٹَاسَیٹَ، ایجَن٘ٹَ ٹْرَیجَیکَٹَرِیزَ، اَتے مُلَان٘کَݨَ دِی وَرَتوں پْرَکَاشِتَ کِیتِی ہَے، جِسَ نَالَ دُوجِءآں نُوں نَتِیجِءآں دَا مُءآئِنَا اَتے دُبَارَا اُتَپَادَنَ کَرَنَ دِی اِجَازَتَ دیݨِی چَاہِیدِی ہَے۔
DeepSWE پَہُن٘چِءآ کِؤُن٘کِ کَن٘پَنِیءآں AI کوڈِن٘گَ ایجَن٘ٹَاں نُوں اَپَݨَاؤُݨَ لَئِی تیزِی نَالَ اَگّے وَدھَ رَہِیءآں ہَنَ۔ جیکَرَ اَوِشَوَاشَیوگَ گَریڈِن٘گَ اَتے بَین٘چَمَارَکَ گَن٘دَگِی بَارے اِسَ دِیءآں کھوجَاں بَرَکَرَارَ رَہِن٘دِیءآں ہَنَ، تَاں AI اُدَیوگَ نُوں مُڑَ وِچَارَ کَرَنَ دِی لوڑَ ہو سَکَدِی ہَے کِ اِہَ کوڈِن٘گَ پْرَدَرَشَنَ نُوں کِویں مَاپَدَا ہَے۔
📢 نَوِینَتَمَ تَکَنِیکِی اَتے دُورَسَن٘چَارَ خَبَرَاں، وِیڈِیؤ اَتے وِشَلیشَݨَ لَئِی ہُݨے پْروپَاکِسَتَانِی دے وَٹَسَءاَیپَ گَرُپَّ وِچَّ شَامَلَ ہووو!
گُوگَلَ نِؤُزَ 'تے پْروپَاکِسَتَانِی دَا پَالَݨَ کَرو اَتے آپَݨِی مَنَپَسَن٘دَ سَمَگَّرِی نُوں تیزِی نَالَ سَکْرولَ کَرو!
شےءاَرَ
