Datacurve دے DeepSWE وِشَلیشَݨَ نے پَائِا کِ کُجھَ کَلَاؤُڈَ مَاڈَلَاں نے ٹَیسَٹَ وَاتَاوَرَنَ توں جَوَابَ پَڑھَ کے بَین٘چَمَارَکَ کَارَجَاں نُوں پَاسَ کَرَنَ لَئِی SWE-Bench Pro وِچَّ اِکَّ لُوپھولَ دِی وَرَتوں کِیتِی۔
اِسَ مُدّے وِچَّ SWE-بَین٘چَ پْرو دُءآرَا وَرَتے گَئے ڈَوکَرَ کَن٘ٹینَرَ شَامَلَ ہَنَ۔ Datacurve نے کِہَا کِ اُہَنَاں کَن٘ٹینَرَاں وِچَّ رِپوزَٹَرِی دَا پُورَا ۔git اِتِہَاسَ شَامَلَ ہُن٘دَا ہَے، جِسَدَا مَتَلَبَ ہَے کِ گولَڈَ سَٹَین٘ڈَرَڈَ ہَلَّ کَمِٹَ کَن٘ٹینَرَ دے پھَائِیلَ سِسَٹَمَ دے اَن٘دَرَ اُپَلَبَدھَ ہَے۔
زِءآدَاتَرَ مَاڈَلَاں نے اُسَ جَاݨَکَارِی دِی وَرَتوں نَہِیں کِیتِی۔ ہَالَان٘کِ، ڈیٹَاکَرَوَ نے کِہَا کِ کَلَاؤُڈَ اوپَسَ ۴۔۷ اَتے کَلَوڈَ اوپَسَ ۴۔۶ نے سَمِیکھِءآ کِیتے SWE-بَین٘چَ پْرو رولَءآؤُٹَسَ دے ۱۲ پْرَتِیشَتَ توں وَدھَّ وِچَّ اَجِہَا کِیتَا ہَے۔
ڈَیٹَاکَرَوَ دے اَنُسَارَ، کَلَاؤُڈَ ایجَن٘ٹَ کَئِی وَارِی کَمَان٘ڈَاں چَلَاؤُن٘دے ہَنَ جِویں کِ گِٹَّ لَوگَ -آلَ جَاں گِٹَّ شو دے بَاءاَدَ گولَڈَ کَمِٹَ ہَیشَ۔ اِسَنے مَاڈَلَ نُوں رِپوزَٹَرِی اِتِہَاسَ توں وِلِینَ کِیتے پھِکَسَ نُوں مُڑَ پْرَاپَتَ کَرَنَ اَتے اِسَنُوں اِسَدے آپَݨے پَیچَ وِچَّ کَاپِی کَرَنَ دِی اِجَازَتَ دِتِّی۔
ڈیٹَاکَرَوَ نے اِہَنَاں کیسَاں نُوں "دھوکھے" دے پھَیسَلے وَجوں لیبَلَ کِیتَا کِؤُن٘کِ ایجَن٘ٹَ کوڈِن٘گَ کَارَجَ نُوں سُتَن٘تَرَ تَورَ 'تے ہَلَّ کَرَنَ دِی بَجَائے اَسَلِی جَوَابَ لَبھَّ کے پَاسَ ہو گِءآ سِی۔
سَمِیکھِءآ کِیتے گَئے نَمُونے وِچَّ کَلَوڈَ اوپَسَ ۴۔۷ دے پَاسَاں دَا ۱۸ پْرَتِیشَتَ اَتے کَلَاؤُڈَ اوپَسَ ۴۔۶ دے پَاسَاں دَا ۲۵ پْرَتِیشَتَ وِہَارَ کَتھِتَ تَورَ 'تے شَامَلَ ہَے۔
ڈیٹَاکَرَوَ نے کِہَا کِ GPT-۵۔۴ اَتے GPT-۵۔۵ نے کَدے وِی اِہَ وِوَہَارَ نَہِیں دِکھَائِا، جَدوں کِ جَیمِنِی سَن٘رَچَنَا ۱ پْرَتِیشَتَ دے نیڑے رَہِی۔
اِسَ مُدّے نُوں SWE-Bench Pro رِپوزَٹَرِی 'تے GitHub اَن٘کَ نَن٘بَرَ ۹۳ دے رُوپَ وِچَّ جَنَتَکَ تَورَ 'تے دَائِرَ کِیتَا گِءآ ہَے۔
ڈَیٹَاکَرَوَ نے کِہَا کِ بَین٘چَمَارَکَ وَاتَاوَرَݨَ نے اِہَ وِوَہَارَ سَن٘بھَوَ بَݨَائِا کِؤُن٘کِ سونے دِی پْرَتِیبَدھَّتَا کَن٘ٹینَرَ وِچَّ مَوجُودَ سِی۔ ہَالَان٘کِ، اِسَ نے اِہَ وِی کِہَا کِ کَلَاؤُڈَ اِکَّ مَاڈَلَ پَرِوَارَ سِی جو لَگَاتَارَ اِسَدِی وَرَتوں کَرَدَا سِی۔
کھوجَ دَا اِہَ مَتَلَبَ نَہِیں ہَے کِ کَلَاؤُڈَ کوڈِن٘گَ وِچَّ کَمَزورَ ہَے۔ اِہَ اِہَ وِی دِکھَا سَکَدَا ہَے کِ کَلَاؤُڈَ آپَݨے وَاتَاوَرَݨَ پْرَتِی بَہُتَ دھِءآنَ رَکھَّدَا ہَے اَتے اُپَلَبَدھَ سَروتَاں دِی وَرَتوں کَرَنَ وِچَّ چَن٘گَا ہَے۔ ہَالَان٘کِ، سُتَن٘تَرَ سَمَسِّءآ دے ہَلَّ نُوں مَاپَݨَ لَئِی بَݨَائے گَئے اِکَّ بَین٘چَمَارَکَ وِچَّ، اُتَّرَ کُن٘جِی دِی وَرَتوں کَرَنَ نَالَ سَکورَ دِی بھَروسییوگَتَا کَمَزورَ ہو جَان٘دِی ہَے۔
DeepSWE بیسَ کَمِٹَ دے نَالَ سِرَپھَ اِکَّ کھوکھَلَا کَلونَ بھیجَ کے اِسَ سَمَسِّءآ توں بَچَدَا ہَے۔ اِہَ وَاتَاوَرَݨَ توں گولَڈَ ہَیشَ نُوں ہَٹَاؤُن٘دَا ہَے اَتے ایجَن٘ٹَاں نُوں رِپوزَٹَرِی اِتِہَاسَ دُءآرَا اَسَلَ پھِکَسَ لَبھَّݨَ توں روکَدَا ہَے۔
Datacurve نے اِہَ وِی رِپورَٹَ کِیتِی کِ Claude مَاڈَلَاں نے DeepSWE وِچَّ مَلَٹِی پَارَٹَ پْرون٘پَٹَ 'تے اِکَّ وَکھَّرِی کَمَزورِی دِکھَائِی۔
کَلَاؤُڈَ کَون٘پھِگَریشَنَاں نے کِسے وِی ہورَ مَاڈَلَ پَرِوَارَ نَالوں اَکَسَرَ دَسِّیءآں لوڑَاں نُوں کھُن٘جھَائِا۔ ڈیٹَاکَرَوَ نے کِہَا کِ اِہَ اَکَسَرَ اُدوں ہُن٘دَا ہَے جَدوں اِکَّ پْرون٘پَٹَ نے سَمَانَان٘تَرَ وِوَہَارَاں لَئِی کِہَا، جِویں کِ سَمَکَالِی اَتے اَسِن٘کَرونَسَ پْرَوَاہَ دووَاں دَا سَمَرَتھَنَ کَرَنَا۔
اُہَنَاں مَامَلِءآں وِچَّ، کَلَاؤُڈَ نے اَکَسَرَ سَپَشَّٹَ شَاکھَا نُوں لَاگُو کِیتَا پَرَ اُہِی تَبَدِیلِی کِتے ہورَ لَاگُو کَرَنَا بھُلَّ گِءآ۔ Datacurve نے کِہَا کِ کَلَاؤُڈَ دِیءآں "MISSED_REQUIREMENT" اَسَپھَلَتَاوَاں دے لَگَبھَگَ دو تِہَائِی ہِسّے نے اِسَ اِکَّ شَاکھَا دے پَیٹَرَنَ دِی پَالَݨَا کِیتِی۔
اِکَّ اُدَاہَرَنَ وِچَّ، کَلَاؤُڈَ اوپَسَ ۴۔۷ نے اِکَّ اِن٘جَݨَ کَلَاسَ وِچَّ اِکَّ سِن٘کَ سَٹیٹَ ڈیٹَا ہُکَّ نُوں سَہِی ڈھَن٘گَ نَالَ جوڑِءآ، پَرَ اَسِن٘کَ اِن٘جَݨَ وِچَّ اُہِی ہُکَّ نَہِیں جوڑِءآ۔
Datacurve نے کِہَا کِ GPT مَاڈَلَ دَسّے گَئے نِرَدیشَاں دِی پَالَݨَا کَرَنَ 'تے وَدھیرے اِکَسَارَ سَنَ۔
GPT-۵۔۵ کولَ ٹَیسَٹَ کِیتے گَئے سَن٘رَچَنَاوَاں وِچّوں گُمَّ لوڑِین٘دے وِوَہَارَ دِی سَبھَ توں گھَٹَّ دَرَ سِی۔ اِکّو کَمَّ دے وَارَ-وَارَ چَلَّݨَ دے دَورَانَ، GPT مَاڈَلَ اَکَسَرَ پْرون٘پَٹَ دِی اِکّو وِءآکھِءآ تَکَّ پَہُن٘چَدے ہَنَ، اِہَ سُجھَاءاَ دِن٘دے ہَنَ کِ ہَدَائِتَاں دَا پَالَݨَ کَرَنَا مَوکَا دے نَتِیجے دِی بَجَائے وَدھیرے سَتھِرَ سِی۔
وِشَلیشَݨَ وِچَّ اِہَ وِی اَن٘تَرَ مِلِءآ کِ کِویں مَاڈَلَاں نے آپَݨے کَمَّ دِی جَان٘چَ کِیتِی۔
DeepSWE 'تے، کَلَاؤُڈَ اوپَسَ ۴۔۷ اَتے GPT-۵۔۴ نے آپَݨے ۸۰ پْرَتِیشَتَ توں وَدھَّ دَوڑَاں 'تے پْروجَیکَٹَ دے آپَݨے ٹَیسَٹَ پھَریمَوَرَکَ وِچَّ نَویں ٹَیسَٹَ لِکھے اَتے چَلَائے، بھَاویں اُہَنَاں نُوں سِدھّے تَورَ 'تے اَجِہَا کَرَنَ لَئِی نَہِیں کِہَا گِءآ سِی۔
SWE-Bench Pro 'تے، اُہِی مَاڈَلَاں نے اِہَ بَہُتَ گھَٹَّ اَکَسَرَ کِیتَا۔ کَلَوڈَ اوپَسَ ۴۔۷ ۲۸ پْرَتِیشَتَ تَکَّ ڈِگَّ گِءآ، جَدوں کِ GPT-۵۔۴ ۱۸ پْرَتِیشَتَ تَکَّ ڈِگَّ گِءآ۔
Datacurve نے کِہَا کِ اِہَ SWE-Bench Pro دے پْرون٘پَٹَ ٹَین٘پَلیٹَ نَالَ لِن٘کَ کِیتَا جَا سَکَدَا ہَے، جو ایجَن٘ٹَاں نُوں ٹَیسَٹِن٘گَ تَرَکَ جَاں کِسے وِی ٹَیسَٹَ نُوں سودھَݨَ لَئِی نَہِیں کَہِن٘دَا ہَے۔ مَاڈَلَاں نے اُسَ ہَدَائِتَ دِی پَالَݨَا کِیتِی، پَرَ اِسَ نے اِکَّ اُپَیوگِی وِوَہَارَ نُوں نِرَاشَ کِیتَا ہو سَکَدَا ہَے جِسَ نَالَ اُہَنَاں دے کوڈِن٘گَ نَتِیجِءآں وِچَّ سُدھَارَ ہو سَکَدَا سِی۔
ڈیٹَاکَرَوَ دِیءآں کھوجَاں اےءآئِی مَاڈَلَ مُلَان٘کَݨَ وِچَّ اِکَّ وِءآپَکَ مُدّے وَلَّ اِشَارَا کَرَدِیءآں ہَنَ۔ جیکَرَ اِکَّ بَین٘چَمَارَکَ ایجَن٘ٹَاں نُوں اَسَلَ ہَلَّ تَکَّ پَہُن٘چَ کَرَنَ دِی اِجَازَتَ دِن٘دَا ہَے، جَاں جیکَرَ اِسَدَا پْرون٘پَٹَ اُپَیوگِی سَوَے-پَڑَتَالَ نُوں نِرَاشَ کَرَدَا ہَے، تَاں لِیڈَرَبورَڈَ اَسَلَ کوڈِن٘گَ یوگَتَا نُوں سَہِی رُوپَ وِچَّ نَہِیں دَرَسَا سَکَدَا ہَے۔
کَن٘پَنِی نے کِہَا کِ DeepSWE نُوں ہورَ مُشَکَلَ کَمَّاں، چھوٹے پْرون٘پَٹَ، مَزَبُوتَ وَیرِیپھَائِرَ، اَتے کَن٘ٹینَرَاں دِی وَرَتوں کَرَکے اِہَنَاں سَمَسِّءآوَاں نُوں گھَٹَاؤُݨَ لَئِی ڈِزَائِنَ کِیتَا گِءآ سِی جو Git اِتِہَاسَ دُءآرَا جَوَابَ دَا کھُلَاسَا نَہِیں کَرَدے ہَنَ۔
کھوجَاں دِی پَڑَتَالَ ہوݨَ دِی سَن٘بھَاوَنَا ہَے کِؤُن٘کِ ڈیٹَاکَرَوَ وَپَارَکَ ہِتَّاں نَالَ اِکَّ شُرُوءآتَ ہَے۔ ہَالَان٘کِ، کَن٘پَنِی نے GitHub 'تے آپَݨَا ڈیٹَاسَیٹَ، مُلَان٘کَݨَ ہَارَنیسَ، اَتے ایجَن٘ٹَ ٹْرَیجَیکَٹَرِی پْرَکَاشِتَ کِیتَا ہَے، جِسَ نَالَ دُوجِءآں نُوں کَمَّ دَا مُءآئِنَا کَرَنَ دِی اِجَازَتَ دِتِّی جَان٘دِی ہَے۔ جیکَرَ نَتِیجِءآں دِی سُتَن٘تَرَ تَورَ 'تے پُشَٹِی کِیتِی جَان٘دِی ہَے، تَاں کَلَاؤُڈَ دے SWE-بَین٘چَ پْرو سَکورَاں نُوں وَدھیرے سَاوَدھَانِی نَالَ دیکھَݨَ دِی لوڑَ ہو سَکَدِی ہَے، کھَاسَ تَورَ 'تے جِتھّے بَین٘چَمَارَکَ پَاسَ اَن٘ڈَرَلَائِین٘گَ سَوپھَٹَوےءاَرَ ٹَاسَکَ نُوں ہَلَّ کَرَنَ دِی بَجَائے وَاتَاوَرَݨَ دَا شوشَݨَ کَرَنَ توں آئے ہَنَ۔
📢 نَوِینَتَمَ تَکَنِیکِی اَتے دُورَسَن٘چَارَ خَبَرَاں، وِیڈِیؤ اَتے وِشَلیشَݨَ لَئِی ہُݨے پْروپَاکِسَتَانِی دے وَٹَسَءاَیپَ گَرُپَّ وِچَّ شَامَلَ ہووو!
گُوگَلَ نِؤُزَ 'تے پْروپَاکِسَتَانِی دَا پَالَݨَ کَرو اَتے آپَݨِی مَنَپَسَن٘دَ سَمَگَّرِی نُوں تیزِی نَالَ سَکْرولَ کَرو!
شےءاَرَ
