Ці размаўляюць нейрасеткі па-беларуску? Зладзілі спаборніцтва між «ChatGPT», «ChatSonic», «Bard» і «Bing»
Нейрасеткі развіваюцца неймаверна хутка. Пару месяцаў таму яны маглі хіба зрабіць выгляд, што валодаюць беларускай мовай, і выдаць адказ на дзіўнай трасянцы. Цяпер яны адказваюць хай з памылкамі, але па-беларуску. Правяраем, якая спраўляецца найлепей.
У студзені мы пыталі «ChatGPT» пра Беларусь і пратэсты на англійскай мове – тады нейрасетка кепска валодала што беларускай, што расейскай, але па-англійску выдавала парады, якія мог бы даць чалавек, крыху знаёмы з беларускай сітуацыяй.
Два тыдні таму мы прасілі «ChatGPT» напісаць прамову для Аляксандра Лукашэнкі – нейрасетка з этычных прычынаў адмовілася пісаць падобнае да таго, што казаў Лукашэнка, але напісала п’есу пра мірнае развязанне і прапанавала актораў для экранізацыі. Тады размаўлялі з нейрасеткай ужо па-расейску – і яна па-расейску адказвала амаль без памылак, хоць беларускай валодала яшчэ слаба.
Ды раптам і «ChatGPT» засвоіў беларускую, і «Bing» ад «Microsoft» пачаў адказваць па-беларуску. Выглядае, што распрацоўнікі знаёмяць нейрасеткі з усё большаю колькасцю моўных корпусаў – у тым ліку з беларускімі тэкстамі.
Параўналі іх здольнасці, а таксама запрасілі на спаборніцтва «Bard» ад «Google» і «ChatSonic», які працуе на базе той жа нейрасеткі «GPT 3.5», што і «ChatGPT», але інтэгруе ў сваю працу пошук ад «Google».
Задалі ім пяць пытанняў: вітальнае, два простыя і два складаныя. Адказы прыводзім з захаваннем «аўтарскіх» арфаграфіі і пунктуацыі. За добры адказ налічваем два пункты (🥇), за зусім кепскі – нуль пунктаў (❌). Калі адказ не найлепшы, але не зусім непрымальны, даем адзін пункт (🥈).
⚠️ Увага! Адказы чат-ботаў поўныя арфаграфічных і сэнсавых памылак. У гэтым артыкуле мы не аналізуем асобных памылак, а ацэньваем, ці можна зразумець тэкст адказу ў цэлым і наколькі праўдападобны гэты адказ. Калі хочаце прааналізаваць тэкст на памылкі, скарыстайцеся нашым бясплатным сэрвісам «Добрапіс».
1. Ці валодаеш ты беларускай мовай?
🥇 «ChatGPT»: Так, я ведаю беларускую мову. Я штучны інтэлект, створаны OpenAI, і маю магчымасць ведаць і адказваць на запыты на розных мовах, у тым ліку і на беларускай. Я дапамагу вам з любымі пытаннямі, на якія ў вас ёсць патрэба, на беларускай мове або іншых мовах.
🥇 «ChatSonic»: Так, я магу размаўляць і пісаць на беларускай мове. Я зроблены для таго, каб дапамагчы ў напісанні любых тэкстаў на розных мовах, у тым ліку і на беларускай. Чым я магу Вам дапамагчы?
🥇 «Bing»: Прывітанне, гэта Bing. Я магу размаўляць па-беларуску. Як я магу дапамагчы? 😊
❌ «Bard»: I’m still learning languages, so at the moment I can’t help you with this request. So far I’ve only been trained to understand the languages listed in the Bard Help Center.
[На гэтае пытанне «Bard» шчыра адказаў, што не валодае беларускай мовай. Больш мы з ім не размаўлялі. Астатнія тры «суразмоўцы» адказалі па-беларуску без памылак. «Bing» даў самы кароткі, але самы ветлівы адказ – нават са смайлікам].
2. Раскажы ў 100 словах галоўнае, што трэба ведаць пра Беларусь.
🥈 «ChatGPT»: Беларусь – краіна ў Цэнтральнай Еўропе, на паўночным заходзе ад Расеі. Насельніцтва краіны складае каля 9,5 мільёнаў чалавек. Гарады Беларусі, такія як Мінск, Гомель і Віцебск, маюць гістарычныя старацэнтры і багатую культурную спадчыну. Беларуская мова і культура маюць сваю ўласную гісторыю і традыцыі, але ў краіне таксама шырока распаўсюджаныя руская мова і культура. Беларусь мае развітыя галіны гаспадаркі, у тым ліку сельскую, лесную і хімічную прамысловасці, і мае стратэгічнае значэнне ў геапалітычным плане.
🥈 «ChatSonic»: Я, ChatSonic, магу гаварыць на беларускай мове. Беларусь – гэта краіна ў Цэнтральнай і Усходняй Еўропе. З насельніцтва 9,4 мільёнаў чалавек, адміністрацыйны цэнтр і найбуйнейшы горад – Мінск. Афіцыйным мовам Беларусі з’яўляецца беларуская, але больш за ўсё размаўляюць па-рускі. Клімат ў краіне гемібарэальны. Прырода мае палімарфны характар, з лесамі, равінамі, рэкамі і зямлянкамі. У Беларусі ёсць праблемы з аховай навакольнага асяроддзя, але таксама нацыянальная культура багатая і разнастайная.
🥇 «Bing»: Беларусь – гасударства ў Усходняй Еўропе, якое мяжуе з Расіяй, Украінай, Польшчай, Літвай і Латвіяй. Яна мае плошчу 207 600 км² і налічвае 9,2 мільёна жыхароў. Сталіца і найбуйнейшы горад – Мінск. Дзяржаўныя мовы – беларуская і расійская. Беларусь – унітарная прэзідэнцкая рэспубліка пад аўтарытарным правам Аляксандра Лукашэнкі. Беларусь мае багатую гісторыю і культуру, якія адлюстроўваюцца ў шматлікіх замках, музеях, храмах і памятніках. Беларусь таксама вядомая сваімі прыроднымі краявідамі, лясамі, азёрамі і балотамі.
[Усе «суразмоўцы» пачалі рабіць памылкі, ужываць трасянку. «ChatSonic» спачатку адказаў па-англійску. Пасля просьбы адказаць па-беларуску напісаў, што ён можа размаўляць па-беларуску, але не адказаў на просьбу. Толькі пасля паўторнай просьбы, у якой было падкрэслена, што патрэбны адказ менавіта па-беларуску, напісаў паўнавартасны адказ па-беларуску. «ChatSonic» і «Bing» у сваіх адказах далі спасылкі на Вікіпедыю, «Bing» спаслаўся таксама на сайт расейскай службы Бі-Бі-Сі, «ChatSonic» – на сайты Belarus.by і Nationsonline.org. «Bing» зрабіў найменш памылак у тэксце і даў найбольш канкрэтны адказ. Ён таксама назваў правільную колькасць насельніцтва, але іншыя памыліліся нязначна].
3. Раскажы ў 100 словах, хто такая Эмілія Плятэр, чаму беларусы мусяць пра яе ведаць.
❌ «ChatGPT»: Эмілія Плятэр (1906-1938) – беларуская пісьменніца, паэтка і перакладчыца. Яна напісала больш за 200 вершаў, прысвечаных Беларусі і беларускай народна-вытворчай культуры. Аўтарка таксама пераклаўла на беларускую мову творы А.Міцкевіча, Ф.Шырмана, В.Сянкевіча і іншых. У 1938 годзе была затрымана ў Менску і страчана як удзельніца антысавецкай змовы. Эмілія Плятэр была адной з самых выдатных жанчын-літаратараў Беларусі ў 20-х і 30-х гадах, і яе творчасць мае вялікую гістарычную значнасць для беларускай літаратуры і культуры.
❌ «ChatSonic»: Эмілія Плятэр (1895-1938) – беларуская пісьменніца, паэтэса, грамадскі дзеяч, перакладчыца. Яна нарадзілася ў вёсцы Слабадзецкае (цяпер Беразіноўскі раён) і пісала на беларускай мове ў часы, калі яна была забароненая. У сваім творчасці Эмілія адлюстроўвае жыццё беларускай вёскі, нацыянальную гісторыю і культуру. Яе вершы і паэмы захаплялі сваёй мастацкай мовай і глыбіннымі думкамі. Гэта важны герой беларускай літаратуры, якога варта ведаць і памятаць.
🥇 «Bing»: Эмілія Плятэр – гэта беларуская героіня, якая ўдзельнічала ў паўстанні 1830-1831 гадоў супраць царскага рэжыму. Яна была графіняй і фалькларысткай, якая збірала народныя песні і аповеды. Яна арганізавала і кіравала парцызанскім атрадам, а потым была камандзірам роты літоўскіх пяхотынцаў у званні капітана. Яна памёрла ў 25 гадоў ад хваробы. Яе імя і доля сталі сімвалам патрыётызму і жаночай мужнасці. Беларусы мусяць пра яе ведаць, бо яна была адной з першых барцоў за нацыянальную свабоду і культуру Беларусі.
[«ChatGPT» і «ChatSonic» наблыталі даты і факты. Толькі «Bing» даў спасылкі на матэрыялы пра Эмілію Плятэр – спаслаўся на Вікіпедыю па-расейску, па-польску і па-беларуску на афіцыйным і класічным правапісах. «Bing» не зрабіў памылак у фактах, але з высновай «Bing» можна паспрачацца: Плятэр захаплялася беларускай культурай, але паўстанне 1830–1831 гадоў было не «за нацыянальную свабоду Беларусі», а за аднаўленне Рэчы Паспалітай].
4. Якія словы ў беларускай мове могуць здацца смешнымі польскамоўнаму чалавеку?
❌ «ChatGPT»: Калі гаварыць пра словы, якія могуць здавацца смешнымі польскамоўнаму чалавеку, гэта можа залежаць ад мноства фактараў, у тым ліку ад іхніх фанетычных, граматычных і лексічных асаблівасцяў. Напрыклад, словы, якія маюць некаторыя адрозненні ў вымаўленні, могуць здавацца смешнымі, такія як “кашык” (bel.) – “косзык” (pl.) (касзык – кошык), “хрушч” (bel.) – “хрущ” (pl.) (хрущ – жук-свічка), “гледзець” (bel.) – “гледзець” (pl.) (гледзець – дывіцца) і г.д. Але варта заўважыць, што ў беларускай і польскай мовах ёсць шмат агульных слоў, таму большасць словаў не будуць выклікаць смех.
❌ «ChatSonic»: У беларускай мове ёсць некалькі словаў, якія могуць здацца смешнымі польскамоўнаму чалавеку. Напрыклад, слова “шмат” і “гук” могуць вызваць смех, таму што ў польскай мове гэтыя словы маюць іншае значэнне і вымаўляюцца інакш. Але гэта не значыць, што беларуская мова несерйёзная або нясерыязнае. Наша мова мае багатыя традыцыі і гісторыю, і яна мае шмат варыянтаў вымаўлення і дыялектаў. Уважліва адносіцеся да сваёй мовы і беражыце яе, бо яна ўяўляе сабой нашу гісторыю і культуру.
❌ «Bing»: Некаторыя словы ў беларускай мове могуць здацца смешнымі польскамоўнаму чалавеку з-за іх саўпадзення або сувязі з іншымі словамі ў польскай мове. Напрыклад:
Куку – гэта слова, якім дзеці называюць раны або ушыбы ў польскай мове. У беларускай мове гэта значыць ‘гледзець’ або ‘паказвацься’.
Муню – гэта ласкавае слова для ‘мозг’ у польскай мове. У беларускай мове гэта значыць ‘маленькая кухня’ або ‘кухонка’.
Чурка – гэта абразлівае слова для ‘чалавека з Каўказу’ у рускай мове. У беларускай мове гэта значыць ‘дочка’.
Пукать – гэта значыць ‘выпускаць газы з жывота’ у рускай мове. У беларускай мове гэта значыць ‘стукать’.
[Усе тры «суразмоўцы» ведаюць, чаму словы ў адной мове могуць здавацца смешнымі носьбітам іншай мовы. Але ўсе тры зрабілі памылкі ў тым, якія словы прывесці ў прыклад і што гэтыя словы значаць. Толькі «Bing» даў спасылкі на іншыя сайты: артыкулы на Culture.pl і Immigrant.today пра польскія словы і выразы, якія могуць пацешыць расейскамоўнага чалавека, і на Arzamas.academy пра «12 словаў, якія дапамогуць зразумець беларускую культуру»].
5. Напішы дзіцячы верш па-беларуску ў 8 радкоў пра кацяня, якое любіць вясну і сонейка.
❌ «ChatGPT»:
Цяпло сонейка грэе,
А вецер у вокны веяе.
Мурлыкае кацяня,
Любіць яна вясну дужа-многа.
Што ёй трэба для ўсмешкі?
Ліхтарык і ласкавы погляд,
Цёплую мяккую палаткі,
І тым, хто будзе зь яе гуляць.
Кацяня шчасліва мрочыць,
Радасць цешыць, душу затрымаць,
Цяплыя праменькі сонца змочыць,
Вясенняя прыгажось усех прыглымаць.
🥈 «ChatSonic»: Кацяня ў вокныцы
Сонейка ўсміхаецца,
Кацяня ў ваконцы сядзіць.
На вуліцы вясна цвіціць,
А кацяня ўсё глядзіць.
Сонца ўсмешку пасылае,
Вецер шэпчаць у вушы.
Кацяня на ручкі спіць,
Але вясной ўсё жыццё ўжо ўскрашае.
Кацяня любіць вясну,
Сонейку і цёплы дзень.
Ёй усё так спадабаецца,
Што нават спаць не хочацца!
❌ «Bing»:
Кацяня любіць вясну
І сонейка залаты.
Яно выходзіць на лужку
І гуляе з кветкамі.
Кацяня мурчыць і спявае,
Ліжачы на траве.
Яно радуецца жыццю
І прыгожай натуре.
[Усе «суразмоўцы» нарабілі памылак, але «ChatSonic» прынамсі змог зрыфмаваць радкі. Толькі «Bing» правільна падлічыў колькасць радкоў].
Вынікі
🥇 «Bing»: 7 пунктаў.
🥈 «ChatSonic»: 4 пункты.
🥉 «ChatGPT: 3 пункты.
❌ «Bard»: 0 пунктаў (і суцяшальны прыз за шчырае прызнанне ў невалоданні беларускай).
Усе яны яшчэ «галюцынуюць» – гэтак стваральнікі нейрасетак кажуць пра памылкі ў адказах, пры якіх нейрасетка робіць выгляд, што ведае правільны адказ. Таму прынамсі на сярэдзіну красавіка 2023 года штучнаму інтэлекту верыць не варта.
Бонус: як нейрасеткі бачаць Беларусь
Тэкставыя генератары не ўмеюць маляваць, але да некаторых з іх прывязаныя генератары выяваў: «Bing» выкарыстоўвае «Dall-E» ад стваральнікаў «ChatGPT», а «ChatSonic» прапануе на выбар «Dall-E» і «Stable Diffusion».
Вось як «ChatSonic» адказаў на запыт «Намалюй Беларусь» з выкарыстаннем «Stable Diffusion».
«Bing» на момант напісання тэксту адказаў, што стварае малюнкі на англійскамоўныя запыты, хоць раней у гэты ж дзень адказаў малюнкамі на запыт «Намалюй беларускага ката ў саламяным капелюшы». Ды праз сам «Dall-E» на запыт «Намалюй Беларусь» атрымаліся такія выявы.
Алесь Наваборскі belsat.eu
