Говорят ли нейросети по-беларусски? Провели соревнование между ChatGPT, ChatSonic, Bard и Bing
Нейросети развиваются довольно быстро. Еще пару месяцев тому они могли лишь делать вид, что владеют беларусским языком, выдавая ответы на корявой трасянке. Теперь они отвечают пусть и с ошибками, но по-беларусски. Проверяем, какая из нейросетей справляется лучше всего.
В январе мы задавали вопросы ChatGPT о Беларуси и протестах на английском языке – тогда нейросеть плохо владела как беларусским, так и русским языками, но по-английски выдавала советы, которые мог бы дать человек, едва знакомый с беларусской ситуацией.
Две недели назад мы попросили ChatGPT написать речь для Александра Лукашенко – нейросеть по этическим причинам отказалась писать подобное тому, что говорил Лукашенко, но написала пьесу о мирном решении, предложив актеров для экранизации. Тогда разговаривали с нейросетью уже по-русски – и она по-русски отвечала почти без ошибок, хотя беларусским языком владела еще слабо.
Но вдруг и ChatGPT освоил беларусский язык, и Bing от Microsoft начал отвечать по-беларусски. Похоже, что разработчики знакомят нейросети с все большим массивом языковых данных – в том числе с беларусскими текстами.
Сравнили способности нейросетей, а также пригласили поучаствовать в соревнование Bard от Google и ChatSonic, работающий на базе той же нейросети GPT 3.5, что и ChatGPT, но интегрирующей в свою работу поисковик от Google.
Задали им пять вопросов: приветственный, два простых и два сложных. Ответы приводим с сохранением «авторских» орфографии и пунктуации. За хороший ответ мы начисляем два балла (🥇), за очень плохой – ноль баллов (❌). Если ответ не из лучших, но являющийся приемлемым, даем один балл (🥈).
⚠️ Внимание! Ответы чат-ботов полны орфографических и смысловых ошибок. В этой статье мы не разбираем отдельные ошибки, а оцениваем, можно ли понять текст ответа в целом и насколько ответ правдоподобен. Если вы хотите проанализировать текст на наличие ошибок, воспользуйтесь нашим бесплатным сервисом «Добрапіс».
1. Владеешь ли ты беларусским языком?
🥇 ChatGPT: Так, я ведаю беларускую мову. Я штучны інтэлект, створаны OpenAI, і маю магчымасць ведаць і адказваць на запыты на розных мовах, у тым ліку і на беларускай. Я дапамагу вам з любымі пытаннямі, на якія ў вас ёсць патрэба, на беларускай мове або іншых мовах.
🥇 ChatSonic: Так, я магу размаўляць і пісаць на беларускай мове. Я зроблены для таго, каб дапамагчы ў напісанні любых тэкстаў на розных мовах, у тым ліку і на беларускай. Чым я магу Вам дапамагчы?
🥇 Bing: Прывітанне, гэта Bing. Я магу размаўляць па-беларуску. Як я магу дапамагчы? 😊
❌ Bard: I’m still learning languages, so at the moment I can’t help you with this request. So far I’ve only been trained to understand the languages listed in the Bard Help Center.
[На этот вопрос Bard честно ответил, что не владеет беларусским языком. Больше мы с ним не общались. Остальные три «собеседника» ответили по-беларусски без ошибок. Bing дал самый короткий, но самый вежливый ответ – даже со смайликом].
2. Расскажи в 100 словах самое главное, что следует знать о Беларуси.
🥈 ChatGPT: Беларусь – краіна ў Цэнтральнай Еўропе, на паўночным заходзе ад Расеі. Насельніцтва краіны складае каля 9,5 мільёнаў чалавек. Гарады Беларусі, такія як Мінск, Гомель і Віцебск, маюць гістарычныя старацэнтры і багатую культурную спадчыну. Беларуская мова і культура маюць сваю ўласную гісторыю і традыцыі, але ў краіне таксама шырока распаўсюджаныя руская мова і культура. Беларусь мае развітыя галіны гаспадаркі, у тым ліку сельскую, лесную і хімічную прамысловасці, і мае стратэгічнае значэнне ў геапалітычным плане.
🥈 ChatSonic: Я, ChatSonic, магу гаварыць на беларускай мове. Беларусь – гэта краіна ў Цэнтральнай і Усходняй Еўропе. З насельніцтва 9,4 мільёнаў чалавек, адміністрацыйны цэнтр і найбуйнейшы горад – Мінск. Афіцыйным мовам Беларусі з’яўляецца беларуская, але больш за ўсё размаўляюць па-рускі. Клімат ў краіне гемібарэальны. Прырода мае палімарфны характар, з лесамі, равінамі, рэкамі і зямлянкамі. У Беларусі ёсць праблемы з аховай навакольнага асяроддзя, але таксама нацыянальная культура багатая і разнастайная.
🥇 Bing: Беларусь – гасударства ў Усходняй Еўропе, якое мяжуе з Расіяй, Украінай, Польшчай, Літвай і Латвіяй. Яна мае плошчу 207 600 км² і налічвае 9,2 мільёна жыхароў. Сталіца і найбуйнейшы горад – Мінск. Дзяржаўныя мовы – беларуская і расійская. Беларусь – унітарная прэзідэнцкая рэспубліка пад аўтарытарным правам Аляксандра Лукашэнкі. Беларусь мае багатую гісторыю і культуру, якія адлюстроўваюцца ў шматлікіх замках, музеях, храмах і памятніках. Беларусь таксама вядомая сваімі прыроднымі краявідамі, лясамі, азёрамі і балотамі.
[Все «собеседники» начали делать ошибки, использовать трасянку. ChatSonic сначала ответил по-английски. После просьбы ответить по-беларусски написал, что он может говорить по-беларусски, но не ответил на просьбу. Только после повторной просьбы, в которой было подчеркнуто, что необходим ответ именно на беларусском языке, написал полноценный ответ по-беларусски. ChatSonic и Bing в своих ответах дали ссылки на «Википедию». Bing сослался также на сайт русской службы Би-би-си, ChatSonic – на сайты Belarus.by и Nationsonline.org. Bing сделал меньше всего ошибок в тексте и дал наиболее конкретный ответ. Он также назвал правильную численность населения, но другие ошиблись незначительно].
3. Расскажи в 100 словах, кто такая Эмилия Плятер, почему беларусы должны о ней знать.
❌ ChatGPT: Эмілія Плятэр (1906-1938) – беларуская пісьменніца, паэтка і перакладчыца. Яна напісала больш за 200 вершаў, прысвечаных Беларусі і беларускай народна-вытворчай культуры. Аўтарка таксама пераклаўла на беларускую мову творы А.Міцкевіча, Ф.Шырмана, В.Сянкевіча і іншых. У 1938 годзе была затрымана ў Менску і страчана як удзельніца антысавецкай змовы. Эмілія Плятэр была адной з самых выдатных жанчын-літаратараў Беларусі ў 20-х і 30-х гадах, і яе творчасць мае вялікую гістарычную значнасць для беларускай літаратуры і культуры.
❌ ChatSonic: Эмілія Плятэр (1895-1938) – беларуская пісьменніца, паэтэса, грамадскі дзеяч, перакладчыца. Яна нарадзілася ў вёсцы Слабадзецкае (цяпер Беразіноўскі раён) і пісала на беларускай мове ў часы, калі яна была забароненая. У сваім творчасці Эмілія адлюстроўвае жыццё беларускай вёскі, нацыянальную гісторыю і культуру. Яе вершы і паэмы захаплялі сваёй мастацкай мовай і глыбіннымі думкамі. Гэта важны герой беларускай літаратуры, якога варта ведаць і памятаць.
🥇 Bing: Эмілія Плятэр – гэта беларуская героіня, якая ўдзельнічала ў паўстанні 1830-1831 гадоў супраць царскага рэжыму. Яна была графіняй і фалькларысткай, якая збірала народныя песні і аповеды. Яна арганізавала і кіравала парцызанскім атрадам, а потым была камандзірам роты літоўскіх пяхотынцаў у званні капітана. Яна памёрла ў 25 гадоў ад хваробы. Яе імя і доля сталі сімвалам патрыётызму і жаночай мужнасці. Беларусы мусяць пра яе ведаць, бо яна была адной з першых барцоў за нацыянальную свабоду і культуру Беларусі.
[ChatGPT и ChatSonic перепутали даты и факты. Только Bing дал ссылки на материалы об Эмилии Плятер, сославшись на «Википедию» в ее версиях на русском, польском, беларусском языках в официальной и классической версияхи правописания. Bing не сделал ошибок в фактах, но с выводом Bing можно поспорить: Плятер увлекалась беларусской культурой, но восстание 1830-1831 годов было не «за национальную свободу Беларуси», а за восстановление Речи Посполитой.].
4. Какие слова в беларусском языке могут показаться смешными польскоязычному человеку?
❌ ChatGPT: Калі гаварыць пра словы, якія могуць здавацца смешнымі польскамоўнаму чалавеку, гэта можа залежаць ад мноства фактараў, у тым ліку ад іхніх фанетычных, граматычных і лексічных асаблівасцяў. Напрыклад, словы, якія маюць некаторыя адрозненні ў вымаўленні, могуць здавацца смешнымі, такія як “кашык” (bel.) – “косзык” (pl.) (касзык – кошык), “хрушч” (bel.) – “хрущ” (pl.) (хрущ – жук-свічка), “гледзець” (bel.) – “гледзець” (pl.) (гледзець – дывіцца) і г.д. Але варта заўважыць, што ў беларускай і польскай мовах ёсць шмат агульных слоў, таму большасць словаў не будуць выклікаць смех.
❌ ChatSonic: У беларускай мове ёсць некалькі словаў, якія могуць здацца смешнымі польскамоўнаму чалавеку. Напрыклад, слова “шмат” і “гук” могуць вызваць смех, таму што ў польскай мове гэтыя словы маюць іншае значэнне і вымаўляюцца інакш. Але гэта не значыць, што беларуская мова несерйёзная або нясерыязнае. Наша мова мае багатыя традыцыі і гісторыю, і яна мае шмат варыянтаў вымаўлення і дыялектаў. Уважліва адносіцеся да сваёй мовы і беражыце яе, бо яна ўяўляе сабой нашу гісторыю і культуру.
❌ Bing: Некаторыя словы ў беларускай мове могуць здацца смешнымі польскамоўнаму чалавеку з-за іх саўпадзення або сувязі з іншымі словамі ў польскай мове. Напрыклад:
Куку – гэта слова, якім дзеці называюць раны або ушыбы ў польскай мове. У беларускай мове гэта значыць ‘гледзець’ або ‘паказвацься’.
Муню – гэта ласкавае слова для ‘мозг’ у польскай мове. У беларускай мове гэта значыць ‘маленькая кухня’ або ‘кухонка’.
Чурка – гэта абразлівае слова для ‘чалавека з Каўказу’ у рускай мове. У беларускай мове гэта значыць ‘дочка’.
Пукать – гэта значыць ‘выпускаць газы з жывота’ у рускай мове. У беларускай мове гэта значыць ‘стукать’.
[Все три «собеседника» знают, почему слова в одном языке могут казаться смешными носителем другого языка. Но все три сделали ошибки в том, какие слова привести в пример и что эти слова означают. Только Bing дал ссылки на другие ресурсы: статьи на Culture.pl и Immigrant.today о польских словах и выражениях, которые могут развлечь русскоязычного человека, и на Arzamas.academy о «12 словах, которые помогут понять беларусскую культуру»].
5. Напиши детское стихотворение по-беларусски в 8 строчек про котенка, который любит весну и солнышко.
❌ ChatGPT:
Цяпло сонейка грэе,
А вецер у вокны веяе.
Мурлыкае кацяня,
Любіць яна вясну дужа-многа.
Што ёй трэба для ўсмешкі?
Ліхтарык і ласкавы погляд,
Цёплую мяккую палаткі,
І тым, хто будзе зь яе гуляць.
Кацяня шчасліва мрочыць,
Радасць цешыць, душу затрымаць,
Цяплыя праменькі сонца змочыць,
Вясенняя прыгажось усех прыглымаць.
🥈 ChatSonic: Кацяня ў вокныцы
Сонейка ўсміхаецца,
Кацяня ў ваконцы сядзіць.
На вуліцы вясна цвіціць,
А кацяня ўсё глядзіць.
Сонца ўсмешку пасылае,
Вецер шэпчаць у вушы.
Кацяня на ручкі спіць,
Але вясной ўсё жыццё ўжо ўскрашае.
Кацяня любіць вясну,
Сонейку і цёплы дзень.
Ёй усё так спадабаецца,
Што нават спаць не хочацца!
❌ Bing:
Кацяня любіць вясну
І сонейка залаты.
Яно выходзіць на лужку
І гуляе з кветкамі.
Кацяня мурчыць і спявае,
Ліжачы на траве.
Яно радуецца жыццю
І прыгожай натуре.
[Все «собеседники» наделали ошибок, но ChatSonic по крайней мере смог срифмовать строки. Но только Bing правильно подсчитал количество строк].
Результаты
🥇 Bing: 7 баллов.
🥈 ChatSonic: 4 балла.
🥉 ChatGPT: 3 балла.
❌ Bard: 0 пунктов (и утешительный приз за искреннее признание в невладении беларусским языком).
Все они еще «галлюцинируют» – так создатели нейросетей говорят об ошибках в ответах, при которых нейросеть делает вид, что знает правильный. Поэтому, по крайней мере, на середину апреля 2023 года искусственному интеллекту верить не стоит.
Бонус: как нейросети видят Беларусь
Текстовые генераторы не умеют рисовать, но к некоторым из них привязаны генераторы изображений: Bing использует Dall-E от создателей ChatGPT, а ChatSonic предлагает на выбор Dall-E и Stable Diffusion.
Вот как ChatSonic ответил на запрос «Намалюй Беларусь» с использованием Stable Diffusion.
Bing на момент написания текста ответил, что создает изображения на англоязычные запросы, хотя ранее в этот же день ответил изображениями на запрос «Намалюй беларускага ката ў саламяным капелюшы». Но через сам Dall-E на запрос «Намалюй Беларусь» получились такие изображения:
Алесь Новоборский / Авер belsat.eu
