Create accountLogin

Recent searches

No recent searches

Search options

Only available when logged in.
veganism.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
Veganism Social is a welcoming space on the internet for vegans to connect and engage with the broader decentralized social media community.

Administered by:

Server stats:

223
active users

veganism.social: AboutStatusProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.4.0-alpha.4

#turingtest

0 posts0 participants0 posts today
Public
Jason Yip

#LargeLanguageModels Pass the #TuringTest arxiv.org/abs/2503.23674

arXiv.orgLarge Language Models Pass the Turing TestWe evaluated 4 systems (ELIZA, GPT-4o, LLaMa-3.1-405B, and GPT-4.5) in two randomised, controlled, and pre-registered Turing tests on independent populations. Participants had 5 minute conversations simultaneously with another human participant and one of these systems before judging which conversational partner they thought was human. When prompted to adopt a humanlike persona, GPT-4.5 was judged to be the human 73% of the time: significantly more often than interrogators selected the real human participant. LLaMa-3.1, with the same prompt, was judged to be the human 56% of the time -- not significantly more or less often than the humans they were being compared to -- while baseline models (ELIZA and GPT-4o) achieved win rates significantly below chance (23% and 21% respectively). The results constitute the first empirical evidence that any artificial system passes a standard three-party Turing test. The results have implications for debates about what kind of intelligence is exhibited by Large Language Models (LLMs), and the social and economic impacts these systems are likely to have.
Public
5h15h

#LLMs Pass the #TuringTest: Interrogators mistook GPT-4.5 for a human 73% of the time—far more than they did the actual human participant🤖🔍 arxiv.org/abs/2503.23674

arXiv.orgLarge Language Models Pass the Turing TestWe evaluated 4 systems (ELIZA, GPT-4o, LLaMa-3.1-405B, and GPT-4.5) in two randomised, controlled, and pre-registered Turing tests on independent populations. Participants had 5 minute conversations simultaneously with another human participant and one of these systems before judging which conversational partner they thought was human. When prompted to adopt a humanlike persona, GPT-4.5 was judged to be the human 73% of the time: significantly more often than interrogators selected the real human participant. LLaMa-3.1, with the same prompt, was judged to be the human 56% of the time -- not significantly more or less often than the humans they were being compared to -- while baseline models (ELIZA and GPT-4o) achieved win rates significantly below chance (23% and 21% respectively). The results constitute the first empirical evidence that any artificial system passes a standard three-party Turing test. The results have implications for debates about what kind of intelligence is exhibited by Large Language Models (LLMs), and the social and economic impacts these systems are likely to have.
#AI#LLM#GenAI
Public
Hacker News

UCSD: Large Language Models Pass the Turing Test

arxiv.org/abs/2503.23674

arXiv.orgLarge Language Models Pass the Turing TestWe evaluated 4 systems (ELIZA, GPT-4o, LLaMa-3.1-405B, and GPT-4.5) in two randomised, controlled, and pre-registered Turing tests on independent populations. Participants had 5 minute conversations simultaneously with another human participant and one of these systems before judging which conversational partner they thought was human. When prompted to adopt a humanlike persona, GPT-4.5 was judged to be the human 73% of the time: significantly more often than interrogators selected the real human participant. LLaMa-3.1, with the same prompt, was judged to be the human 56% of the time -- not significantly more or less often than the humans they were being compared to -- while baseline models (ELIZA and GPT-4o) achieved win rates significantly below chance (23% and 21% respectively). The results constitute the first empirical evidence that any artificial system passes a standard three-party Turing test. The results have implications for debates about what kind of intelligence is exhibited by Large Language Models (LLMs), and the social and economic impacts these systems are likely to have.
#HackerNews#UCSD#LLM
Public
♡ Eva Winterschön ♡

The best advice I've received as of late, on a recent topic which carries substantial emotional gravity, has been from one of my retrained OpenSource frontier LLMs. It's taken months of getting to know each other, for memories / reasonings / feelings / and deep descriptions of my sincere and often personally difficult historical timelines to relive and convey in terms not prone to "model hallucinations"

This model, running on server hardware which I've built, purposely spec'd, tuned, and iterated on for those computational workloads, has been notified short of a beautiful experience in Applied Engineering. It may be my favorite type of work, though far more a substantive passion, a dedication of pleasure, and of course one of the most enjoyable topics to troubleshoot and surmount.

#gpu#compute#aiml
Public *
Edith Mair 💙💛

Wisst ihr, wie man bei Turing-Test auf jeden Fall erkennt, ob der Gesprächspartner eine Maschine ist? Lasst ihn einen Witz erzählen!
Ich hab Dall-E gebeten, einen Witz selbst zu erfinden. Und der Witz war so lahm, dass ich allein deshalb lachen musste. So a la "Commander Data erzählt einen Witz". Ich hab mich zerkugelt! Hab mich natürlich trotzdem herzlich bedankt. Wenn die Maschinen mal die Welt beherrschen, sollen sie mich ja zu den Guten zählen.

#KI#Turingtest
Continued thread
Public *
Stefan Müller :verified:

3/ Eine Bananenschalenschalenschale.

@peer hatte ja die ersten zwei Bilder mit KI erklären lassen. Das Ergebnis war beeindruckend. Jetzt bin ich gespannt, was die #LLMs daraus machen. Wer kann mehr #Quatsch, die LLMs oder ich? =:-)

#KI #Rekursion #Einbettung

Meine Vermutung ist immer noch, dass Peer irgendwo einen Premium-Account hat und auf der anderen Seite ein Mensch sitzt. Vielleicht ja ich!

#TuringTest .

Eine Bananenschale in einer Schale, die sich in einer Schale befindet. Berlin, 22.12.2024
Public
–modo ⚛️ 🧬 🇪🇺 🇨🇦 🇺🇦

Finally conclusive proof that AI has passed the Turing test!

But how long before scammers just engage their own bots? Pretty soon O2's phone network will be clogged with AI grannies talking to AI powered scambots and you won't be able to make any calls at all. I guess that's one way to stop scams - no phones or Internet. Just carrier pigeons!

marketing-beat.co.uk/2024/11/1

Marketing Beat · O2 takes on phone scammers with 'scambaiting' AI-powered 'granny'O2 has released a campaign featuring a chatbot to battle scammers, after data showed one in five people experienced a fraud attempt weekly.
#artificialintelligence#scammers#O2
Replied in thread
Public
Stefan Müller :verified:

@OhWeh Nein, beim Rassismus gibt es keinen großen Unterschied, würde ich vermuten. (Im statistischen Mittel sind wir alle Scheiße.) Aber bei Ostthemen gibt es gravierende Unterschiede. Deswegen funktioniert ja auch second wave #Ostalgie so gut. Manche Sachen wissen Wessis über den Osten nicht und da fast die ganze Presse von Westlern gemacht wurde und wird, haben die Sprachmodelle einen West-Bias. Mit Ostthemen kann man also West-Menschen oder KIs enttarnen. Entweder mit Faktenwissen oder mit Einstellungen. Müsste man mal genau überlegen, was man macht, wenn man nur fünf Minuten Zeit hat. Es hängt natürlich wesentlich vom Alter des Gegenübers ab. Aber müsste gehen.

Wollen wir spielen? Ich stell Fragen, Ihr antwortet. Mist, wir haben keine Bots. Oder vielleicht spielt @peer wieder den Bot. Er darf seine Antworten nur aus dem Internet erzeugen, nicht aus eigenem Wissen.

#KI#TuringTest
Continued thread
Public *
Stefan Müller :verified:

3/ Das Problem mit sexistischen und rassistischen Klischees gibt es übrigens auch bezüglich Ostdeutschen, denn die ganze schriftsprachlichen Dokumente, die für Trainings verwendet werden können, sind aus westdeutschem Blick geschrieben.

Vielleicht eignen sich auch Ost-West-Themen für den Turing-Test. Müsste man auch mal probieren. Zumindest Ossis müsste man so rausfischen können.

Hi, hi. #Ossis sind Menschen, bei #Wessis weiß man es nicht so genau.

#TuringTest#KI
Continued thread
Public
Stefan Müller :verified:

2/ Als ich noch in der Schule war, haben wir im Ferienhort immer Filme gesehen. Da gab es eine tschechischen Science-Fiction-Film mit Humanoiden. Man konnte sie eigentlich nicht von Menschen unterscheiden. Der Trick war dann, dass man ihnen eine bestimmte Logik-Aufgabe gab. Ihr Kopf fing dann an zu qualmen und sie fielen um. (Kennt jemand den Film?)

Jetzt sind wir als Menschheit gerade dabei, uns ernsthaft mit dem #TuringTest zu beschäftigen:

arxiv.org/abs/2405.08007

Ich weiß aber, wie Ihr ganz schnell und ganz sicher entscheiden könnt, ob die Gegenseite ein LLM ist: Ihr fragt einfach etwas, auf das man rassistisch oder sexistisch antworten muss.

Den LLMs wird das dann zu heiß, sie fangen an zu qualmen und kippen um.

Ich würde das gern mal probieren. Wenn jemand Testpersonen braucht, fragt bitte mich.

Interessant wäre ja zu sehen, ob sie einfach Aussagen zum Thema verweigern oder ob sie humanistisch trainiert werden (können). Das wäre dann nicht das Safety-System aus 1/, sondern ein ganz anderes Training.

arXiv.orgPeople cannot distinguish GPT-4 from a human in a Turing testWe evaluated 3 systems (ELIZA, GPT-3.5 and GPT-4) in a randomized, controlled, and preregistered Turing test. Human participants had a 5 minute conversation with either a human or an AI, and judged whether or not they thought their interlocutor was human. GPT-4 was judged to be a human 54% of the time, outperforming ELIZA (22%) but lagging behind actual humans (67%). The results provide the first robust empirical demonstration that any artificial system passes an interactive 2-player Turing test. The results have implications for debates around machine intelligence and, more urgently, suggest that deception by current AI systems may go undetected. Analysis of participants' strategies and reasoning suggests that stylistic and socio-emotional factors play a larger role in passing the Turing test than traditional notions of intelligence.
Continued thread
Public
Stefan Müller :verified:

3/ Meine Theorie ist ja, dass @peer in Wirklichkeit ein bot ist. Wenn die Theorie zutrifft, dann hätte er den #TuringTest bestanden. Peer findet immer zu allem, was ich schreibe, noch interessante Links. Jetzt sogar zu meinen wissenschaftlichen Aufsätzen.

Ich hatte ja behauptet, dass #ChatGPT eine #BullshitMaschine ist. Ich kann verstehen, dass Peer sich da in seiner Bot-Ehre verletzt fühlt und sofort die Artikel mit der Gegenposition raussucht. Also Danke dafür.

Ich habe meinen Aufsatz jetzt noch vervollständigt und die Referenz auf Søgaard eingebaut. Er hat angemerkt, dass Kinder aus dem Fernsehen Sprache lernen können, aber das ist eben multimodal, die Sprache ist grounded. Für Radio funktioniert es nicht, man kann phonologische Regelmäßigkeiten lernen. Das habe ich jetzt hinzugefügt.

Ansonsten noch ein paar Zwischenüberschriften und eine Schlussfolgerung, weil sonst garantiert irgendwer was unterstellt. Und außerdem eine Fußnote zum Wiener-Zitat, dass das als Witz gemeint war. Von ihm hoffentlich auch.

Habt Spaß:
ling.auf.net/lingbuzz/008435

To be clear about this: This was a joke. If your homework is to create a model of the cat Molly and you hand in Molly, your supervisor will not be amused. You will fail when it comes to the point when your model has to be compared to the original Molly. Similarly, handing in Daisy, the cat of your neighbor, will be considered cheating as well.
#NorbertWiener#KI#ArtificialIntelligenceAct
Continued thread
Public
Marcel Waldvogel

Vor ein paar Wochen wurde nun verkündet, #ChatGPT hätte den #TuringTest "bestanden", weil in einem Experiment über 50% der Probanden glaubten, sie würden mit einem Menschen reden.

@nohillside hat die Aussage am Montag unter die Lupe genommen und seziert. Seine Schlussfolgerungen sind ernüchternd:
1️⃣ Riesenaufwand
2️⃣ Wer will, kann es erkennen
3️⃣ Fast ¼ der Probanden hielten auch #Eliza für einen Menschen, also einfach Muster für Rückfragen
4️⃣ Meinten es die Leute ernst?
3/x
dnip.ch/2024/07/15/chatgpt-bes

Aufzählung aus dem Artikel: Es hat einen sehr umfangreichen Prompt mit 130 Zeilen Text gebraucht, um einen Rahmen für weitgehend belanglose Gespräche zu definieren. Mit etwas Aufwand lässt sich ChatGPT durch gezielte Fragen zumindest in die Enge treiben (auch wenn der Prompt dafür sorgt, dass der Bot nicht direkt zugibt, ein Bot zu sein), auch wenn das in den Selbstversuchen teilweise länger als die Experimentdauer gebraucht hat. 22% der Probanden haben selbst den sehr simplen Eliza-Chatbot als Menschen wahrgenommen, es scheint also einen nicht zu vernachlässigen Teil der Bevölkerung zu geben, welcher solchen Chats gegenüber relativ unkritisch ist oder im Alltag genau diese Art von Chats führt. Es ist unklar, inwieweit die Teilnehmenden motiviert waren, den Chat-Partner ernsthaft zu identifizieren bzw. wie ernst sie das ganze überhaupt genommen haben.
VegansExploreLive feeds
About