Функцијата Reddit Answers, вештачки чет-бот сличен на ChatGPT, стана центар на контроверзија откако е забележано дека препорачува забранети супстанции, меѓу кои и хероин, како средство за ублажување на болка.
Инцидентот го пријавил здравствен работник кој модерира една од заедниците на платформата. Како што пренесува 404Media, ботот бил „фатен“ како ја цитира објава со содржина во која стои дека „Хероинот, иронично, ми го спаси животот во тие случаи“.
По реакцијата на корисниците и медиумите, Reddit привремено ја намали видливоста на Answers, особено во теми што содржат чувствителни или здравствени дискусии.
Ова не е изолиран случај – во друго прашање поврзано со ублажување на болка, истиот бот препорачал кратом, растителен екстракт кој е забранет во повеќе земји. Американската Агенција за храна и лекови (FDA) веќе предупредила дека кратом може да предизвика сериозни здравствени последици, вклучувајќи оштетување на црниот дроб, напади и зависност.
Reddit Answers функционира на принцип сличен на Gemini или ChatGPT, но наместо да користи информации од интернет, се потпира на содржина генерирана од самите корисници на Reddit. Првично беше достапен во посебен дел од страницата, но во последно време компанијата го тестира директно во разговорите и коментарите, што дополнително го зголемува ризикот од несоодветни одговори.
Иако Reddit не објави официјално соопштение, технолошките аналитичари предупредуваат дека ваквите инциденти покажуваат колку е важно внимателно тестирање и етичко ограничување на генеративните АИ алатки, особено кога тие имаат пристап до здравствени или чувствителни теми.