Habe gestern in einer Folge @breitband ein interessantes Argument in einem Beitrag von @monoxyd gehört, warum LLMs so extrem scharf auf Reddit-Content sind: Es geht nicht nur um das "Wissen", sondern vor allem um die Form. Auf Reddit kommt jemand mit einem Problem, einer Frage und dann kommen Gegenfragen und Vorschläge und es entsteht ein Dialog - was genau jender Art entspricht, mit der LLMs im Chat interagieren. Es wird also Content und Gesprächsführung/Problemdiskussion gleichermaßen trainiert.
https://www.deutschlandfunkkultur.de/proteste-kann-ki-beim-freiheitskampf-helfen-100.html
@leitmedium @breitband @monoxyd das und die Quote von menschlich erzeugtem Inhalt ist noch vergleichbar hoch, so dass der Model Collapse weniger schnell kommt.