Hallo, ich habe dir privat geschrieben 
Kleines Update von meiner Seite: ich habe mir gerade mal die URLs ein bisschen genauer angeschaut und ein paar Tests gemacht. Prinzipiell gehen bei manchen Clips auch Links in dem folgenden Format:
http://a836.g.akamai.net/7/836/8619/v0001/mtviestor.download.akamai.com/8619/_!/riptide-mtvn/production/0013/6384/136389_mp4_640x480_1600.mp4
Wie du siehst fehlt hier die 8 Zeichen lange hexadezimal id, was bruteforcing erlaubt. Die video id oben in der URL ist 136384 oder 136389, diese URLs haben immer zwei IDs mit einer kleinen, aber nicht konstanten Differenz (warum auch immer). Prinzipiell kannst du also eine ID einfach in die URL oben einsetzen und ein paar Differenzen probieren (sagen wir beispielsweise Differenzen 1 bis 10). Wenn die URL existiert liefert sie in der HTTP Reponse einen Last-Modified Header, der meinen Stichproben zu Folge recht nah an der Erstveroeffentlichung der Folge liegt, womit du das ganze einschraenken kannst. Auch den Content-Length Header koennte man nutzen um etwas zu filtern. Auf dem Server liegt naemlich nicht nur MTV Home, sondern prinzipiell jedes Video was mal in der Mediathek war. Die Folgen scheinen in ~20 Minuten Schnipsel hochgeladen zu sein.
Prinzipiell kannst du also wie folgt vorgehen: Mit binaerer Suche die ID der juengsten/aeltesten MTV Home Folge auf dem Server finden und von da aus dann inkrementell suchen. Hierbei sollte man dann wie gesagt am besten mit der Dateigroesse und dem Datum etwas vorfiltern, und wenn man richtig cool ist koennte man ein paar Bytes der Datei laden und ein Thumbnail abspeichern was man dann spaeter manuell sich anschauen koennte um die richtigen IDs zu filtern. Wenn man Keep-Alive und HEAD requests verwendet sind ein paar Millionen Requests in ein paar Stunden uebrigens fuer ein CDN wie akamai und die eigene Leitung denke ich kein Problem. Das ganze ist aber eine unfassbare Scheissarbeit weil man viel manuell machen muss und man auch keine Garantie hat, dass alle Folgen nach dem Schema benannt sind, also wir wissen ja anscheinend definitiv, dass es Folgen gibt, die diese hex id drin haben, die wuerde man dann verpassen. Die einzelnen 20 Minuten Schnipsel muesste man ja auch noch passend zusammensortieren. Also je nachdem wie heiss du auf MTV Home bist, kannst du dir das ja antun.
Vielleicht hat aber jemand anderes noch eine bessere Idee.
2 „Gefällt mir“
Ich frag jetzt mal was ganz ganz Doofes: Macht ihr diese Sucharbeit mit spezieller Software oder habt ihr euch da was selbst programmiert?
Selbstgeschriebenes Skript.
Lustig was man da so findet wenn man rumsucht:
Wow, vielen vielen Dank…mir ist peinlich, dass ich nicht drauf gekommen bin, obwohl ich die Zahlen ständig vor mir hatte. hahah
Ich werde mir etwas einfallen lassen. Ich glaube kali linux hatte ein paar tools genau für den Zweck. Sieht auf jeden fall machbar aus!
Was auch interessant ist, http://a836.g.akamai.net/7/836/8619/v0001/mtviestor.download.akamai.com/8619/_!/riptide-mtvn/production/0015/6469/156474_mp4_640x480_1600.mp4
das ist der 4te Link. Der lässt sich nicht downloaden ohne diesen hash. Jetzt lassen sich keine mehr öffnen, @STaRDoGG könntest du auch Mal probieren?
Ich glaub das habe ich undeutlich erklaert: du kannst (wahrscheinlich) nicht einach den Hash entfernen. Es scheint einfach einige Dateien zu geben, die diesen Hash nicht im Namen haben. Anscheinend wurde die naming convention irgendwann geaendert. Dateien, die diesen Hash im Namen tragen sind imo nach wie vor nicht mit Bruteforce auffindbar.
Ok, verstehe.
Ich war mal so frei und hab die ersten 200000 IDs durchprobiert mit Differenzen von 0-9. Dabei habe ich 2252 existierende Video Links gefunden, mit denen du weiterarbeiten kannst anstatt selber die Millionen Links zu requesten . Hier als CSV downloadbar:
Das Format ist video id;url;http response headers. Laut Last-Modified Header erstrecken sich die Dateien vom 08.07.2009 bis zum 01.09.2010. Die letzte Video ID ist 143568 was angesichts der Tatsache, dass ich bis 200000 gebruteforced habe, ein Indiz dafuer ist, dass es keine weiteren Dateien gibt, die diesem naming scheme folgen. Es kann sein, dass man noch ein paar Videos mehr findet wenn man die maximale Differenz nicht auf 9 beschraenkt (Die Verteilung zumindest zeigt, dass es bei 9 nicht aufhoert).
Ein paar MTV Home Folgen sollten dabei sein, aber ob es das wirklich wert ist musst du selber wissen. Jedenfalls musst du jetzt “nur” noch etwas mehr als 2000 URLs/Dateien genauer inspizieren. Viel Erfolg.
3 „Gefällt mir“
Eigentlich wärs ja das ganze Archiv da wert ordentlich gemirrort oder zumindest verlinkt zu werden. Alte MTV-Sendungen findet man ja generell fast gar nicht im Netz.
Go for it, sind “nur” 170 GiB.
Hey, darf ich fragen wie du das gemacht hast? Ich habe eine ähnliche Liste generiert aber kein url checker konnte sie lesen, sogar Bruchteile von der Listen gingen nicht. Und hast du evtl Discord? Falls du Lust hast lass uns Mal quatschen, wäre cool wenn du mir den Discordnamen per PN schickst.
Ich habe mir selber ein Skript in Python geschrieben was diese ganze Logik durchfuehrt. Ich kann dir das Skript anbieten, aber das bringt dir natuerlich reichlich wenig wenn du nicht programmieren kannst. Mehr Support kann ich da jetzt aber auch nicht geben, sry.
Aber im Prinzip hast du ja jetzt eine Linkliste mit ~2000 Videos, die du recht einfach herunterladen kannst (170 GiB) und manuell sichten kannst. Ist halt eine Heidenarbeit.
3 „Gefällt mir“
Ich bin eher Systemintegrator, ich kann das schon lesen und das ganze modifizieren, jedoch selbst schreiben never. Wow, bin schon am laden, die Leitung glüht haha,
ich merke da sind ganz viele videos von dem ehemaligen playtube, dem Portal von gameone wo leute ihre gaming videos hochladen konnten. interessant
Hahahahah, die Videos sind komplett zusammenhangslos, das wird ein Spaß!
1 „Gefällt mir“
Sollte das Ganze erfolgreich sein, wäre es cool, wenn Du die IDs bzw. die Dateinamen der “MTV Home”-Folgen posten könntest, damit ich die gezielt downloaden kann.
2 „Gefällt mir“
Fazit:
-
es sind circa 15-20 MTV Home Folgen dabei die zusammen geschnitten werden müssen (die wurden wohl als 10-15 Minütige Fragmente veröffentlicht). Ich bin meeeeega froh , wirklich sehr froh. Besser als 0 Folgen alle Mal.
-
sehr viel Müll von diesem Playtube von gameone damals, sehr schlecht gemachte Lets Plays bevor sie cool waren (haben vielleicht für deren Ersteller einen emotionalen Wert). Werde die alle löschen.
-
Ein Paar GameOne Beiträge
-
Vasta Folgen, war wohl eine Mini Quatsch Sendung auf Viva mit Luca Vasta, vll freut sie sich über den “Fund”
-
MTV Urban, Musik Sendung über HipHop und unbekanntere Musik mit sehr vielen Live Ausschnitten
-
Ein Paar Live Akustik Sessions mit Bands die ich noch nie gesehen habe.
-
Es wird der Zeitraum von 9 Juli 2009 - 29 Novemeber 2010 abgedeckt
-Ich finds persönlich interessant, dass die letzten 15 Videos komplett kaputt sind ich vermute, dass das ein Anlass war ein Software Update zu machen und dieses Update hat dann dieses verschleiern von Links mitgebracht
Danke nochmal an @STaRDoGG für deine wundervolle Hilfe. Ich werde weiter nach möglichkeiten suchen deren System auszuklügeln und mehr Links zu besorgen. (pssst… die haben eine Interessante playlist API die man evtl ausnutzen könnte.)
4 „Gefällt mir“
Du hast in einem Tag 2000 Videos gesichtet? 
Blöde Frage:
Ist das eigentlich “legal” was ihr hier grad so fabriziert?
(absichtlich schwammig gestellte Frage)
Thumbnails haben gut geholfen, gehe jetzt nochmal durch mit größeren Thumbnails und miste aus.
1 „Gefällt mir“
Trotzdem Respekt. Das war ne harte Schicht.
Frag doch Solmecke.
3 „Gefällt mir“