youtube script : update

I have updated my youtube script, because it sometimes keeps downloading movies that I had already seen.

 pts/4  jan ~/youtube_script$ cat youtube
#!/bin/sh
LOG=/home/jan/youtube_script/youtube.log/
LIST=/home/jan/youtube_script/youtube.list
DOWNLOADDIR=/home/jan/youtube_downloads/

for URL in `cat $LIST` 
do 
  echo ----[start]
  echo $URL

  # change DIR to DOWNLOADDIR
  cd $DOWNLOADDIR

  # check URL
  for VIDEO in `lynx -dump "$URL" | grep watch?v | sed 's# ##g' | cut -d"." -f2-`
  do
    echo $VIDEO
    X=`echo $VIDEO | cut -d "=" -f2- | cut -d "&" -f1 `
    X=$LOG$X
    echo $X

    # Only download video when it was not downloaded before
    if [ -e $X ]
    then
      touch $X
      echo Already downloaded --skip
    else
      touch $X
      echo Downloading $X
      timelimit -t 7200 -T 360 clive $VIDEO --format=best
    fi
  done
  echo ----[end]
done

# CLEAN $LOG
find $LOG -mtime +30 -delete
 pts/4  jan ~/youtube_script$

youtube script

I have created a little YouTube script that downloads all the video’s in certain YouTube channels to the hard-disk. This way I can easily watch the movies with my favourite media-player (mplayer controlled with a remote control) full-screen on my TV.

The script is ugly, but it works. I run it every hour in a cron job.

The script:

 pts/4  jan ~/youtube_script$ cat youtube
#!/bin/sh
LOG=/home/jan/youtube_script/youtube.log/
LIST=/home/jan/youtube_script/youtube.list
DOWNLOADDIR=/home/jan/youtube_downloads/

for URL in `cat $LIST` 
do 
  echo ----[start]
  echo $URL

  # change DIR to DOWNLOADDIR
  cd $DOWNLOADDIR

  # check URL
  for VIDEO in `lynx -dump "$URL" | grep watch?v | sed 's# ##g' | cut -d"." -f2-`
  do
    echo $VIDEO
    X=`echo $VIDEO | cut -d "=" -f2-`
    X=$LOG$X
    echo $X

    # Only download video when it was not downloaded before
    if [ -e $X ]
    then
      touch $X
      echo Already downloaded --skip
    else
      touch $X
      echo Downloading $X
      timelimit -t 7200 -T 360 clive $VIDEO --format=best
    fi
  done
  echo ----[end]
done

# CLEAN $LOG
find $LOG -mtime +30 -delete
 pts/4  jan ~/youtube_script$

The channels to check are in the file youtube.list, for example:

 pts/4  jan ~/youtube_script$ cat youtube.list
http://www.youtube.com/user/jan0wagemakers#p/a
http://www.youtube.com/user/RudyWumpscut#p/a
 pts/4  jan ~/youtube_script$ 

And this is what it looks like: Movie YouTube Script in action

misconfiguratie mailserver dommel.be

Sinds 17 mei 2006 ben ik klant bij dommel.be. Mijn ervaringen in het verleden met dommel waren meestal zeer positief. Zo heb ik de helpdesk wel eens lastig gevallen met een aantal technische vragen, die steeds naar voldoening beantwoord werden.

Maar er is blijkbaar iets veranderd bij dommel. Zo stelde ik een tijdje terug een misconfiguratie vast met hun mailserver. Waar het op neer komt is dat de mailserver bij dommel aangeeft STARTTLS te ondersteunen, maar een foutmelding teruggeeft als men STARTTLS tracht te gebruiken.

pts/8  jan ~$ telnet relay.dommel.be 25
Trying 193.109.184.71...
Connected to relay.dommel.be.
Escape character is '^]'.
220 eline.schedom-europe.net ESMTP
EHLO amd64.thuis
250-eline.schedom-europe.net
250-STARTTLS
250-PIPELINING
250 8BITMIME
STARTTLS
454 TLS not available: missing RSA private key (#4.3.0)

Hieronder zie je het verloop van het ticket, wat tot op heden nog steeds niet opgelost is! Foei dommel! 🙁

31 may 2011, 9:00 a.m. : oorspronkelijk bericht

Is er een probleem met dommel’s mailservers?
Reden van mijn vraag, mijn gmail-account zit vol met “Delivery Status Notification”-berichten (zie beneden) van e-mail die vanuit gmail naar mijn dommel E-mail adres wordt geforward.

van         Mail Delivery Subsystem mailer-daemon@googlemail.com
aan         jan.wagemakers
datum       31 mei 2011 03:11
onderwerp   Delivery Status Notification (Delay)

This is an automatically generated Delivery Status Notification
THIS IS A WARNING MESSAGE ONLY.
YOU DO NOT NEED TO RESEND YOUR MESSAGE.
Delivery to the following recipient has been delayed:

janw@dommel.be

Message will be retried for 2 more day(s)

Technical details of temporary failure:

Google tried to deliver your message, but it was rejected by the recipient
domain. We recommend contacting the other email provider for further
information about the cause of this error. The error that the other server
returned was:

454 454 TLS not available: missing RSA private key (#4.3.0) (state 9).

31 may 2011, 11:40 a.m. : antwoord van dommel.com

Geachte,

We zijn bekend met de problemen die gebruikers hebben met het versturen van e-mails naar bepaalde adressen.

Dit komt omdat een aantal ip’s tijdelijk geblokkeerd zijn of waren.

Deze blokkering vind echter niet plaats op onze eigen servers maar bijvoorbeeld op de servers van hotmail, wij kunnen u dus ook geen oplossing leveren voor dit probleem en vragen u vriendelijk gelijkaardige vragen te richten aan hotmail in dit voorbeeld.

2 jun 2011, 9:00 a.m. : mijn antwoord

Zijn we over hetzelfde probleem bezig? Mijn probleem is niet zozeer het versturen van E-mail, maar het ontvangen van E-mail.

Als ik met mijn e-mail adres janw@dommel.be een mail naar
jan.wagemakers@gmail.com verstuur, dan komt deze vrijwel ogenblikkelijk aan.
Geen enkel probleem.

Echter mail verstuurt van jan.wagemakers@gmail.com naar janw@dommel.be doet
er soms een dag of twee over en in mijn gmail account vind ik “Delivery
Status Notification”-berichten terug (zie onder) die aangeven dat ik dommel
moet contacteren.

| This is an automatically generated Delivery Status Notification
|
| THIS IS A WARNING MESSAGE ONLY.
|
| YOU DO NOT NEED TO RESEND YOUR MESSAGE.
|
| Delivery to the following recipient has been delayed:
|
| janw@dommel.be
|
| Message will be retried for 2 more day(s)
|
| Technical details of temporary failure:
| Google tried to deliver your message, but it was rejected by the recipient
| domain. We recommend contacting the other email provider for further
| information about the cause of this error. The error that the other server
| returned was: 454 454 TLS not available: missing RSA private key (#4.3.0)

7 jun 2011, 12:47 a.m. : antwoord van dommel.com

Geachte

We blokkeren standaard geen e-mails van gmail of hotmail. We kunnen
echter niet instaan voor de goede werking van die e-mail leveranciers.

10 jun 2011, 3:01 p.m. : mijn antwoord

Wanneer ik rechtstreeks telnet naar poort 25 van relay.dommel.be, kan ik
echter de foutmelding simuleren:

| pts/8 jan ~$ telnet relay.dommel.be 25
| Trying 193.109.184.71...
| Connected to relay.dommel.be.
| Escape character is '^]'.
| 220 louis.schedom-europe.net ESMTP
| EHLO
| 250-louis.schedom-europe.net
| 250-STARTTLS
| 250-PIPELINING
| 250 8BITMIME
| starttls
| 454 TLS not available: missing RSA private key (#4.3.0)

Zou het kunnen dat er toch een misconfiguratie langs de zijde van dommel is?
250-STARTTLS geeft toch aan dat het commando “starttls” wel zou moeten
werken?

29 jun 2011, 10:04 a.m. : mijn antwoord

Error is nog steeds aanwezig.

| pts/3 jan ~$ telnet relay.dommel.be 25
| Trying 193.109.184.71...
| Connected to relay.dommel.be.
| Escape character is '^]'.
| 220 tuur.schedom-europe.net ESMTP
| help
| 214 qmail home page: http://pobox.com/~djb/qmail.html
| EHLO dommel.be
| 250-tuur.schedom-europe.net
| 250-STARTTLS
| 250-PIPELINING
| 250 8BITMIME
| STARTTLS
| 454 TLS not available: missing RSA private key (#4.3.0)
| quit
| 221 tuur.schedom-europe.net
| Connection closed by foreign host.

Hierboven zie ik ook dat dommel gebruik maakt van ‘qmail’ als SMTP-server.
Misschien is
“http://74.125.236.48/support/forum/p/gmail/thread?tid=0bb2176784f327e8&hl=en”
nuttig om het probleem op te lossen?

> This is due to a mis-configuration of your server. Your server is
> advertising support for STARTTLS, but when our servers attempt to use it,
> your server is returning that error.
>
> We recently changed our handling of these errors, causing these delays.
>
> According to http://inoa.net/qmail-tls/Changes, as long as you don't have
> the control/servercert.pem file, it shouldn't be advertising STARTTLS.
> Though, I see there are a lot of different versions of TLS patches for
> qmail, I don't know which one you're using to recommend a fix.
>
> You need to either change qmail to not advertise STARTTLS or you need to
> generate a public/private keypair for it. Again, the documentation for
> that depends on which qmail TLS patch you're using.

Indien U van oordeel bent dat het probleem zich niet langs de zijde van
dommel bevindt, had ik graag een *technische* uitleg gehad.

13 jul 2011, 10:40 a.m. : mijn antwoord

Spijtig dat ik moet vaststellen dat mijn klacht niet serieus genomen
wordt 🙁

Als test heb ik vanuit mijn gmail account mail laten forwarden naar een
ander werkend E-mail adres dat ik nog heb, nl. “janw@easynet.be”. Hiermee
ondervind ik geen enkel probleem.

Als ik telnet naar poort 25 van smtp.easynet.be, zie ik:

| pts/4 jan ~$ telnet smtp.easynet.be 25
| Trying 212.100.160.77...
| Connected to smtp.easynet.be.
| Escape character is '^]'.
| 220 smtp2.mail.be.easynet.net Welcome on Easynet Belgium's SMTP server
| EHLO test.com
| 250-smtp2.mail.be.easynet.net Hello test.com [83.101.75.241]
| 250-SIZE 52428800
| 250-PIPELINING
| 250-AUTH CRAM-MD5 PLAIN LOGIN NTLM
| 250-STARTTLS
| 250 HELP
| STARTTLS
| 220 TLS go ahead

M.a.w., als ik het commando “STARTTLS” geeft, meldt de easynet mailserver
“220 TLS go ahead”. Dit in tegenstelling van de dommel.be mailserver die
“454 TLS not available: missing RSA private key (#4.3.0)” als melding
teruggeeft.

Als KLANT hoop ik dan ook te mogen verwachten dat dit probleem op een
redelijke termijn wordt opgelost!

11 aug 2011, 9:21 a.m. : mijn antwoord

Fout is nog steeds aanwezig.

pts/5 jan ~$ telnet relay.dommel.be 25
Trying 193.109.184.71...
Connected to relay.dommel.be.
Escape character is '^]'.
220 amber.schedom-europe.net ESMTP
EHLO thuis.amd64
250-amber.schedom-europe.net
250-STARTTLS
250-PIPELINING
250 8BITMIME
STARTTLS
454 TLS not available: missing RSA private key (#4.3.0)

25 aug 2011, 11:19 a.m.: mijn antwoord

Beste,

Dit probleem sleept veel te lang aan zonder enig antwoord van de helpdesk.
Voor de duidelijkheid, de fout is nog steeds aanwezig!

| pts/7 jan ~$ telnet relay.dommel.be 25
| Trying 193.109.184.71...
| Connected to relay.dommel.be.
| Escape character is '^]'.
| 220 tuur.schedom-europe.net ESMTP
| EHLO amd64.thuis
| 250-tuur.schedom-europe.net
| 250-STARTTLS
| 250-PIPELINING
| 250 8BITMIME
| STARTTLS
| 454 TLS not available: missing RSA private key (#4.3.0)

Zoals reeds gemeld, merk ik ook op dat jullie qmail gebruiken als
mailserver :

| pts/7 jan ~$ telnet relay.dommel.be 25
| Trying 193.109.184.71...
| Connected to relay.dommel.be.
| Escape character is '^]'.
| 220 tuur.schedom-europe.net ESMTP
| HELP
| 214 qmail home page: http://pobox.com/~djb/qmail.html

Vermits jullie er niet in slagen dit probleem op te lossen – wat mij
verwonderd omdat vroegere ervaringen juist zeer positief waren – post ik nog
een link die jullie misschien kan helpen om het “454 TLS not available:
missing RSA private key (#4.3.0)”-probleem voor goed op te lossen.

Kijk bv. eens op     http://qmailrocks.thibs.com/test-qmail.php

Daar staat o.a.:

| After you give the server the initial "ehlo localhost" command, you should
| get a response back that lists "250-STARTTLS", signaling that the server is
| in fact equipped for TLS functionality. Then, after you issue the "starttls"
| command, you should get the :"220 ready for tls" response if the server is
| able to successfully start the TLS session. If you happen to get an error
| that states "454 TLS not available: missing RSA private key (#4.3.0)" after
| you issue the "starttls" command, you will want to check 2 things:
|
| Verify that the cert actually exists at
| /var/qmail/control/servercert.pem. If it's not there, go back to step 2 and
| repeat the cert creation step. Verify that the cert is owned by
| vpopmail:qmail. If it's not, then make it so like this : chown
| vpopmail:qmail /var/qmail/control/servercert.pem

Voor een “system administrator” met kennis van zaken kan het toch geen
probleem zijn om dit heuvel op te lossen?

Mijn vorige ervaringen met de helpdesk waren positief. Laat dit probleem
dus niet langer aanslepen, zodat mijn mening over dommel positief kan
blijven!

Graag antwoord!