Hoe automatisch tekstbestand encoding detecteren?

Probeer de chardet Python module, die beschikbaar is op PyPi:

pip install chardet

Voer dan chardetect myfile.txt uit.

Chardet is gebaseerd op de detectiecode die Mozilla gebruikt, dus het zou redelijke resultaten moeten geven, mits de ingevoerde tekst lang genoeg is voor statistische analyse. Lees wel de projectdocumentatie .

Zoals vermeld in de commentaren is het vrij traag, maar sommige distributies leveren ook de originele C++ versie zoals @Xavier heeft gevonden in https://superuser.com/a/609056 . Er is ook ergens een Java versie.

Op Debian-gebaseerde Linux, biedt het uchardet pakket Debian / Ubuntu ) een opdrachtregelgereedschap. Zie hieronder de beschrijving van het pakket:

universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Voor Linux is er enca en voor Solaris kunt u auto_ef gebruiken.

Mozilla heeft een mooie codebase voor autodetectie in webpagina’s: http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Gedetailleerde beschrijving van het algoritme: http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Voor degenen die regelmatig Emacs gebruiken, is het volgende misschien nuttig (om de transfomatie handmatig te inspecteren en te valideren).

Bovendien vind ik vaak dat de Emacs char-set auto-detectie veel efficiënter is dan de andere char-set auto-detectie tools (zoals chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Dan is een simpele aanroep aan Emacs met dit script als argument (zie de “-l” optie) voldoende.

isutf8 (uit het moreutils pakket) deed het werk

Terugkomend op chardet (python 2.?) zou deze aanroep kunnen volstaan:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Hoewel het verre van perfect is….

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

UTFCast is het proberen waard. Het werkte niet voor mij (misschien omdat mijn bestanden verschrikkelijk zijn) maar het ziet er goed uit. http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

Ook in het geval u dossier -i u onbekende

geeft U kunt dit php-bevel gebruiken dat charset zoals hieronder kan raden:

In php kun je het controleren zoals hieronder:

Coderingslijst expliciet opgeven :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Meer nauwkeurig “ mblistencodings”:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Hier in het eerste voorbeeld, kun je zien dat ik een lijst van coderingen heb gezet (detecteer lijst volgorde) die overeen zouden kunnen komen. Om een nauwkeuriger resultaat te krijgen kunt u alle mogelijke coderingen gebruiken via : mb_listencodings()_

Opmerking mb_* functies vereisen php-mbstring

apt-get install php-mbstring

Zie antwoord : https://stackoverflow.com/a/57010566/3382822