Rever erros nas colunas

[rlafuente]

Ao normalizar os CSV para usar o mesmo separador e limpá-los com o csvclean, apareceram estes erros:

line_number,msg,Numero,DataOcorrencia,DataFechoOperacional,Natureza,EstadoOcorrencia,Distrito,Concelho,Freguesia,Localidade,Latitude,Longitude,NumeroMeiosTerrestresEnvolvidos,NumeroOperacionaisTerrestresEnvolvidos,NumeroMeiosAereosEnvolvidos,NumeroOperacionaisAereosEnvolvidos
9775,"Expected 15 columns, found 16 columns",2018070001660,20/01/2018 17:36:00,20/01/2018 19:00:00,Riscos Tecnológicos / Incêndios em Transportes / Rodoviário,Encerrada,PORTALEGRE,ELVAS,São Brás e São Lourenço,A6 , KM 140.5,"38,883905","-7,223355",3,6,0,0
34609,"Expected 15 columns, found 16 columns",2018070005159,01/03/2018 13:40:00,,"Riscos Mistos / Comprometimento total ou parcial de segurança, serviços ou estruturas / Queda de Árvore",Despacho,ÉVORA,ARRAIOLOS,Arraiolos,EN4 , ARRAIOLOS,"38,720683","-7,995938",0,0,0,0
34636,"Expected 15 columns, found 16 columns",2018070005162,01/03/2018 13:30:00,,"Riscos Mistos / Comprometimento total ou parcial de segurança, serviços ou estruturas / Queda de Árvore",Conclusão,ÉVORA,ARRAIOLOS,Vimieiro,EN4 , Arraiolos / Vimieiro,"38,805958","-7,876488",1,2,0,0
42942,"Expected 15 columns, found 16 columns",2018070006404,14/03/2018 16:35:00,,"Riscos Mistos / Comprometimento total ou parcial de segurança, serviços ou estruturas / Queda de Árvore",Em Resolução,ÉVORA,VENDAS NOVAS,Vendas Novas,EN 251/1 - Vendas Novas , Canha Km 15,"38,695608","-8,496443",2,4,0,0
43004,"Expected 15 columns, found 16 columns",2018070006397,14/03/2018 15:46:00,14/03/2018 16:50:00,"Riscos Mistos / Comprometimento total ou parcial de segurança, serviços ou estruturas / Queda de Árvore",Encerrada,ÉVORA,MONTEMOR-O-NOVO,Cabrela,EN 380 Montemor , Baldios,"38,571105","-8,483862",2,4,0,0
54537,"Expected 15 columns, found 16 columns",2018100019944,01/04/2018 09:41:00,01/04/2018 10:17:00,Protecção e Assistência a Pessoas e Bens / Assistência e Prevenção a actividades humanas / Limpeza de Via e Sinalização de Perigo,Encerrada,LEIRIA,PENICHE,Peniche,Avenida do Mar - Balea\, Ferrel,"39,3659976039044","-9,39573865718003",1,2,0,0
200837,"Expected 15 columns, found 16 columns",2018070025009,30/10/2018 07:24:00,30/10/2018 10:00:00,Riscos Tecnológicos / Acidentes / Despiste,Encerrada,ÉVORA,VENDAS NOVAS,Vendas Novas,EN 04 ," Km 56,170","38,683048","-8,47951",2,4,0,0
202128,"Expected 15 columns, found 16 columns",2018120024060,02/11/2018 22:39:00,,Riscos Tecnológicos / Acidentes / Colisão rodoviária,Conclusão,PORTALEGRE,ELVAS,"Caia, São Pedro e Alcáçova",A6 , KM 155.8,"38,885668","-7,070263",4,8,0,0
228133,"Expected 15 columns, found 17 columns",2018140077278,20/12/2018 15:24:00,,Riscos Tecnológicos / Incêndios em Transportes / Rodoviário,Conclusão,SANTARÉM,OURÉM,Fátima,A1 , KM 114.6 , N/S,"39,620945","-8,691589",3,6,0,0
229962,"Expected 15 columns, found 17 columns",2018120027257,22/12/2018 06:25:00,22/12/2018 09:16:00,Riscos Tecnológicos / Acidentes / Colisão rodoviária,Encerrada,PORTALEGRE,ELVAS,São Brás e São Lourenço,A6 , KM 137.500 , E/W,"38,878433","-7,259057",5,11,0,0

O ficheiro é demasiado grande para conseguir abrir agora no libreoffice, por isso não fui lá consertar ainda

[joao]

Demasiados CSVs vinham com erros e variados.
Optei por efectuar o download de ficheiros XLSX, acrescentando a dependência do CSVKit para utilizar o comando in2csv de conversão para CSV - assegurando desse modo que ficam limpos e possibilitando o merge anual.