What is Apache Spark

Apache Spark is like Python’s Pandas and is like SQL databases. It can manipulate datasets, filter, integrate, transform.

But Spark was designed from scratch with horizontal scalability and parallelism in mind, which makes it capable of handling datasets with billions or even unknown number of rows — even if a bit less flexible than Pandas.

This is not new in the industry. Enterprise editions of commercial SQL databases are parallel and scalable since a very long time, being also very expensive in all levels of the stack: service/support, software and hardware.

But Spark is free software. And can use Hadoop — also a free software — as scalable and highly available storage, on cheap commodity hardware. In addition, it has a vibrant community and a democratic ecosystem of services and support.

As with all Open Source, Apache Spark changes the economic landscape of massive data processing systems market, taking money out of a few proprietary HW and SW vendors and pulverizing it locally on people and support.

From my LinkedIn of 2021-03-18 07:02:56

Nação dos Nômades Digitais

Me colocaram num grupo de nômades digitais cujas discussões são nada menos que absolutamente inspiradoras.

São pessoas desprendidas e provavelmente sem filhos que têm profissões que levam de forma remota, pela Internet, e que passam a vida viajando.

Discutem se os próximos meses devem passar nas Maldivas, Tenerife ou Tailândia. Contam o paraíso que foi tal e tal lugar onde ficaram N meses.

Não é algo novo, mas a cultura do trabalho remoto recebeu o aval maior pela pandemia e a Nação dos Nômades Digitais deve crescer nos próximos anos.

Claro que algumas coisas ajudam: ter renda em moeda forte — para pagar barato por produtos e serviços em lugares distantes do planeta —, ter um trabalho que permite essa situação — ou ser rico mesmo — e não ter filhos — para ser desprendido e ganhar agilidade para ir e vir.

Mesmo achando que já vivo no paraíso, preciso confessar que esse modo de viver me atrai e faço planos secretos de catar a namorada e virarmos nômades assim que os filhos alcançarem a alta adolescência.

Alguns lugares que eu voltaria ou passaria com prazer uma temporada:


Hibiki, Tashkent, Nova York, interiorizão dos EUA, Piemonte, Tenerife, Hamburgo, Carolina do Norte em maio, Addis Abeba, Ibiza, Belém do Pará…

E você?

Do meu LinkedIn em 2021-03-25 20:46:46

Diversidade, mulheres e homens no trabalho

Se homens nadam e mulheres voam, não vamos esperar que mulheres queiram nadar e vice-versa.

É inegável que mulheres e homens são diferentes. Eu não sei como e porque isso acontece. E me é difícil entender se essas diferenças (ou partes delas) são causadas pela sociedade e ambiente (preconceitos) ou se são naturais. Só sei que não podemos mais tolerar as diferenças causadas claramente por preconceitos, enquanto devemos sim estimular e aproveitar diferenças naturais para que cada ser humano realize o máximo de sua natureza e potencial.

Tudo isso também se aplica a outros tipos de diversidade. LGBT, PcD, grupos étnicos etc.

— extraído de comentário que escrevi num post da colega Cintia Barcelos

Também no LinkedIn em 2021-03-26 09:18:24

What means to be Driven By Data

I’ve seen companies saying they have Big Data because they implemented Hadoop or a data lake and maybe Spark.

That’s just wrong.

Big Data, or more precisely, to be Data Driven, is a state where the data a company produces can be reused, as soon as possible, to optimize itself. And there are many ways to reuse data: all meetings and decisions happen with abundance of data, or recently generated data instantly feeds machine learning algorithms to optimize transactions, just to name a few situations.

To be Driven by Data is part culture and part infrastructure. On the infrastructure side, IT teams still struggle with limited visions about how data should flow pervasively and how access should be granted. They fear about security and performance while they should fear of missing out the data opportunity.

Data Streaming is a breakthrough recent technology that is here to help with more fluent data access. For an agile and effective data architecture, Data Streaming is much more strategic and important than just a bigger data warehouse because it is the component that can unleash your data and finally make it useful.

On my LinkedIn of 2021-05-30 15:11:58

How programmers should record time

We the data people immediately identify a poorly designed system when we see it handling date and time as plain local time, instead of the number of seconds since January 1st 1970 of time zone 0.

  • This post was published on 1,626,425,523 (UTC, always UTC).
  • Jesus was born -62,399,513,432.
  • Man visited the moon between -14,552,880 and 93,172,200.
  • And so on…

Just your daily dose of nerdy facts…

Also on my LinkedIn of 2021-07-16 09:10:06

GPT me

This is what GPT “knows” about me. More precisely, this is the sequence of words GPT generates when asked with that specific prompt.

First paragraph is 100% correct.

Second is kind of 50% (in)correct and outdated. I do Fedora, not Debian nor Ubuntu, I’ve contributed to several FOSS projects, but never to Apache HTTPD, and I did work for IBM, but never to Red Hat.

Third paragraph he completely confused me with one of my relatives that have same last name but different first name.

Also, I think GPT would have a different perspective about me if blog posts in social media, such as Facebook, would be part of its training dataset. But it can’t because Meta won’t allow open access to their platform even if I post openly there.

Also on my LinkedIn.

Use Safari on your Mac

I can’t stand the Mac users that use Google Chrome while they already have the Safari browser, which is lighter, more concerned about privacy, more well integrated to the platform and their other devices (iPhone etc), and is smarter in password management. I don’t even have Google Chrome installed on my Mac.

Also on LinkedIn from 2021-11-04 13:15:58

Caution with Streamlit

Streamlit (streamlit.io) is a lovely Python module that helps data scientists build interactive dataviz apps.

Use it when a BI is overkill — as this Streamlit dashboard that I wrote to manage my personal investments —, or where there is no BI, such as very small companies. Or where there is no interactive app developers to create a native app.

Personal finance app written with Streamlit

Streamlit proliferation in mid to large size companies might however be a bad sign of several things:

1️⃣ Application and/or integration developer’s job wrongly assigned to Data Scientists
2️⃣ Lack of a solid BI platform and practice
3️⃣ Siloed data that isn’t flowing due to lack of data streaming or API architecture
4️⃣ All the above.

Use Streamlit with caution; we don’t want it to become the new, data science-era spreadsheet for corporate reporting, with all the burden that spreadsheet proliferation have caused.

Best Data Scientist’s time is spent getting insights from Exploratory Data Analysis, and then using it to model outstanding estimators and predictors. Definitively not writing nice looking apps.

Also in my LinkedIn from 2022-04-28 13:07:33

Power solution to rule them all

The one single power and connectivity kit needed in your laptop backpack.

① One +65W USB-C power charger
② One USB-C 2m/6ft cable with Power Delivery
③ One USB-C kit of adapters to old USB and Micro USB
④ One USB-C adapter to Apple Lightning

This kit: Powers your modern laptop through USB-C. Charges your phone through Lightning or USB-C. Charges eventual other devices on their old USB ports. Connects all devices to one another.

Portable batteries are obsolete. Instead, use your large and powerful laptop battery to charge your phone on the road.

From my LinkedIn from 2022-05-04 15:15:09

Passwordless Sign-in

Get ready to say goodbye to password managers or even all your passwords. Thanks to FIDO, the industry is shifting to open standards password-less authentication everywhere.

Who’s been using macOS, iOS credential management, integration and synchronization already have an idea about how it works across devices, apps and websites. But now the experience will be improved, extended and made even easier.

https://www.iclarified.com/85854/apple-microsoft-google-announce-plans-to-expand-support-for-passwordless-signin

Also in my LinkedIn from 2022-05-05 16:23:55

5G Download Speed

5G download speed at home in São Paulo today. 420 megabits per second (mbps), equivalent to 52 megabytes per second.

It means that it takes about 10 seconds to download 1 hour of hi-fi music without any compression. But since compression is everywhere, just 2 seconds will be enough.

Upload speed gives me 10 mbps. Pretty good, though we know this is probably not for long.

What 4G, 5G speeds do you get and where?

Also in my LinkedIn from 2022-08-04 15:46:06

iPadOS external display support

With the release of iPadOS 16.2 last December, M1-powered devices can now be used as more beefed up terminals, complete with external physical keyboard, mouse/trackpad and extended screen that can display content and apps different from the main iPad screen (as shows the photo).

iPadOS 16.2 external display, keyboard and mouse

Minimum device that supports this is the iPad Air 5th generation (2022) which already features an USB-C port instead of lightning. Then, on this port, you can plug a dongle with HDMI output, power source and more USB ports to connect your human interaction devices. Or connect them through Bluetooth.

This opens the possibility for road warriors to have an even lighter and inexpensive terminal with the iPad, instead of a regular (and problematic) laptop. Then, when at home or office, they can dock it to KVM (keyboard, video, mouse) to experience a more productive workstation.

And yes, I know Android phones can do similar things since long ago. But it doesn’t get widespread or even real until this feature lands on the popular iPad.

Also on my LinkedIn from 2023-01-10 20:22:47

Clouds are super expensive

While clouds are the natural go-to choice for an early-stage startup, staying 100% in clouds with substantial infrastructure may sink a company as it and its infrastructure grow.

This study shows that the monthly infrastructure cost of clouds would be more than 10 times higher than a collocation with self-designed infrastructure. Not to mention the taylor-made possibilities.

Your CTOs and tech leaders must provide clever ways to use clouds, avoiding their typical lock-ins, so you can leave [and reduce vast amounts of infrastructure costs] whenever you may need.

Benefits of clouds are flexibility and agility, not costs.

Also in my LinkedIn.

Arquitetura hostil no Centro de São Paulo

Depois não reclame que Buenos Aires é tão mais bonita que São Paulo, e Nova York muito mais dinâmica. Em ambas cidades as pessoas, mídia e políticos se importam com arquitetura e urbanismo, e cuidam do resultado final

Juste Lores

Eu já acho que as pessoas em geral ainda não despertaram para o fato de que Arquitetura e Urbanismo é o fator №1 que influencia nossa qualidade de vida.

Publicado também no Facebook.

Libertários na crise do SVB

Beeeem interessante ver os clientes libertários anti-governo do Silicon Valley Bank implorarem justamente para o governo vir salvá-los.

A conclusão é que, conforme aprendi com o Robert Reich, não existe cenário viável sem o governo. No começo você precisa da posição holística do governo prá regular como as coisas devem funcionar numa sociedade civilizada e empática, ou, se abrir mão disso para ser uma espécie de predador, vai precisar do governo depois prá te salvar quando estiver sofrendo as consequências do abuso de sua liberdade.

Restaurantes querem continuar lucrando com água potável

A lei municipal que restaurantes tentam combater os obriga a fornecer água potável de graça desde setembro de 2021.

Mas eu queria saber se você, ao levar a família para jantar ontem, onde a conta saiu mais de R$300, pediu “água da casa” de mais, a ponto de dar prejuízo ao estabelecimento. Ah, seu malvadão!

A lei do vereador Xexéu Tripoli visa consumo consciente e redução de resíduos plásticos. Se restaurantes acham que dá trabalho de mais anotar pedido e trazer 1 copo de água à mesa de cada vez, que já tragam jarra inteira sem pedir — economiza um tempão do garçom —, como é feito em inúmeros países desenvolvidos. Os outros argumentos da contestação são incabíveis ou até risíveis. Dá uma canseira ver lei progressista e boa como essa ser combatida com argumentos de “livre iniciativa”, quando sabemos que é simplesmente para mascarar desejo por mais lucro.

Quanto ao seu bolso, saiba que água na garrafa de plástico ou vidro do restaurante é em torno de 3500 vezes mais cara que a água da Sabesp. E a água produtificada na garrafa não tem qualidade melhor, como tenta vender o marketing dos fabricantes.

Fornecer água potável de graça é lei municipal nas cidades de São Paulo, Rio de Janeiro e Brasilia. Deveria ser lei nacional.

Sustentabilidade não é uma tendência. É a única forma de seguir adiante.

https://oglobo.globo.com/brasil/noticia/2023/03/restaurantes-de-sao-paulo-tentam-tornar-inconstitucional-a-lei-que-garante-fornecimento-gratuito-de-agua-da-casa.ghtml

Publicado também no Facebook.

Triste Morumbi

Bairrinho chato esse Morumbi.

Nenhuma pessoa andando na rua, nenhum comércio para pedestres, só carros em alta velocidade.

Foi concebido, projetado, construído e habitado por carros e muros. Depois reclamam que “as ruas são perigosas”.

As árvores e fachadas verdes e suntuosas não escondem a tristeza deste bairro.

Planejamento urbano nulo forjado por pura especulação imobiliária.

Publicado também no Facebook.

14% Açaí

Abriram um lugar lindinho de açaí ao lado de casa. E hoje na inauguração ofereciam amostras em copinhos para os transeuntes.

— Puxa, tá meio claro esse açaí… — eu disse

— É que os outros lugares usam corante.

— O que importa é o número escrito na embalagem. Qual é a concentração do seu açaí?

Entrou para levantar informação tão pouco relevante, e voltou em seguida com a resposta.

— 14%

— 14%? Tudo isso? — eu ironizei. — E o que seriam os outros 86%?

— … — brisou, olhando para o céu

Eu especulei, sem ela ter refutado:

— Deve ser água, açúcar, muito açúcar, mais água, saborizante (pois sabor de açaí não agrada os paladares infantis), glucose de milho, e, e, chuchu. Deve ser.


Eu fui a um Festival do Açaí na floresta perto de Alter do Chão, no Pará, anos atrás. Eu vi colherem o cacho de frutos do açaizeiro e todo o preparo até o creme sair do outro lado 100% puro, morno, sem açúcar nenhum e com higiene questionável (porque estava sendo preparado a céu aberto de forma artesanal).

Para as nossas bandas do Sul, não dá para mandar açaí puro assim porque ele fermenta. Por isso enchem de açúcar. Mas mesmo assim pergunto: até qual nível vai cair a qualidade das coisas?

Publicado também no Facebook.

Bacio di Latte já era

A Bacio di Latte fazia um dos melhores sorvetes de São Paulo.

Mas acho que alguma coisa aconteceu. Ou eles perderam a pessoa que criava os sabores mais sofisticados, ou o paladar dos clientes se infantilizou, ou entraram na famigerada onda de redução de custos.

Antes tinham sabores com plantas e flores incomuns, combinações exuberantes mas muito bem acabadas. Hoje são todos variações sobre avelã, doce de leite e chocolate, no máximo um pistache.

A massa ainda é boa (e bem cara), mas quando venho aqui o pedido é só para as crianças.

Publicado também no Facebook.

7 Habits of Highly Effective People by Stephen Covey, summary by getAbstract

I read the summary of this book in getAbstract. There is also an audio version of the summary on their page. Here is a my personal copy.

Cover of book 7 Habits of Highly Effective People by Stephen Covey

Recommendation

In this updated edition of the late Stephen R. Covey’s bestseller, Sean Covey draws on ancient wisdom, modern psychology and 20th century science and wraps the mix in a distinctively American can-do program of easy-looking steps calling mostly for self-discipline. This classic – now in a new 30th anniversary edition with a foreword by Jim Collins – is a popular, trusted manual for self-improvement, although you still may find some prescriptions easier to agree with than to act upon.

Read More

Maracujá é a fruta da Flor da Paixão

Eu passei a vida toda achando que o nome internacional do maracujá — passion fruit, fruta da paixão — era devido a sua cor e aroma exóticos e afrodisíacos.

Me enganaram! Ou, mais provável, eu me enganei a si próprio.

O maracujá é típico da Amazônia e o nome latim/inglês/francês — passiflora — foi dado pelos jesuítas, no século 18, porque usavam a flor para ensinar sobre a Paixão de Cristo aos nativos do novo mundo. Pois a flor tem pétalas que lembram uma coroa de espinhos, e estames que lembram uma cruz.

O nome original em tupi — mara kuya — significa alimento na cuia. Porque afinal fazemos da casca do fruto o recipiente para se comer a polpa.

Mais uma coisa bem aprendida numa bela viagem.

Publicado também no Facebook.

Chamamé Latino-americano

O Chamamé latino-americano está para a bacia do Rio da Prata (Pantanal brasileiro, Misiones na Argentina, Pampas paraguaio, Uruguay) assim como o Blues americano está para a bacia do Rio Mississippi.

— Almir Sater, violeiro pantaneiro

Lembre-se disso sempre que for ouvir um Blues americano sem nunca ter ouvido um Chamamé latino-americano.

O violeiro gaúcho Valdir Verona faz essa ponte com seu Chamamé Blues #2.

Publicado também no Facebook.

CoViD-19 acabou?

Aeroportos cheios e quase ninguém mais usa máscara, inclusive dentro do avião, durante o voo. Nenhum oficial nem pede também comprovante de vacinação nem teste negativo.

Fila de pessoas em aeroporto e poucos usam máscara

Seria porque ⓐ não se importam mais, ⓑ usar máscara é muito chato, ⓒ estamos simplesmente agindo como pessoas vacinadas?

Read More

Se eu fosse nutricionista

Se eu fosse nutricionista, me associaria a um restaurante de região comercial super movimentada — Paulista, Itaim etc — e ofereceria almoços e jantares para redução e controle de peso. Cardápio e quantidades viriam prontos, sem eu ter que pensar, escolher e nem me servir. Adicionalmente, o cliente sairia de lá com cardápio sugerido e escrito para seu café da manhã do dia seguinte, ítens e quantidades.

Se algo assim existisse perto de onde trabalho, eu almoçaria lá todos os dias. Todos os dias.

https://www.facebook.com/543888243/posts/pfbid022XevZN8wQ4T46GEAcwuFE2dsL8u58p1CLP9tbgFDWs5gt8sJAdpg9wgs2XbucSNsl/?mibextid=cr9u03

Abacaxi vem da Amazônia

O abacaxi é uma bromélia amazônica.

A gente chama de “fruta”, mas aquilo é na verdade um conglomerado de frutos, sendo cada fruto um dos gomos que se vê na casca. Da bromélia brota uma estrutura cheia de florzinhas, parecida com a foto. E aí cada 1 florzinha se transforma em 1 fruto. Eles vão engordando e grudando um no outro até formar o abacaxi inteiro.

Read More

Vitória-Régia da Amazônia

A Vitória-Régia, além de linda e exótica, é também uma planta alimentícia não-convencional (P.A.N.C.).

Típica da Amazônia, ancora sua raiz no fundo de lagos ou águas doces estáveis, e de lá estende grossos caules até a superfície para cada flor, cada fruto, cada folha enorme em forma de prato de 1 a 2 metros de diâmetro.

A raiz é um tubérculo, que pode ser cozido e consumido como batata. Os caules podem ser descascados e preparados como palmito ou aspargos ou espaguete. As folhas, após removidos os espinhos, podem ser consumidas cruas ou cozidas como couve.

Read More