network: fix verification for broadcast address

Fixes a bug caused by fe841414ef157f7f01d339c5d5730126e7b5fe0a.

network: do not set broadcast if prefixlen is 31 or 32

After fe841414ef157f7f01d339c5d5730126e7b5fe0a, broadcast address is
also compared with existing one to determine whether the address is
foregin or not. So, the address object should not contain unnecessary
information.

Fixes #17803.

stub: don't ever respond to datagrams coming in on non-localhost addreses, on the stub

resolved: beef up logic for suppressing "localhost" entry in /etc/hosts

Either suppress the entry entirely, or not at all. But do not suppress
the "localhost" names we recognize, leaving the ones we do not in place.

On Fedora, where "localhost4.localdomain4" is among those listed in
/etc/hosts for 127.0.0.1 we'd thus otherwise drop the "localhost" but
keep the "localhost4.localdomain4" and then on reverse lookups only
return that, which is highly confusing.

resolved: use stat_inode_unmodified() to detect /etc/hosts changes

resolved: never allow _gateway lookups to go to the network

Make them rather fail than go to the network.

Previously we'd filter them on LLMNR (explicitly) and MDNS (implicitly,
because it doesn't have .local suffix), but not on DNS.

In order to make _gateway truly reliable, let's not allow it to go to
DNS either, and keep it local.

This is particular relevant, as clients can now request lookups without
local RR synthesis, where we'd rather have NXDOMAIN returned for
_gateway than have it hit the network.

resolved: lower SERVFAIL cache timeout from 30s to 10s

Apparently 30s is a bit too long for some cases, see #5552. But not
caching SERVFAIL at all also breaks stuff, see explanation in
201d99584ed7af8078bb243ce2587e5455074713.

Let's try to find some middle ground, by lowering the cache timeout to
10s. This should be ample for the problem
201d99584ed7af8078bb243ce2587e5455074713 attackes, but not as long as
half a miute, as #5552 complains.

Fixes: #5552

Merge pull request #17807 from poettering/bindtodevice

use SO_BINDTOIFINDEX while connect()

resolved: insert large dgram size into EDNS0 only when in LARGE UDP mode

Specifically, in TLS-DO there's no reason to set the exotic dgram size.

dns-domain: try IDN2003 rules if IDN2008 doesn't work

This follows more closely what web browsers do, and makes sure emojis in
domains work.

Fixes: #14483

Adds missing documentation for Assertions (#17825)

Merge pull request #17810 from systemd/meson-allows-fuzzer-building

meson: always allow fuzzers to be built

resolved: automatically flush caches on clock change

DNSSEC validation takes the system clock into account to validate
signatures. This means if we had incorrect time and the time is then
changed to the correct one we should flush out everything and
re-validate taking the new time into account.

(This logic will also trigger after system suspend, which is not bad
either, given that quite possibly we are connected to a different
network, and thus would get different DNS data, without us noticing
otherwise via link beat).

virt: Properly detect nested UML inside another hypervisor

UML runs as a user-process so it can quite easily be ran inside of
another hypervisor, for instance inside a KVM instance. UML passes
through the CPUID from the host machine so in this case detect_vm
incorrectly identifies as running under KVM. So check we are running
a UML kernel first, before we check any other hypervisors.

Resolves: #17754

Signed-off-by: Christopher Obbard <chris.obbard@collabora.com>

resolved: log when a bus client changes per-link DNS info

Fixes: #16298

Merge pull request #17804 from poettering/write-resolve-conf-less

write resolv.conf less often

resolved: properly check per-link NTA list

We need to check for parent domains too. We did this correctly for the
system-wide NTA list, but not for the per-link one. Let's fix that.

resolved: bind socket to interface during connect()

Apparently, IF_UNICAST_IF does not influence the routing decisions done
during connect(). But SO_BINDTODEVICE/SO_BINDTOINDEX does, which however
brings a lot of other semantics with it, we are not so interested in
(i.e. it doesn't not allow packets from any other iface to us, even if
routing otherwise allows it).

Hence, let's bind to the ifindex immediately before the connect() and
unbind right after again, so that we get the semantics we want, but not
the ones we don't.

Fixes: #11935
Replaces: #12004

socket-util: add sockaddr_in_addr() helper

This extracts the IP address (as union in_addr_union) from a socket
address (i.e. a struct sockaddr).

Merge pull request #17707 from yuwata/network-fix-reconfigure

network: fix race in reconfiguring link

Merge pull request #17798 from yuwata/ipv4ll-follow-ups

network: improve debug logs and add tests for IPv4LL

network: add Protocol= to vlan netdev (#17794)

meson: allow fuzzers to be built even if fuzz testing is disabled

This makes commands like 'ninja -C build fuzz-journal-remote' or
'ninja -C build fuzzers' work, even if we have -Dfuzz-tests=false.
Two advantages: correctness of the meson declarations is verified even
if fuzzers are not built, and it easier to do a one-off build to check for
regressions or such.

Follow-up for 1763ef1d49cc1263b40f157060a61cdd6e91d3a4.

network: stop to assign UUID when reconfiguring link

This fixes the following race in reconfiguring link:
1. an interface requests UUID.
2. the interface is reconfigured and link_configure() is called.
3. sd-lldp client is started on the interface (it is enabled by default).
4. networkd acquires UUID, and get_product_uuid_handler() calls
   link_configure() for the link again.
5. link_lldp_rx_configure() fails to set ifindex for already running
   sd-lldp client.
6. the link enters failed state.

network: use bus_error_message()

meson: use '_' as separator in fuzz test names

Follow-up for d448888924c1d4815cb97bcd5d94419812c053b9 and ca121e20c42219e3bc4e5cb63dcc96cc5eae2879.

Fixes #17568.

tree-wide: fix typos

network: add debug log about requesting DHCP address

This addresses
https://github.com/systemd/systemd/pull/17474#discussion_r515996491.

test-network: confirm that IPv4ll address is dropped after DHCPv4 lease is acquired

sd-ipv4acd: logs current state

sd-ipv4acd,sd-ipv4ll: include interface name in the debug logs

log-link: introduce log_interface_full_errno() macro

sd-ipv4acd,sd-ipv4ll: introduce _get_ifindex() and _get_ifname()

They will be used in later commits.

This also makes sd_ipv4acd_set_ifindex() check the existence of the interface.

resolved: don't update resolv.conf snippets unnecessarily

Fixes: #17577

fs-util: add conservative_rename() that suppresses unnecessary renames

if the source and destination file match in contents and basic file
attributes, don#t rename, but just remove source.

This is a simple way to suppress inotify events + mtime changes when
atomically updating files.

copy: teach copy_file() that a mode=-1 call means "take mode from original file"

pager: stop disabling urlification under a pager

Less 568 properly shows urlified strings.

Putative NEWS entry:
* Urlification is now enabled by default even when a pager is used.
  Previously it was disabled, because less would not show such markup
  properly. This has been fixed in less 568.
  Please either upgrade less, or use SYSTEMD_URLIFY=0 to disable the
  feature.

Merge pull request #17692 from yuwata/ipv4ll

network: fold ipv4ll fallback modes into normal ipv4ll addressing

Merge pull request #17703 from poettering/event-ratelimit

sd-event: add a concept of ratelimiting

Merge pull request #17524 from poettering/fileio-offset

cryptsetup: if keyfile is specified as AF_UNIX socket in the fs, connect to it, and read key data from it

man: document new ratelimiting APIs

core: prevent excessive /proc/self/mountinfo parsing

test: add ratelimiting test

(Taken from Michal's #17274 by Lennart, and slightly adjusted)

sd-event: add ability to ratelimit event sources

Let's a concept of "rate limiting" to event sources: if specific event
sources fire too often in some time interval temporarily take them
offline, and take them back online once the interval passed.

This is a simple scheme of avoiding starvation of event sources if some
event source fires too often.

This introduces the new conceptual states of "offline" and "online" for
event sources: an event source is "online" only when enabled *and* not
ratelimited, and offline in all other cases. An event source that is
online hence has its fds registered in the epoll, its signals in the
signalfd and so on.

sd-event: remove earliest_index/latest_index into common part of event source objects

So far we used these fields to organize the earliest/latest timer event
priority queue.  In a follow-up commit we want to introduce ratelimiting
to event sources, at which point we want any kind of event source to be
able to trigger time wakeups, and hence they all need to be included in
the earliest/latest prioqs.  Thus, in preparation let's make this
generic.

No change in behaviour, just some shifting around of struct members from
the type-specific to the generic part.

sd-event: follow coding style with naming return parameter

sd-event: ref event loop while in sd_event_prepare() ot sd_event_run()

sd_event_prepare() invokes callbacks that might drop the last user ref
on our event loop. Let's make sure we keep an explicit ref around it, so
that we won't end up with an invalid pointer. Similar in sd_event_run().

Basically, any function that is publically callable that might end up
invoking callbacks should ref the relevant objects to be protected
against callbacks destroying these objects while we still want to access
them. We did this correctly in sd_event_dispatch() and sd_event_loop(),
but these are not the only ones which are callable from the outside.

sd-event: let's suffix last_run/last_log with "_usec"

Otherwise it's a bit confusing what this is about: two timestamps.

sd-event: split out code to add/remove timer event sources to earliest/latest prioq

Just some refactoring that makes code prettier, and will come handy
later, because we can reuse these functions at more places.

sd-event: split clock data allocation out of sd_event_add_time()

Just some simple refactoring, that will make things easier for us later.
But it looks better this way even without the later function reuse.

sd-event: mention that two debug logged events are ignored

update TODO

man: drop comment about ECC vs. RSA and Yubikey

The comment is pointless, ECC systematically doesn't allow
encryption/decryption directly, only RSA does that. If you want to use
ECC for asymmetric encryption/decryption you have to combine it with key
exchange scheme and symmetric scheme. This all is not a limitation of
the Yubikey, hence don't claim so. It's just how ECC is.

man: document how cryptsetup keys may be acquired via AF_UNIX sockets

cryptsetup: modify keyfile search logic to use read_file_full() too

Let's move the 3rd way how cryptsetup acquires key files to
read_file_full() too.

Since load_key_file()'s raison d'etre now is just the search path logic,
let's rename the function to find_key_file().

cryptsetup: port cryptsetup's main key file logic over to read_full_file_full()

Previously, we'd load the file with libcryptsetup's calls. Let's do that
in our own, so that we can make use of READ_FULL_FILE_CONNECT_SOCKET,
i.e. read in keys via AF_UNIX sockets, so that people can plug key
providers into our logic.

This provides functionality similar to Debian's keyscript= crypttab
option (see → #3007), as it allows key scripts to be run as socket
activated services, that have stdout connected to the activated socket.
In contrast to traditional keyscript= support this logic runs stuff out
of process however, which is beneficial, since it allows sandboxing and
similar.

cryptsetup: port PKCS#11 code to read key file with read_full_file()

Now that we can read from offsets/with size, let's port the cryptsetup
PKCS#11 key file logic over to read_full_file_full().

fileio: teach read_full_file_full() to read from offset/with maximum size

journal-remote: suffix cmdline option that expects arg with =

man: mention that --key= is about *secret* keys

journal-remote: use READ_FULL_FILE_SECURE|READ_FULL_FILE_WARN_WORLD_READABLE when reading PEM secret key

It's secret data, hence use the appropriate flags.

repart: warn about world writable key files

We have easy support for this, hence use it for privileged key data.

dissect-image: use simple version of read_full_file() where we can

journal-remote: erase secret PEM key from memory after use

meson: add missing "S" to SYSTEMD_CGROUPS_AGENT_PATH

Other similar variables use the binary name underscorified and upppercased
(with "_BINARY" appended in some cases to avoid ambiguity). Add "S" to follow
the same pattern for systemd-cgroups-agent.

Based on the discussion in #16715.

scope: on unified, make sure to unwatch all PIDs once they've been moved to the cgroup scope

Commit 428a9f6f1d0396b9eacde2b38d667cbe3f15eb55 freed u->pids which is
problematic since the references to this unit in m->watch_pids were no more
removed when the unit was freed.

This patch makes sure to clean all this refs up before freeing u->pids by
calling unit_unwatch_all_pids().

sd-event: fix delays assert brain-o (#17790)

s/sizeof/ELEMENTSOF/

Bug introduced in 34b87517749caa4142b19eb3c63bdf349fafbc49.

mkosi: make ubuntu image bootable by default

man: Speicfy exact return values of sd_bus_message_enter_container

po: add units/systemd-journald.service.in to POTFILES.skip

hwdb: add axis range corrections for Lenovo ThinkPad T14 Gen1

network: use IN_SET() macro

Follow-up for 1d370b2c182505ff8033fccbebcc56621d305220.

network: treat IPv4LL is one of dynamic addressing protocol

This makes an IPv4LL address optional when multiple dynamic
addressing protocols are enabled.

network: simplify the condition about ipv4ll is enabled or not

network: shorten link_check_ready() a bit

network: stop IPv4LL engine when DHCPv4 address is successfully acquired

networkd: start ipv4ll when dhcp has trouble getting a lease

Fixes #13316.

sd-dhcp-client: report transient DHCP failure to the caller

So far we only reported major state transitions like failure to acquire
the message. Let's report the initial failure after a few timeouts in
a new event type.

The number of timeouts is hardcoded as 3, since Windows seems to be using
that. I don't think we need to make this configurable out of the box. A
reasonable default may be enough.

networkd: merge ll addressing fallback modes into normal "boolean" values

They are not really boolean, because we have both ipv4 and ipv6, but
for each protocol we have either unset, no, and yes.

From https://github.com/systemd/systemd/issues/13316#issuecomment-582906817:
LinkLocalAddressing must be a boolean option, at least for ipv4:
- LinkLocalAddressing=no => no LL at all.

- LinkLocalAddressing=yes + Static Address => invalid configuration, warn and
  interpret as LinkLocalAddressing=no, no LL at all.

(we check that during parsing and reject)

- LinkLocalAddressing=yes + DHCP => LL process should be subordinated to the
  DHCP one, an LL address must be acquired at start or after a short N
  unsuccessful DHCP attemps, and must not stop DHCP to keeping trying. When a
  DHCP address is acquired, drop the LL address. If the DHCP address is lost,
  re-adquire a new LL address.

(next patch will move in this direction)

- LinkLocalAddressing=fallback has no reason to exist, because LL address must
  always be allocated as a fallback option when using DHCP. Having both DHCP
  and LL address at the same time is an RFC violation, so
  LinkLocalAdressing=yes correctly implemented is already the "fallback"
  behavior. The fallback option must be deprecated and if present in older
  configs must be interpreted as LinkLocalAddressing=yes.

(removed)

- And for IPv6, the LinkLocalAddress option has any sense at all? IPv6-LL
  address aren't required to be always set for every IPv6 enabled interface (in
  this case, coexisting with static or dynamic address if any)? Shouldn't be
  always =yes?

(good question)

This effectively reverts 29e81083bd2fcb2dbf83f67ef358c7d25adf7e9d. There is no
special "fallback" mode now, so the check doesn't make sense anymore.

sd-dhcp-client: minor simplification

man: adjust description of MaxAttempts

The code was changed in 715cedfbf03a2eb1d4dca5d1b2b876e52a3b652d to allow more than
six attempts and the old description stopped making sense.

Merge pull request #17761 from keszybz/documentation-followups

Two tiny fixlets

Update logind-button.c

test-networkd-conf: add missing assert_se

Coverity CID#1437351. Fixup for f706340979a.

semaphore: temporarily disable the timedated test suite

All otherwise passing Semaphore CI builds are now getting stuck on the
timedated test suite. Let's temporarily skip it until the issue is
resolved.

See: https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=975010

hwdb: 60-keyboard: Add Dell Inspiron 11 3168 Fn+Home/End/PageUp/PageDown key mappings

On the Dell Inspiron 11 3168 the Fn and Arrow Keys control the Home, End, Page Up and Page Down keys. This commit allows those keys to work correctly.

Merge pull request #17734 from yuwata/parse-hwdb

hwdb: add missing Group()

Merge pull request #17732 from yuwata/core-use-synthetic_errno

core,network: use SYNTHETIC_ERRNO() macro

NEWS: really fix kernel version number reference

Fixes #17736.

coccinelle: ignore specific cases to use SYNTHETIC_ERRNO() macro

cryptsetup: drop unnecessary bracket

test: use for(;;) instead of while(true)

core/scope: use set_ensure_put()

mount-util: use mfree()

oom: use CMP() macro

core: fix typo

coccinelle: add rules for log_unit_error_errno() or friends

network: fix return values

network: use SYNTHETIC_ERRNO() macro

core: use SYNTHETIC_ERRNO() macro