NEWS: fix typo

mkosi CI: mask isc-dhcp-server units

The packages are installed to provide the dhcpd binary, used by
test/test-network/systemd-networkd-tests.py, but we don't need the units
to run, and in fact in some cases the image fails to boot because of
them:

Spawning container image on /home/runner/work/systemd/systemd/image.raw.
Press ^] three times within 1s to kill container.
● isc-dhcp-server.service  loaded failed failed ISC DHCP IPv4 server
● isc-dhcp-server6.service loaded failed failed ISC DHCP IPv6 server
Container image failed with error code 1.
Error: Process completed with exit code 1.

Mask the units with an --extra-tree.

systemctl: make `--timestamp=` affect the `show` verb as well

Currently the `--timestamp=` option has no effect on timestamps shown by
`systemctl show`, let's fix that.

Spotted in #22567.

Before:
```
$ systemctl show --timestamp=us+utc systemd-journald | grep Timestamp=
ExecMainStartTimestamp=Sat 2021-12-11 15:25:57 CET
StateChangeTimestamp=Sat 2021-12-11 15:25:57 CET
InactiveExitTimestamp=Sat 2021-12-11 15:25:57 CET
ActiveEnterTimestamp=Sat 2021-12-11 15:25:57 CET
ActiveExitTimestamp=Sat 2021-12-11 15:25:57 CET
InactiveEnterTimestamp=Sat 2021-12-11 15:25:57 CET
ConditionTimestamp=Sat 2021-12-11 15:25:57 CET
AssertTimestamp=Sat 2021-12-11 15:25:57 CET
```

After:
```
$ systemctl show --timestamp=us+utc systemd-journald | grep Timestamp=
ExecMainStartTimestamp=Sat 2021-12-11 14:25:57.177848 UTC
StateChangeTimestamp=Sat 2021-12-11 14:25:57.196714 UTC
InactiveExitTimestamp=Sat 2021-12-11 14:25:57.177871 UTC
ActiveEnterTimestamp=Sat 2021-12-11 14:25:57.196714 UTC
ActiveExitTimestamp=Sat 2021-12-11 14:25:57.144677 UTC
InactiveEnterTimestamp=Sat 2021-12-11 14:25:57.176331 UTC
ConditionTimestamp=Sat 2021-12-11 14:25:57.176980 UTC
AssertTimestamp=Sat 2021-12-11 14:25:57.176980 UTC

```

generator: Rename password arg

This function does not expect a password, but a key file path. The
cryptsetup helper binary even calls it that.

No Code changes.

Follow up on: 6e41f4dd916293f35d7d35cea7eed1807d7ea771
Fixes: https://github.com/systemd/systemd/security/code-scanning/81

Merge pull request #22546 from poettering/resolved-bus-error-reply-rework

resolved: rework how we reply to D-Bus messages for resolution requests

resolved: rework how we reply to D-Bus messages for resolution requests

This reworks how we reply to D-Bus messages that come in for resolution
requests. Previously, we'd store them in the .bus_request field of
the main DnsQuery (but not any auxiliary one), and reply to it whenever
we had something to reply. In error paths this could mean we'd
accidentally reply twice.

This cleans this logic up: whenever we reply to a message we'll now go up
the tree of auxiliary queries, to find the primary query, i.e. the one
we actually want to reply to. Once we found it, we take out the bus
message object, resetting it to NULL. This way we can be sure we'll
reply at most once to each message.

Fixes: #22477

resolve: add reference of the original bus message to the aux queries

Otherwise, the error in aux queries cannot be replied.

Fixes #22477.

Merge pull request #22562 from poettering/logind-bool-fix

machined: fix confusion around "bool" and sd-bus

machined: use one_zero() on one more occasion

machined: sd-bus expects 'int', not 'bool' when returning unmarshalled booleans

Fixes: #22555
Follow-up for: #22160

Merge pull request #22552 from poettering/nss-by-pass-bus-rework

fix nss deadlock between dbus-daemon and PID 1

pid1: set SYSTEMD_NSS_DYNAMIC_BYPASS=1 env var for dbus-daemon

There's currently a deadlock between PID 1 and dbus-daemon: in some
cases dbus-daemon will do NSS lookups (which are blocking) at the same
time PID 1 synchronously blocks on some call to dbus-daemon. Let's break
that by setting SYSTEMD_NSS_DYNAMIC_BYPASS=1 env var for dbus-daemon,
which will disable synchronously blocking varlink calls from nss-systemd
to PID 1.

In the long run we should fix this differently: remove all synchronous
calls to dbus-daemon from PID 1. This is not trivial however: so far we
had the rule that synchronous calls from PID 1 to the dbus broker are OK
as long as they only go to interfaces implemented by the broke itself
rather than services reachable through it. Given that the relationship
between PID 1 and dbus is kinda special anyway, this was considered
acceptable for the sake of simplicity, since we quite often need
metadata about bus peers from the broker, and the asynchronous logic
would substantially complicate even the simplest method handlers.

This mostly reworks the existing code that sets SYSTEMD_NSS_BYPASS_BUS=
(which is a similar hack to deal with deadlocks between nss-systemd and
dbus-daemon itself) to set SYSTEMD_NSS_DYNAMIC_BYPASS=1 instead. No code
was checking SYSTEMD_NSS_BYPASS_BUS= anymore anyway, and it used to
solve a similar problem, hence it's an obvious piece of code to rework
like this.

Issue originally tracked down by Lukas Märdian. This patch is inspired
and closely based on his patch:

       https://github.com/systemd/systemd/pull/22038

Fixes: #15316
Co-authored-by: Lukas Märdian <slyon@ubuntu.com>

docs: $SYSTEMD_NSS_BYPASS_BUS is not honoured anymore, don't document it

It was removed back in 1684c56f40f020e685e70b3d1785d596ff16f892

Follow-up for: 1684c56f40f020e685e70b3d1785d596ff16f892

pid1: lookup owning PID of BusName= name of services asynchronously

A first step of removing blocking calls to the D-Bus broker from PID 1.
There's a lot more to got (i.e. grep src/core/ for sd_bus_creds
basically), but it's a start.

Removing blocking calls to D-Bus broker deals systematicallly with
deadlocks caused by dbus-daemon blocking on synchronous IPC calls back
to PID1 (e.g. Varlink calls through nss-systemd). Bugs such as #15316.

Also-see: https://github.com/systemd/systemd/pull/22038#issuecomment-1042958390

pid1: watch bus name always when we have it

Previously we'd only watch configured service bus names if Type=dbus was
set. Let's also watch it for other types. This is useful to pick up the
main PID of such a service. In fact the code to pick it up was already
in place, alas it didn't do anything given the signal was never received
for it. Fix that.

(It's also useful for debugging)

udev-util: add parentheses to make coverity silent

Fixes CID#1474365.

hwdb: 60-keyboard: Support the buttons on CZC P10T tablet

The machine has tree buttons connected to an EC that acts as a regular
AT-compatible keyboard controller. It can be either in "Windows 7" or
"Android" mode. It boots up with the earlier, but the Android build on
the tablet switches it on bootup (Windows presumably leaves it as-is).

The "Windows 7" mode, the behavior is very inconvenient: the Home button
emits multiple key presses that presumably do something in Windws 7 while
the second button toggles the RF Kill Switch in addition to producing a
scancode (it's labeled "Back" on Android version of the tablet).

The "Android" mode just sends the good ol' scan codes and this patch
handles them. On mainline Linux, the "x86-android-tablets" driver makes
sure we're in the correct mode.

mkosi: Add more packages required to run systemd-networkd-tests.py

Let's also add the required packages to run systemd-networkd-tests.py
for Ubuntu and Debian. The Fedora and Arch lists are also updated to
include python which is also required to run the tests.

Merge pull request #22545 from yuwata/network-match-kind

network, udev: introduce Kind= setting in [Match] section

packit: drop unnumbered patches as well

test: set `ReadWritePaths=` only for units from TEST-20

as setting it system-wide has some undesirable side-effects.

Follow-up to b6fc524.

network,udev/net: add Kind= settings in [Match] section

This may be useful for writing .network or .link files matching with
virtual interfaces.

Closes #22541.

Merge pull request #22540 from yuwata/network-call-ethtool-after-initialized

network: call ethtool after link is initialized by udevd

resolve: refuse AF_UNSPEC when resolving address

Fixes #22480.

networkctl: show netdev kind

network: call ethtool after link is initialized by udevd

Fixes #22538.

network: use udev_available() where applicable

udev-util: introduce udev_available() helper function

Merge pull request #22535 from poettering/dbusctl-range-display

userdbctl: show UID ranges in output too

sd-dhcp-server: do not offer server address

The server address may be in the pool.

Merge pull request #22543 from poettering/logind-fix-bus-bool-prop

logind: fix some sd-bus int/bool/unsigned mixups

userdbctl: add a dash of color to users of different dispositions

userdbctl: show min/max UID boundaries in userdbctl output

logind: fix bool/int confusion for KillUserProcesses bus property

sd-bus for compat with old C expects "int" for booleans. Internally we
prefer to use C99 "bool" however. When pointing a pointer to it, we need
to handle the fact that they are typically differently sized, hence use
te right accessors for it.

logind: fix internal types used for EnableWallMessages

The value is used as a boolean, but stored in an unsigned. It's exposed
with sd-bus default boolean handling which however expects a (signed)
int. Let's clear this up, and use "bool" for this everywhere in
non-local scope, and make sure that when we pass it to sd-bus we
properly pass an "int".

user-util: move homed/nspawn map UID_MIN/UID_MAX define into user-util.h

Let's have them at a common place, so that we have the ranges altogether
at a minimal set of places.

glyph-util: add new glyphs for up/down arrows

Merge pull request #22531 from poettering/mempcpy-cocci

coccinelle: add semantic patch for using more mempcpy() instead of memcpy()

Revert "resolved: filter out our own stub resolvers when parsing servers"

This reverts commit 0ad4efb14beea9148838a0d974821e3b98cafc47.

See
https://github.com/systemd/systemd/pull/20559#issuecomment-1028011030
for reasoning. Quoting:

> I think it should be OK to advertise extra stub listeners to local
> clients, but you prohibit this now. i.e. there are two different
> concepts here, and we shouldn't mix them up:
>
> 1. tracking configured dns servers and advertise them to local programs
> 2. actually using them ourselves
>
> I am pretty sure that our own stubs are OK for 1 but not OK for 2,
> hence we should filter at the time of use not at the time of parse.

Merge pull request #22498 from yuwata/cgroup-threaded-mode

cgroup: ignore error in attaching process when threaded mode is used

virt: Fix Xen Dom0 detection logic to no longer report as VM

Fixes regression introduced in 599be274c13c503806c85073d7beb1a155ac27bd

Moving the Xen check before the CPUID check, in order to handle the case where
a Xen domain is nested within a hypervisor which can be detected by via the
CPUID check, had an unintended consequence of causing Dom0 to report as a Xen
VM when it is not nested.

This patch stops further checks once it has been determined that Dom0 is not
nested within another hypervisor, meaning that the non-nested case matches its
previous logic (where it does not report as a VM).

Also, tidy the conditionals for the Xen and UML checks by removing handling of
a VIRTUALIZATION_VM_OTHER result, which has no code path.

Fixes #22511

tree-wide: some coccinelle fixes

coccinelle: automatically switch some uses of memcpy() → mempcpy()

Inspired by #22520, let's add a coccinelle script that converts this
automatically.

timesync: add missing setting in template

Follow-up for e81a44bf5faa80ec6ca2ef835d559a65c7e27c35.

Merge pull request #22526 from poettering/homed-container-uid-range

homed: map container UID range for homed home directories

Merge pull request #22502 from yuwata/udev-net-virtual-wlan-interface

network: add virtual wlan interface support

Merge pull request #22520 from yuwata/sd-dhcp6-client-cosmetic-follow-ups

sd-dhcp6-client: several cosmetic follow-ups

Merge pull request #22271 from keszybz/manager-reexec-freeze

Freeze manager if reexec fails

NEWS: update excerpt on container UID/GID mappings

docs: document homed's use of the container UID mapping

homed: when using id mapping on the home dirs, also do an identity mapping for the container UID ranges

Apparently people really want to put high UIDs in their homedirs. Let's
add some minimal support for that.

Further discussion: https://github.com/systemd/systemd/pull/22239#issuecomment-1040421552

Inspired by, based on, and replacing #22239 by Christian Brauner.

TODO

man: fix virtualization table

The count of VM types got out of sync, let's fix that.

Follow-up for b6eca3731dd92b009b182f188936e1c2544574da which forgot to
increase the count by one.

sd-dhcp6-client: use mempcpy() or mempcpy_safe()

memory-util: introdyce mempcpy_safe()

dhcp-identifier: use offsetof()

Also use appropriate place to store UUID.

manager: add {} around cpu sets, use range formatting

We would print "Setting NUMA policy to bind, with nodes .".
This is not very clear, change it to "… with nodes {}.".

Also use range formatting for masks to make output shorter.

manager: add few ", ignoring" and adjust level in one message

Merge pull request #22523 from DaanDeMeyer/systemd-networkd-tests-fixes

mkosi: Support running systemd-networkd-tests.py in QEMU

core/execute: warn when threaded mode is detected

Prompted by #22486.

cgroup-util: introduce cg_is_threaded()

tests: allow running all the services with SYSTEMD_LOG_LEVEL

It should make it easier to figure out what exactly services do there.
For example, with SYSTEMD_LOG_LEVEL=debug userdbd (v249) prints
```
varlink-5: New incoming message: {"method":"io.systemd.UserDatabase.GetUserRecord","parameters":{}}
```
before it crashes and systemd-resolved prints
```
varlink-21: New incoming message: {"method":"io.systemd.Resolve.ResolveAddress","parameters":{"address":[127,0,0,1],"flags":0,"ifindex":1000000,"family":0}}
```
and those messages are helpful (especially when scripts causing them
aren't clever enough to keep track of random stuff they send to systemd
:-))

test: Prefix all network/netdev config files used by systemd-networkd-tests.py

Let's make sure these take preference over any generic network config files shipped
by the OS (in this case specifically, mkosi).

test: Skip test_macsec() until kernel panic is fixed

mkosi: Support running systemd-networkd-tests.py in QEMU

This commit adds the necessary packages for Fedora and Arch.

docs: Correct WantedBy= regarding template units

sd-dhcp6-client: add comment about ia_na and ia_pd

test: Stop using TextTestRunner in systemd-networkd-tests.py

If we assign our own test runner, passing arguments stops working
as unittest won't instantiate its own test runner after it parses
the arguments from sys.argv.

Consequence is that the tests will write to stderr now instead of
stdout since it doesn't seem possible to configure the stream that
unittest.main() will instantiate its test runner with so it'll
default to sys.stderr.

network: add support to create wlan virtual interface

Closes #18977.

Merge pull request #22516 from keszybz/bit-and-pieces

Post-review fixups and other tiny improvements

Revert "man: fix description of --force in halt(8) (#7392)"

This reverts commit 5d9adb5b60b815b477ba9e6b19ef0fd7e1854a38.

Merge pull request #22412 from yuwata/sd-dhcp6-client-cleanups

sd-dhcp6-client: several fixes and cleanups

manager: if we are reexecuting, do not invoke any fallbacks

For https://bugzilla.redhat.com/show_bug.cgi?id=1986176:
if we are trying to reexecute, and this fails for any reason, we shouldn't
try to execute /sbin/init or /bin/sh. It is better to just freeze.
If we freeze it is easier to diagnose what happened, but if we execute
one of the fallbacks, we don't really know what will happen. In particular
the new init might just return, causing the machine to shut down. Or we
may successfully spawn /bin/sh, which could leave the machine open.

manager: do not ignore the return value from the main loop

If manager_loop() fails, we would print an error message, but then actually
ignore the error in main(), and potentially execute the shutdown binary.
I'm not sure how likely this is to happen in practice, but it seems sloppy.
So let's do the cleanup, but actually freeze() if manager_loop() returned
an error.

invoke_main_loop() is refactored to return the manager objective. This way
we don't need to pass a separate parameter to specify whether we are
reexecuting. Subsequent patch will make further use of the returned objective.

homework: avoid runtime formatting of a fixed string

Follow-up for fe9bd5ad3670f6a34f9ea9b4e2c16bec6000ce11.
I checked that the formatted string has the same dashes as
before fe9bd5ad3670f6a34f9ea9b4e2c16bec6000ce11.

share/gpt: add stringified defines for GPT partition types

NEWS: minor grammar adjustment

Follow-up for e41dcb822167116c8924e56b39640536df894bbd.

systemctl: expand error message

docs: more internal links

wifi-util: introduce nl80211_iftype_from_string()

network: manage WLAN phy

network: netdev: add flag to skip kind check

It will be used in later commit.

network: netdev: use request queue to create independent netdevs

network: netdev: increment reference counter on request

Otherwise, it may be freed on reload.

network: netdev: make netdev_is_ready_to_create() return negative errno on fatal error

network: rename REQUEST_TYPE_STACKED_NETDEV -> REQUEST_TYPE_NETDEV_STACKED

meson: sort listed files

test: set `ReadWritePaths=$BUILD_DIR` when running w/ coverage

otherwise units using `DynamicUser=yes` won't be able to write the
coverage stats (currently affecting TEST-20-MAINPIDGAMES).

`DynamicUser=yes` implies `ProtectSystem=strict` and
`ProtectHome=read-only` and can't be overridden hence we need to
utilize `ReadWritePaths=` to work around that.

Merge pull request #22487 from poettering/bootspec-source-flags

bootctl: show all discovered entries, but show state + type in details

Merge pull request #22508 from poettering/stat-ino-compare

stat-util: add new stat_inode_same() helper

Merge pull request #22507 from poettering/id128-compare-tweaks

sd-id128: comparison tweaks

docs: make clear that if you use threaded cgroups you need to do that two levels down from your delegated cgroup

Prompted by: #22486

sd-daemon: use path_join() instead of manual path concat

coredump: fix inode check

When checking if we look at the root directory we actually need to
compare both st_dev *and* st_ino. The existing check only checked the
latter. Fix that.

fd-util: use ERRNO_IS_XYZ() macros where appropriate

tree-wide: port various places over to new stat_inode_same() helper

stat-util: add helper stat_inode_same() for comparing stat's st_dev/st_ino in one

We do this all over the place, hence let's add a simple helper that does
this and particularly carefully and thoroughly.

Merge pull request #22506 from poettering/devnum-zero-btrfs-block-dev

gpt-auto: some (primarily cosmetic) fixes to backing block device detection in gpt-auto-generator/sd-device

Merge pull request #22445 from lnussel/logind

logind: post review fixes

bootspec: avoid zero size VLA

apparently some checkers don't like that. Let's be entirely safe here,
and use malloc() based allocation, given that the entries are user
controlled.