nspawn: tint the terminal bg blue if we are in a container

Let's give people a hint that they are not operating on the host.

pretty-print: split out color tinting into a helper of its own

color-util: make return values of rgb_to_hsv() optional

When we want to tint the bg color we don't care about the hue, we want
to set it ourself after all, hence make the arguments optional, so that
we don't even have to ask for it.

nspawn: optionally tint the background color of a container

Merge pull request #31061 from yuwata/pidref_copy

pidref: add basic tests for PidRef, and split out pidref_copy() from pidref_dup()

man: suffix signals with ()

Since signals can take arguments, let's suffix them with () as we
already do with functions. To make sure we remain consistent, make the
`update-dbus-docs.py` script check & fix any occurrences where this is
not the case.

Resolves: #31002

Merge pull request #31057 from aafeijoo-suse/bootctl-print-fix

bootctl: return earlier with `--print-esp-path`

pidref: split out pidref_copy() from pidref_dup()

varlink: make sure varlink_server_detach_event() doesn't leave invalid pointer around

test: add basic tests for PidRef

Merge pull request #31019 from poettering/hostnamed-full-os-release

hostnamed: expose full /etc/os-release data in hostnamectl's --json= output

Remove duplicated command in help message

"systemctl reboot" was present twice in the message, should be halt instead

Merge pull request #31053 from intelfx/work/machinectl-zsh

shell-completion: improve and expand zsh machinectl completion

man/bootctl: typo in `--print-boot-path` description

bootctl: return earlier with `--print-esp-path`

`--print-esp-path` and `--print-boot-path` cannot be combined, so it's not
necessary to acquire the XBOOTLDR partition with `--print-esp-path`.

shell-completion/zsh: complete hidden images when word starts with "."

Show hidden images in the completion results, but only if the current
word starts with ".", such that
- `machinectl clone <Tab>` will only offer non-hidden images, but
- `machinectl clone .<Tab>` will offer both hidden and non-hidden images

Merge pull request #31015 from yuwata/local-addresses

local-addresses: several cleanups and fixes, add test cases

shell-completion/zsh: improve and expand machinectl completion

Fix systemd-backlight ignoring numbered kbd_backlight entries

If there are name collisions in the leds subsystem, the 2nd device node with the
colliding name gets automatically renamed by appending _1, the third by
appending _2 and so on.

This wildcard change makes sure that systemd-backlight also catches these
renamed nodes for kbd_backlight entries.

Merge pull request #31044 from keszybz/uhttpd-alloca-print

Use macro wrapper instead of alloca in µhttp-utils

cgroup: Rename effective limits internal table

Post-merge fixup of commit 4fb0d2dc14 ("cgroup: Add EffectiveMemoryMax=,
EffectiveMemoryHigh= and EffectiveTasksMax= properties"), no functional
change intended.

meson: correctly handle "no" value for sshd?confdir options

vmspawn: document -q/--quiet

core: raise the log priority if sd-executor is missing

Log about missing executor at the emergency level, so the message always
makes it to the console - otherwise it won't get anywhere, since we
can't even start systemd-journald in that case.

Before:

Welcome to Arch Linux!

[    5.202479] systemd[1]: Failed to allocate manager object: No such file or directory
[!!!!!!] Failed to allocate manager object.
[    5.207741] systemd[1]: Freezing execution.

After:

Welcome to Arch Linux!

[    5.279408] systemd[1]: Failed to open executor binary '/usr/lib/systemd/systemd-executor': No such file or directory
[    5.290756] systemd[1]: Failed to allocate manager object: No such file or directory
[!!!!!!] Failed to allocate manager object.
[    5.295919] systemd[1]: Freezing execution.

Merge pull request #31011 from poettering/getpwnam-tweaks

clean up getpwnam() calls and related interfaces

IPv6 RA: Support the Retrans Timer field (IPv6 Conformance Test: v6LC.2.1.5)

The RA's Retransmission Timer field was being ignored. This resolves the IPv6
Core Conformance test, v6LC.2.1.5 [1].

Retransmission Timer is a 32-bit unsigned integer. The time, in milliseconds,
between retransmitted Neighbor Solicitation messages. Used by the Address
Resolution and Neighbor Unreachability Detection (NUD) algorithm.

Support setting a default value for the neighbour retransmission timer value with:

    [Network]
    IPv6RetransmissionTimeSec=<int>

By default, upon receiving a Router Advertisement with the Retransmission Timer
field set to a non-zero value, it will update the kernel's retransmit timer value.
To disable this behaviour, configure the UseIPv6RetransmissionTime= under the
[IPv6AcceptRA] section.

    [IPv6AcceptRA]
    UseIPv6RetransmissionTime=<bool>

RFC4861: Neighbor Discovery in IPv6
  * Section 4.2 RA Message Format.
  * Section 6.3.4 Processing Received Router Advertisements

A Router Advertisement field (e.g., Cur Hop Limit, Reachable Time,
and Retrans Timer) may contain a value denoting that it is
unspecified. In such cases, the parameter should be ignored and the
host should continue using whatever value it is already using. In
particular, a host MUST NOT interpret the unspecified value as
meaning change back to the default value that was in use before the
first Router Advertisement was received.

The RetransTimer variable SHOULD be copied from the Retrans Timer
field, if the received value is non-zero.

References
[1] IPv6 Core Conformance Spec (PDF)

user-util: add get{pw,gr}{uid,gid,name}_malloc() helpers

These are wrappers around getpwuid_r() and friends, and will allocate the
right-sized buffer for this call.

We so far had multiple implementations of a buffer allocation loop
around getpwuid_r() and friends, and they all suck in some way. Let's
clean this up and add a common implementation, and use it everywhere.

Also, be more careful with error numbers, in particular systematically
turn ENOENT into ENOSRCH (the former is what is returned if /etc/passwd
is absent, which we want to consider identical to user not existing,
which is ENOSRCH). We so far did this at some invocations, but not all.

There are some invocations of getpwuid() left in the codebase. We really
should fix those too, and have a single unified implementation of the
logic, but those are not as trivial to convert, so left for another
time.

user-util: validate the right field

Merge pull request #31023 from poettering/vmspawn-work

vmspawn: make it work on current fedora

nspawn,vmspawn: let's add some terminal magic to the welcome text

Let's grey the text out, and prefix it with a vertical grey bar, to make
clear this is output from the host, not the payload, and make it clearly
distinguishable from what follows.

Let's also make the image name clickable (with new enough
shared-mime-info this should allow you to look into the image with
gnome-disk-utility or a similar tool.

vmspawn: make "-m" value formatting independent of locale

We cannot format the memory string via printf() %f format strings, since
that's locale dependent and qemu doesn't like that. hence format this as
an integer. We'll lose sub-MiB accuracy, but systems with less than 1
MiB memory don't really make much sense anyway.

vmspawn: print a helpful message when we start the VM

Let people know how they can exit the VM, it's not obvious after all.

vmspawn: make sure to pass the right firmware image type to qemu

The JSON data reports whether firmware types are qcow or raw. Let's pass
that into the qemu cmdline.

vmspawn: rework firmware selection logic

Let's make the firmware file to choose configurable, and enumeratable.

This adds --firmware= to select the formare, and in particular
--firmware=list to show available options.

hostnamectl: add -j switch for quick json output

We already support -j as shortcut for JSON mode in various tools. Let's
add one more. We probably should add this systematically (at least where
it doesn't conflict with an existing -j switch with other purpose). But
I am too lazy to add that now.

hostnamed: expose /etc/os-release and /etc/machine-info data in full

There's some appetite to have the full os-release/machine-info data
exposed by hostnamed.

let's do so in the Describe() method and via Varlink. It's trivial after
all.

Inspired by: #18649

vmspawn: ENODEV is not the only error the kernel returns if a device is not there

Let's use ERRNO_IS_DEVICE_ABSENT() to cover all cases.

(And while we are at it also use ERRNO_IS_PRIVILEGE() where appropriate)

vmspawn: close host vsock fd once we passed it to the child

Without this I qemu simply froze in a weird state for me if I kill it:
it was supposedly a zombie, but we'd get the pidfd POLLIN event for it
only once the fd is closed. Hence let's close it right-away.

(Smells like a kernel issue actually, but too lazy to bother with this).

vmspawn: use execv() rather than execve() if we just want to pass 'environ' as env block

vmspawn: modernize setup_notify_parent() a bit

vmspawn: rework how we spawn qemu off

Let's swicth to PidRef for tracking the qemu child.

let's also set a bunch of flags that ensure the child inherits less of
of context.

event-util: add helper for adding pidref child to event loop

mkosi: Use authselect local profile if it exists

authselect 1.5.0 removed the "minimal" profile and added the "local"
profile instead. Let's modify our post-installation script to take
these changes into account.

tree-wide: link to docs. for kernel documentation

https://www.kernel.org/ links to https://docs.kernel.org/ for the documentation.
These URLs are shorter and nicer looking.

po: Translated using Weblate (Indonesian)

Currently translated at 100.0% (227 of 227 strings)

Co-authored-by: Andika Triwidada <andika@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/id/
Translation: systemd/main

core: path: Re-enter waiting if target is deactivating

Previously, path units would remain in the running state while their
target unit is deactivating. This left a window of time where the target
unit is no longer operational (i.e. it is busy deactivating/cleaning
up/etc) but the path unit would continue to ignore inotify events. In
short: any inotify event that occurs while the target unit deactivates
would be completely lost.

With this commit, the path will go back into a waiting state when the
target unit starts deactivating. This means that any inotify event that
occurs while the target unit deactivates will queue a start job.

network/route: update MTU of IPv6 route even if the kernel returns -EEXIST

Merge pull request #31004 from AdrianVovk/misc-cleanups

Misc cleanups

test-local-addresses: add more test cases

local-addresses: introduce has_local_address() helper function

It will be used later.

sd-netlink: drop unused parser for RTA_MULTIPATH

local-addresses: introduce own parser for RTA_MULTIPATH

local-addresses: also save weight of multipath routes

local-addresses: introduce generic setter add_local_addresses_full()

local-addresses: RTA_OIF and RTA_MULTIPATH are exclusive

local-addresses: fix memleak of 'multipath_routes'

Also reduces scopes of some variables.

local-addresses: always sort and dedup even if addresses are not requested

Otherwise, the return value may different when ret is NULL or not.

local-addresses: ignore tentative addresses

As tentative addresses may be dropped soon if DAD failed.

local-addresses: check family more

Just for safety. No functional change, unless the kernel sends broken
messages.

local-addresses: rename metric -> priority

To make it consistent with the netlink attribute RTA_PRIORITY.

test-local-addresses: several modernization

- use size_t for number of addresses,
- use FOREACH_ARRAY() macro,
- use IN_ADDR_TO_STRING() macro, etc.

ptyfwd: when leaving a session with tinted background, clear to end of screen

So if we tint the background of a ptyfwd session with a color and the
session ends, then so far we reset the bg color and clear till the end
of line.

Let's instead clear till the end of the screen. This is nicer since it
means that any follow-up output will not be affected by the changed
background color anymore.

run: the --background= switch expects an argument

We got this right when running as "uid0", but wrong when invoked under
"systemd-run". Let's fix that.

Merge pull request #31016 from poettering/pid1-priority-rework

pid1 event source priorities rework

loginctl: add --json= and -j to help text

Follow-up for ea54517476521a35fd10790664f2525a03c582b6

cgtop: fix sscanf return code checks

sscanf can return EOF on error, so check that we get a result instead.

CodeQL#2386 and CodeQL#2387

Merge pull request #31022 from aafeijoo-suse/bash-completion-cryptenroll-2

fix typo and add some missing options to bash-completion

docs: Fix typo in USER_RECORD

fd-util: Close function for FD_TO_PTR

Just a function to be used as a destructor (i.e. in a _cleanup_
attribute, hash table operations, etc.) that closes an fd wrapped in
FD_TO_PTR

It just retrieves the fd via PTR_TO_FD and closes it

portable: log structured message when attach/detach succeeds

Currently portabled is completely silent (when not using debug level). But
when the system state is changed (ie: a portable is attached or detached)
there are no traces left in the journal. Log at info level when either of
those operations succeed, as they are effectively changing the state of
the system.

Create new MESSAGE_IDs for these logs, and also append PORTABLE_ROOT=
(and PORTABLE_EXTENSION= if any), like the units themselves are
configured to do via LogExtraFields=, so that the same metadata can
be found in the attach/detach messages and in logs from the units
themselves.

man: clarify description of Attach/Detach flags

test: add integration test for Type=exec robustness

This tests for #30799, so that it does not return.

manager: order idle jobs

Let's put the run queue really the last spot, as we should only start
doing more work if we really have nothing else to do anymore.

Let's move the service watchdog after the rewatch PID logic for similar
logic: it will possibly result in new jobs being enqueued to stop
things, and we should really have done all other work first.

manager: renumber priorities

no actual change, let's just make sure the priorities are densely
defined without "holes". Just to make this prettier and less surprising.

manager: process exec_fd (i.e. Type=exec) events before SIGCHLD events

We want to make sure we don't confuse the case "process started
successfully but then failed quickly" from the case "process failed to
start". Hence we need to make sure we take notice of Type=exec before we
bother with SIGCHLD.

Hence move EVENT_PRIORITY_EXEC_FD to the front. In fact, let's move it
even further up than SIGCHLD, i.e. before sd_notify() handling, so that
we don't end up processing service state change notifications before we
even considered that the service is properly started.

This also gives the cgroup OOM handling and the exec_fd handling
different priorities, to improve robustness of the system, we should act
quickly on OOM, and it doesn't matter if a service started succcessfully
if we have to act on OOM anyway.

This is based on Andrew Onyshchuk <andryk.rv@gmail.com> work here:

See: #30799
Fixes: #28304

core: maintain a single table with event source priorities

It's hard to oversee the assigned processing priorities of the various
event sources we have. Let's unify them in a table (an enum), where we
can have a single consisten look at them, and then reference the table
entries by expressive symbols.

This doesn#t change behaviour in any way, it just gives each priority a
nice label, but doesn't change any of the priorities.

Prompted by: #30799

dissect: fix typo

bash-completion: add missing options to systemd-dissect

bash-completion: add missing options to systemd-cryptenroll

network: fix typo

Follow-up for 406fde1a4d87eb43cbec0b86213bf78b02595c6b.

Merge pull request #31012 from YHNdnzj/pam-systemd-session-busy

pam_systemd: always check if session is busy

Merge pull request #31013 from YHNdnzj/logind-modernization-split

logind: minor modernizations

Merge pull request #31009 from yuwata/network-route-convert-before-requesting

network/route: convert routes before requesting

logind-dbus: use SESSION_IS_{SELF,AUTO} instead of SEAT_* for sessions

logind-user: use RET_GATHER more

pam_systemd: always check if session is busy

We need to check for BUS_ERROR_SESSION_BUSY no matter
whether pidfd is used, i.e. after we retry with
CreateSession().

pam_systemd: close pidfd after use

boot: don't print error if device tree fixup protocol isn't supported

This isn't a failure we care about, and it's somewhat alarming to see a
red error message flash up on the display when booting, so this just
simply returns EFI_SUCCESS and skips printing the "error" altogether.

Merge pull request #30956 from yuwata/nspawn-network-pass-wifi

nspawn: support passing wireless interface to container

journalctl: consider shut down namespaced sd-journald instance synced

If the namespaced systemd-journald instance was shut down due to
inactivity, we can consider it synchronized, so avoid throwing an error
in such case.

This should help with the random TEST-44-LOG-NAMESPACE fails where we
might try to sync the namespace just after it was shut down:

[    7.682941] H testsuite-44.sh[381]: + systemd-run --wait -p LogNamespace=foobaz echo 'hello world'
[    7.693916] H systemd-journald[389]: Failed to open /dev/kmsg, ignoring: Operation not permitted
[    7.693983] H systemd-journald[389]: Collecting audit messages is disabled.
[    7.725511] H systemd[1]: Started systemd-journald@foobar.service.
[    7.726496] H systemd[1]: Listening on systemd-journald-varlink@foobaz.socket.
[    7.726808] H systemd[1]: Listening on systemd-journald@foobaz.socket.
[    7.750774] H systemd[1]: Started run-u3.service.
[    7.795122] H systemd[1]: run-u3.service: Deactivated successfully.
[    7.842042] H testsuite-44.sh[390]: Running as unit: run-u3.service; invocation ID: 56380adeb36940a8a170d9ffd2e1e433
[    7.842561] H systemd[1]: systemd-journald-varlink@foobaz.socket: Deactivated successfully.
[    7.842762] H systemd[1]: Closed systemd-journald-varlink@foobaz.socket.
[    7.846394] H systemd[1]: systemd-journald@foobaz.socket: Deactivated successfully.
[    7.846566] H systemd[1]: Closed systemd-journald@foobaz.socket.
[    7.852983] H testsuite-44.sh[390]: Finished with result: success
[    7.852983] H testsuite-44.sh[390]: Main processes terminated with: code=exited/status=0
[    7.852983] H testsuite-44.sh[390]: Service runtime: 44ms
[    7.852983] H testsuite-44.sh[390]: CPU time consumed: 8ms
[    7.852983] H testsuite-44.sh[390]: Memory peak: 880.0K
[    7.852983] H testsuite-44.sh[390]: Memory swap peak: 0B
[    7.853785] H testsuite-44.sh[381]: + journalctl --namespace=foobar --sync
[    7.860095] H systemd-journald[389]: Received client request to sync journal.
[    7.862119] H testsuite-44.sh[381]: + journalctl --namespace=foobaz --sync
[    7.868381] H journalctl[396]: Failed to connect to /run/systemd/journal.foobaz/io.systemd.journal: Connection refused
[    7.871498] H systemd[1]: testsuite-44.service: Main process exited, code=exited, status=1/FAILURE
[    7.871642] H systemd[1]: testsuite-44.service: Failed with result 'exit-code'.
[    7.930772] H systemd[1]: Failed to start testsuite-44.service.

network/route-nexthop: configure as a simple gateway when MultipathRoute= is specified only once

The kernel handles such configuration completely equivalent to the case
that Gateway= is specified.

network/route: drop unnecessary ownership transfer

Let's free Route objects on the caller side.

network/route-nexthop: drop unnecessary link arguments

These arguments are unused now.

network/route: convert route before requesting

Previously,
1. use the passed Route object as is when a route is requested,
2. when the route becomes ready to configure, convert the Route object
   if necessary, to resolve outgoing interface name, and split multipath
   routes, and save them to the associated interfaces,
3. configure the route with the passed Route object.

However, there are several inconsistencies with what kernel does:
- The kernel does not merge nor split IPv4 multipath routes. However, we
  unconditionally split multipath routes to manage.
- The kernel does not set gateway or so to a route if it has nexthop ID.

Fortunately, I do not find any issues caused by the inconsistencies. But
for safety, let's manage routes in a consistent way with the kernel.

This makes,
1. when a route is requested, split IPv6 multipath routes, but keep IPv4
   multipath routes as is, and queue (possibly multiple) requests for
   the route.
2. when the route becomes ready to configure, resolve nexthop and interface
   name, and requeue request if necessary.
3. configure the (possibly split) route.

By using the logic,
- Now we manage routes in a mostly consistent way with the kernel.
- We can drop ConvertedRoutes object.
- Hopefully the code becomes much simpler.

network/route-nexthop: fix route_nexthop_copy()

Follow-up for 413ea20ab3d86b5bccf775da21a945327b3880c9.

test-13-NSPAWN: add more test case for passing network interfaces

- test interface renaming that conflicts with the current alternative
  network interface name,
- test passing wlan interfaces.

nspawn-network: support passing wireless interface to container

Closes #7873.

nspawn-network: also check alternative names

If the requested new name for a network interface is already assigned as a
alternative name, then it is not necessary to and cannot rename the
interface.

nspawn-network: split out move_network_interface_one()

This also changes to use sd_device to get some attributes.
So, on moving interfaces back to the parent, we need to populate sysfs
associated to the client netns.
That may look redundant and complicated, but it makes later change
easier, and hopefully faster.

nspawn-network: split out move_back_network_interfaces()

No functional change, just refactoring and preparation for later
commits.