logind: add PrepareForShutdownWithMetadata signal

The existing signal doesn't say which type of shutdown is going to happen.
With the introduction of soft-reboot, it is useful to have this information
broadcasted, so that clients can choose to do different things based on the
reboot type.
Add a{sv} as the payload so that more metadata can be added later if
needed, without needing to add yet another signal.
Send both old and new signal for backward compatibility, and send the new
one first so that clients can just wait for the first one on both old and
new systems.

Merge pull request #29130 from poettering/unit-defaults

core: introduce UnitDefaults structure for unit defaults

Merge pull request #29142 from poettering/pidref

core: first step towards a pidfd focused future

Merge pull request #29143 from DaanDeMeyer/mkosi-presets

Various mkosi improvements

mkosi: Conditionally use tools tree

If the systemd version on the host is too old and there's no local
build directory, use the default tools tree which will build an
image containing all the tooling required to build systemd and use
that to build the other presets.

mkosi: Only build system preset by default

Let's not build all presets by default, but only the system preset.
Also, let's only make the system preset depend on the initrd preset
if we're building a bootable disk image. This means that if we build
the system image as a cpio, uki or directory, the initrd preset will
be skipped as it's not necessary, making the build a little faster.

mkosi: Move to Fedora 39

mkosi: Update to latest

mkosi: Make sure custom installkernel scripts are not used

The kernel has this horrible build system feature where distros
can ship /sbin/installkernel and it'll automatically be used by
make install. Let's make sure that doesn't happen as on Debian this
script puts the kernel under the wrong name causing mkosi build
failures.

Merge pull request #29117 from Werkov/memory_available

Make MemoryAvailable= more useful

update TODO

machined: port over to PidRef too

logind: also port session leader tracking over to PidRef

core: don't manually destroy timer when we can't spawn a child

Let's stop manually destroying the timers when we fail to spawn a child.
We don't do this in any of the similar codepaths in any of the unit
types, only in two specific ones in socket/swap. Destroying the timer is
unnecessary, since this is done anyway in the _set_state() call of each
unit type if not appropriate, and every failure path here runs through
that anyway.

This brings all these similar codepaths into sync.

core: also port swap units to PidRef

core: also port mount units to PidRef

core: convert Socket logic to PidRef too

Just like the previous commit, but for socket rather than service units.

core: reference main/control pid of .service units via PidRef

The first conversion to PidRef. It's mostly an excercise of
search/replace, but with some special care taken for life-cycle (i.e. we
need to destroy the structure properly once done, to release the pidfd).

It also uses pidfd based killing for some of the killing but leaves most
as it is to make the conversion minimal.

pidref: add structure that can reference a pid via both pidfd and pid_t

Let's start with the conversion of PID 1 to pidfds. Let's add a simple
structure with just two fields that can be used to maintain a reference
to arbitrary processes via both pid_t and pidfd.

This is an embeddable struct, to keep it in line with where we
previously used a pid_t directly to track a process.

Of course, since this might contain an fd on systems where we have pidfd
this structure has a proper lifecycle.

(Note that this is quite different from sd_event_add_child() event
source objects as that one is only for child processes and collects
process results, while this infra is much simpler and more generic and
can be used to reference any process, anywhere in the tree.)

mkosi: Allow configuring whether to do secure boot and pcrs from CLI

dbus: Document org.freedesktop.systemd1.Service.MemoryAvailable property

The value is an optimistic estimate, make it clear in the docs.

Merge pull request #29127 from YHNdnzj/wall-followup

shared/wall: several cleanups

Merge pull request #29116 from yuwata/network-sriov-debug

network/sr-iov: ignore EINVAL in reading dev_port sysfs attribute

zsh: busctl: fix flags parsing for properties

I'm not quite sure what the original intent of this line was, but it
doesn't work in the one call-site the "required" argument is actually
used. The "writable" flag was indexed as a scalar leaving only the
"e" to compare against.

Instead, let's just sort the parsed flags and compare the whole thing.
Also substitute "required" as a pattern, so that pattern based
comparisons may be supported.

Revert "tree-wide: Mount file descriptors via /proc/<pid>/fd"

serialize: add common deserialize_read_line() helper and use it everywhere

This introduces a common helper replacing three very similar uses.

Prompted by review of: #27890

TODO: switch the default wall implementation to sd-login

shared/wall: fall back to logind if utmpx database doesn't exist

shared/wall: several cleanups

Follow-up for 53c0397b1dbc95f144d9a551c2086d132933e8ce

* Split do_wall into wall_utmp and wall_logind
* Don't pass unused arguments
* Add missing asserts
* Modernize error handling
* Don't do anything if neither utmp nor logind is enabled

utmp-wtmp: remove unneeded include

cgroup: Estimate MemoryAvailable= when DefaultMemoryAccounting=no

Without memory accounting explicitly disabled, we may not obtain current
consumption from all units on the ancestry path.
Use a descendant value as lower bound estimate for ancestors if
ancestor's consumption cannot be directly queried.

This makes MemoryAvailable= an upper bound of available values.

cgroup: Refactor MemoryAvailable= evaluation

unit_get_memory_available() duplicates similar logic contained in
unit_get_memory_current(). Instead, it can call it for each unit it
needs data for.
Additionally, simplify the flow by treating all units from leaf to root
uniformly in one loop.

Functional change when a queried unit does not have MemoryAccounting=yes
(or cgroup_path), we will try getting an estimate from ancestors.

cgroup: Fix MemoryAvailable= by considering physical memory

Currently, querying a unit's available memory would result in infinity
if there are no limits set on the unit or ancestors.
That undermines semantics implied by the name, so look at the physical
memory if the search propagates up to the -.slice.
This makes sense even in systemd user instances, limits of -.slice are
still looked at too.

Also change printed representation of infinite MemoryAvailable which
means we could not figure out a good estimate.

conf-parser: parse main config first only if not symlinked to/as drop-in

Otherwise we'll skip parsing main config directly.

Replaces #27152
Replaces #28956:
chase() is an overkill for determining whether
two files are the same. We only need to check
if the inodes are the same.

repart,bootspec: use set_ensure_consume

ukify/man: Look for a config file in systemd folders if not specified

If the user does not specify a config file to use, ukify will try looking for one at {/run,/etc,/usr/local/lib,/usr/lib}/systemd/ukify.conf in order and then use the first one found. Also made sure the --config input is a pathlib.Path by specifying its type in its CONFIG_ITEMS entry.
Big cheers to Zbigniew Jędrzejewski-Szmek <zbyszek@in.waw.pl> for helping!

core: introduce unit_defaults_init() common initialization helper

THis adds a helper for initializing UnitDefaults to our default values.
Previously we'd do that differently in two different locations. Let's
unify this in one, and apply the exact same settings at both as
defaults.

manager: add manager_set_unit_defaults() call that sets all unit defaults in one go

No change in behaviour. Just some refactoring.

manager: move various fields that declare unit defaults into a new structure UnitDefaults

This adds a new structure UnitDefaults which embedds the various default
settings for units we maintain. We so far maintained two sets of
variables for this, one in main.c as static variables and one in the
Manager structure. This moves them into a common structure.

This is most just search/replace, i.e. very dumb refactoring.

The fact that we now use a common structure for this allows us further
refactorings later.

Inspired by the discussions on #27890

network/sr-iov: move common parts to link_set_sr_iov_ifindices()

This also adds several debugging logs.
No functional change, just refactoring.

network/sr-iov: ignore -EINVAL in reading dev_port sysfs attribute

Fixes #27369.

Merge pull request #29123 from yuwata/conf-parser-cleanups-for-config-section

conf-parser: several cleanups and generalizations for ConfigSection

Merge pull request #29121 from yuwata/network-drop-duplicated

network: drop duplicated checks and function calls

Merge pull request #29071 from YHNdnzj/loop-write-full

io-util: introduce loop_write_full and use it where appropriate

mkosi: Drop arch workaround

archlinux-keyring was updated in Michel's PPA so let's drop the
workaround.

conf-parser: introduce ordered_hashmap_by_section_find_unused_line()

conf-parser: check overflow in hashmap_find_free_section_line()

Also, this also renames the function, and makes it optionally takes
a filename.

conf-parser: modernize config_section_new()

- add assertions,
- rename argument to store result.

hashmap: introduce HASHMAP_BASE_FOREACH() and friend

network: drop duplicated check

The same check is in network_adjust_dhcp_server().

network: drop duplicated address_set_broadcast()

It will be called later in link_request_address().

ci: temporarily disable Packit's i386

As it currently crashes when extracting debuginfo due to [0] and hangs
until it's killed by the watchdog (which takes ~5 hours).

[0] https://bugzilla.redhat.com/show_bug.cgi?id=2237392

tpm2-util: drop support for creating TPM2 trial sessions

This is unused these days, we instead calculate policy hashes ourselves
and do not need trial sessions for that anymore. Given how unreliable
they are in actual TPMs, we don't want to use them anyway, so I don't
think we ever want to readd this.

hence, let's drop this unused feature.

efi: Add some more paranoia asserts

Merge pull request #29036 from YHNdnzj/hibernate-resume-when-battery-low

hibernate-resume: split out the logic of finding hibernate location and support battery-check better

parse_timestamp: accept RFC3339-style timezone and %FT%R[:%S[.%N]]

We basically parsed the RFC3339 format already, except with a space:
      NOTE: ISO 8601 defines date and time separated by "T".
      Applications using this syntax may choose, for the sake of
      readability, to specify a full-date and full-time separated by
      (say) a space character.
so now we handle both
  2012-11-23 11:12:13.456
  2012-11-23T11:12:13.456
as equivalent.

Parse directly-suffixed Z and +05:30 timezones as well:
  2012-11-23T11:12:13.456Z
  2012-11-23T11:12:13.456+02:00
as they're both defined by RFC3339.

We do /not/ allow z or t; the RFC says
      NOTE: Per [ABNF] and ISO8601, the "T" and "Z" characters in this
      syntax may alternatively be lower case "t" or "z" respectively.

      This date/time format may be used in some environments or contexts
      that distinguish between the upper- and lower-case letters 'A'-'Z'
      and 'a'-'z' (e.g. XML).  Specifications that use this format in
      such environments MAY further limit the date/time syntax so that
      the letters 'T' and 'Z' used in the date/time syntax must always
      be upper case.  Applications that generate this format SHOULD use
      upper case letters.
We /are/ in a case-sensitive environment, neither are in wide-spread
use, and "z" poses an issue of whether "todayz" should be the same
as "todayZ" ("today UTC") or an error (it should be an error).

Fractional seconds are limited to six digits (they're nominally
   time-secfrac    = "." 1*DIGIT
), since we only support 1µs-resolution timestamps, and limit to six
digits in our other sub-second formats.

Parsing
  2012-11-23T11:12
is an extension two ways (no seconds, no timezone),
mirroring our "canonical" format.

Fixes #5194

shared/wall: use loop_write_full

io-util: introduce loop_write_full that takes a timeout

Also drop do_poll as the use case is covered
by timeout.

units: order battery-check before hibernate-resume

hibernate-resume: split out the logic of finding hibernate location

Before this commit, the hibernate location logic only exists in
the generator. Also, we compare device nodes (devnode_same()) and
clear EFI variable HibernateLocation in the generator too. This is
not ideal though: when the generator gets to run, udev hasn't yet
started, so effectively devnode_same() always fails. Moreover, if
the boot process is interrupted by e.g. battery-check, the hibernate
information is lost.

Therefore, let's split out the logic of finding hibernate location.
The generator only does the initial validation of system info and
enables systemd-hibernate-resume.service, and when the service
actually runs we validate everything again, which includes comparing
the device nodes and clearing the EFI variable. This should make
things more robust, plus systems that don't utilize a systemd-enabled
initrd can use the exact same logic to resume using the EFI variable.
I.e., systemd-hibernate-resume can be used standalone.

Merge pull request #28957 from yuwata/core-mount-set-dirty-on-umount

core/credential,mount: re-read /proc/self/mountinfo before invoking umount command

po: Translated using Weblate (German)

Currently translated at 85.4% (194 of 227 strings)

Co-authored-by: Christian Kirbach <christian.kirbach@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/de/
Translation: systemd/main

test: use 'until' instead of 'while !'

In general, it's better to avoid a negation. And "!" is special, because it is
used for history expansion, i.e. the same command would behave differently if
pasted on the command line.

Inspired by 4a899c5a239eb50df3f596af4ff145f4a2d33f23.

hwdb: keyboard: D330 FnLk toggle

Map Fn+Tab to fn_esc as is FnLock toggle in this keyboard. Still doesn't behave as expected because work in ideapad_laptop kernel module could be required but now at least we report the same mapping in others keyboards with Fn+ESC for FnLock and not unknown.

Signed-off-by: David Santamaría Rogado <howl.nsp@gmail.com>

Merge pull request #29098 from keszybz/man-page-postreview-fixup

man/systemd-id128: fix example

man: Add new Microsoft CAs to example

Also, let's use the links from the Microsoft documentation as they are
guaranteed to be stable.

Fixes: #29102

openssl-util: add common implementation of digest+sign

core/credential,mount: re-read /proc/self/mountinfo before invoking umount command

When a unit has credentials, stopping the service unmounts the credentials
directory. On shutdown, stopping the service and the corresponding mount
unit may be done mostly simultaneously, and if we invoke umount command soon
after umount() being called on stopping the service, the mount unit will
fail.

This makes Mount.invalidated_state flag set when umount() is called for a path,
and re-read /proc/self/mouninfo before invoking umount command if the flag is set.

Fixes #25527.
Replaces #26959.

test-execute: check credentials can be read on ExecStartPost= and friends

Prompted by
https://github.com/systemd/systemd/pull/28787#issuecomment-1690614202.

core/exec-credential: introduce exec_context_get_credential_directory() helper function

No functional change, just refactoring.

core: rename credential.[ch] -> exec-credential.[ch]

Also rename setup_credentials() -> exec_setup_credentials().

Addresses the post-merge review
https://github.com/systemd/systemd/pull/28787#pullrequestreview-1592065048.

Revert "core: do not leak mount for credentials directory if mount namespace is enabled"

This reverts commits
- 9ae3624889b98f75efa6fd0c5f4b4de3eaf328d4
  "test-execute: add tests for credentials directory with mount namespace"↲
- 94fe4cf2557d1f70f20ee02d32f4c2ae6bc1fb3f
  "core: do not leak mount for credentials directory if mount namespace is enabled",
- 7241b9cd72d6e6079d5140cf24c34e78d3cf43cc
  "core/credential: make setup_credentials() return path to credentials directory",
- fbaf3b23ae4aa79110ebd37aada70ce6a044c692
  "core: set $CREDENTIALS_DIRECTORY only when we set up credentials"

Before the commits, credentials directory set up on ExecStart= was kept
on e.g. ExecStop=. But, with the changes, if a service requests a
private mount namespace, the credentials directory is discarded after
ExecStart= is finished.

Let's revert the change, and find better way later.

Addresses the post-merge comment
https://github.com/systemd/systemd/pull/28787#issuecomment-1690614202.

id128: add forgotten option to --help

man/systemd-id128: fix example

The example was supposed to show how
machine-id/new/machine-id --app-specific/show --app-specific tie together, but
the verb was ommitted.

I also extended the explanation a bit and used long option form in the first
example for more clarity. In the second, more complicated example, the
one-letter form is used for brevity.

Noticed in post-review:
https://github.com/systemd/systemd/pull/28988/commits/b37e8184a5a376749fbf68674ed6d7a4fc9901aa#r1315678438

shared/wall: use logind if build without utmp support

If systemd is build without utmp support, use sd_get_sessions() in
utmp_wall() to get a list of logged in users with the corresponding tty.

core: allow to run generators without sandboxing on qemu-user

When running on non-native userland architecture via systemd-nspawn
and qemu-user-static QEMU-emulator, clone() with CLONE_NEWNS fails with
EINVAL.

Fixes #28901.

[zjs: add a comment in the code]

Merge pull request #29101 from DaanDeMeyer/kernel

mkosi: More kernel fixes

mkosi: Don't disable CONFIG_USB

Having USB enabled seems useful enough, this wasn't doing anything
regardless because we already enable CONFIG_USB earlier in the kconfig
file so this just gets rid of warning.

mkosi: Don't build hid selftests

We don't build our kernel with hid support so don't build the selftests
either.

mkosi: Enable two more kernel configs

Required for some bpf selftests so let's enable these in our config.

Merge pull request #29099 from medhefgo/ci

ci: Misc improvements

update TODO

ci: Do not run build test as root

Although, this is CI, we can still do better. It also ensures that any
env var changes make it into the script, as things like PATH would not
survive a `sudo -E`.

ci: Don't produce debug output for build tests

These binaries are never used, so generating debug symbols just
slows down build time.

ci: Use apt-get in favor of apt

Apparently, apt does not have a stable CLI interface and warns about it.

ci: Use add-apt-repository to enable sources

This should also ensure that consistent mirrors are selected.

Update 60-input-id.hwdb: add TEX Shinobi (#29068)

* Update 60-input-id.hwdb: add TEX Shinobi

The TEX Shinobi keyboard with trackpoint incorrectly identifies as a mouse instead of a pointing stick.   This corrects it as suggested at https://gitlab.freedesktop.org/libinput/libinput/-/issues/932#note_2069967

Following the example of the Lite-On keyboard entry, this modalias specifies the mouse unit without tagging the device's other entries.

ci: Remove custom build step names

Putting build matrix details into a build step name is rather useless as
the jobs themselves already contain the needed information.

test-network: Add test for PREF64

Merge pull request #29088 from yuwata/libsystemd-network-headers

libsystemd-network: split headers

Merge pull request #29094 from yuwata/network-dbus-doc

man: update documents for network DBus interfaces

Merge pull request #29091 from yuwata/sd-dhcp-client-use-usec

sd-dhcp-client: use usec_t for time values

sd-dhcp6-client: split out sd-dhcp6-protocol.h

sd-dhcp-server: fix typo in arguments

sd-dhcp: split out sd-dhcp-protocol.h from sd-dhcp-client.h

meson: sort headers

man: mention DBus interfaces for DHCP clients

Follow-up for #28896.

network/ndisc: split out ndisc_router_process_icmp6_ratelimit()

Otherwise, if ndisc_router_process_default() return earlier, e.g.
when Network.ipv6_accept_ra_use_gateway is false, then the
ratelimit is not applied.

Merge pull request #29089 from yuwata/network-ndisc-pref64-follow-ups

network/ndisc: follow-ups for PREF64 handling

network: reorder bus implementations

Otherwise, in the man page, DHCPServer interface is listed in the Link
object.